Blog — Stefan Ostermann

Ein Prompt für den Agenten über Nacht und ein Strategiespiel

2026-08-23T00:00:00Z

Ich war unterwegs, und das einzige Gerät im Gepäck war ein MacBook Air M4 mit 24 GB Arbeitsspeicher. Alibaba hatte Qwen 3.8 27B am Tag vorher veröffentlicht. Ich war den ganzen Tag hibbelig, abends dann endlich etwas Freizeit. Also habe ich eine niedrige Quantisierung geladen (3 Bit) und lande bei etwa zwei Tokens pro Sekunde. Unbrauchbar für Chat / Live Vibecoding, aber gut genug für einen Test im pi-Harness:

„Can you create a html / js / css based space based strategy game?"

Ich hab's dann einfach laufen lassen.

Es lief die ganze Nacht und einen großen Teil des nächsten Tages. Herausgekommen ist ein spielbares rundenbasiertes Strategiespiel: eine Sternenkarte mit eigenen und fremden Systemen, Mineralien, Energie und Bevölkerung als Wirtschaft, vier Schiffsklassen mit unterschiedlichen Kosten und Reichweiten, ein Forschungsbaum. Es sah aus wie etwas, das ich als Teenager gerne gespielt hätte.

Zum Nachdenken

Das Modell hat nicht nach dem Spiel aufgehört. Es hat eine Simulation geschrieben, um das Spiel durchzuspielen (eine Seite von einer KI gesteuert, die andere so, wie ein Mensch spielen würde) und danach ausgerechnet, wie leicht es zu schlagen ist.

Es hat nicht gewartet, bis mir die Balance-Probleme auffallen. Es hat sie selbst gefunden, nachts um drei auf einem Notebook.

Das zweite Experiment, wieder zu Hause mit der Keller-KI, wo dasselbe Modell viel komfortabler läuft: Ich habe ihm einen einfachen Planetengenerator gegeben, den ich vor sieben Jahren geschrieben hatte. Wieder ein einfacher Prompt. Zurück kam ein Strategiespiel mit prozedural generiertem Universum, erzählerischen Momentaufnahmen zwischen den Zügen, eigenständigen Charakteren und Handels- und RPG-Mechaniken in einem Game Loop. Zweimal habe ich nachprompten müssen, um kleine Fehler zu glätten. Entstanden ist TS UNIVERSE — The Long Drift.

Der Haken

Bei kleiner Hardware: Thinking bei Qwen 3.8 27b dauert ewig. Ein Ein-Prompt-Auftrag antwortet in Stunden, selbst wenn das Prompt und die Aufgabe klein sind. Für alles Interaktive taugt das Modell mit zu schwacher Hardware nicht: Ich sitze nicht davor und schaue beim Nachdenken zu, während ich überlege, was ich als Nächstes tippe.

Für Batchverarbeitung ist es damit trotzdem sehr brauchbar.

Erkenntnisse

Wir bewerten Modelle nach Benchmarks und Chat. Das belohnt schnelle und gefällige Antworten. Gemessen habe ich aber hier, wie viel in sich geschlossene, prüfbare Arbeit ein Modell allein tragen kann, bevor es mich braucht. Die Antwort wäre vor wenigen Monaten „kaum etwas" gewesen, und heute ist sie „ein komplettes Spiel".

Im Batch über Nacht kann es auch auf eigentlich zu schwacher Hardware brauchbare Ergebnisse liefern. Im Chat braucht man schon etwas stärkeres. Aber nicht nur das Modell spielt eine Rolle, auch der Harness, hier war das Pi. Er hat dafür gesorgt, dass im agentischen Loop ein besseres Ergebnis herausgekommen ist als das mit klassischen Entwicklungsumgebungen + KI Chat der Fall gewesen wäre.

A Prompt for the Agent Overnight, and a Strategy Game

2026-08-23T00:00:00Z

I was travelling, and the only machine with me was a MacBook Air M4 with 24 GB of memory. Alibaba had released Qwen 3.8 27B the day before. I was on edge about it all day; in the evening, finally, some free time. So I downloaded a low quantisation (3 bit) and landed at around two tokens per second. Useless for chat or live vibe coding, but good enough for one attempt in the pi harness:

"Can you create a html / js / css based space based strategy game?"

I just left it running.

It went all night and a good part of the next day. What came out was a playable turn-based sector strategy game: a star map with systems you own and systems you do not, minerals, energy and population as the economy, four ship classes with different costs and ranges, a research tree. It looked like something I would have loved to play as a teenager.

The part I keep thinking about

The model did not stop at building the game. It wrote a simulation to play the game to the end (one side controlled by an AI, the other playing the way a human would) and then worked out how easy it is to beat.

It did not wait for me to discover the balance problems. It found them, on its own, at three in the morning, on a laptop.

A second experiment, back home on the basement machine, where the same model runs much more comfortably: I handed it a simple planet generator I wrote seven years ago. Again one simple prompt. What came back was a strategy game with a procedurally generated universe, narrative snapshots between turns, distinct characters, and trading and RPG mechanics in the game loop. I prompted twice more to iron out small issues. The result is TS UNIVERSE — The Long Drift.

The catch

On small hardware: thinking in Qwen 3.8 27B takes forever. A one-shot prompt answers in hours, even when the prompt and the task are small. That makes the model on too weak a machine useless for anything interactive: I will not sit and watch it deliberate while I decide what to type next.

For batch processing it is nevertheless very useful.

Takeaways

We judge models on benchmarks and on chat, which rewards fast and agreeable answers. But what I measured was how much self-contained, testable work a model can carry on its own before it needs me. The answer a few months ago would have been "very little", and today it is "a whole game".

In batch, overnight, it can deliver useful results even on hardware that is arguably too weak. In chat you need something stronger. But it is not just the model — the harness plays a part, too; here it was Pi. In the agentic loop it produced a better result than classic development environments plus AI chat would have.

Zwei Grafikkarten im Keller

2026-08-19T00:00:00Z

In meinem Keller steht ein Rechner mit zwei Grafikkarten. Darauf arbeiten Tag und Nacht KI-Modelle. Niemand kann sie limitieren, niemand die Preise erhöhen, niemand mitlesen.

Angefangen hat das als Feierabendprojekt. Ein bisschen Hardware, ein paar offene Modelle, viel Ausprobieren. Inzwischen ist es einer von mehreren Gründen, warum ich meinen Job aufgegeben habe.

Ab dem 01.10.2026 bin ich selbstständig

Nach vielen Jahren als Führungskraft in der Software- und Produktentwicklung, zuletzt als Head of Development, berate ich Unternehmen künftig zu privater und agentischer KI: welche Hardware, welche Modelle, welche Architektur. Damit KI wirklich produktiv wird und die Daten dabei im Unternehmen bleiben.

Warum jetzt?

Weil aus dem Nebenprojekt eine Überzeugung geworden ist: Der Weg zu KI führt nicht zwangsläufig über einen US-Cloud-Anbieter.

Vieles, wofür heute pro Nutzer und Monat gezahlt wird, läuft lokal. Schnell genug, günstig genug und nachvollziehbar. Nicht alles, für manche Aufgaben sind die großen Frontier-Modelle weiterhin das richtige Werkzeug. Aber der Anteil dessen, was auf eigener Hardware sinnvoll läuft, ist im letzten Jahr deutlich größer geworden, und die Rechnung geht für viele mittelständische Unternehmen inzwischen auf.

Näher am Metall

Ich werde dabei wieder deutlich operativer arbeiten. Möglich macht das erst die Technik selbst: KI-Agenten übernehmen im Hintergrund die Fleißarbeit. Das verschafft mir Zeit für den Teil, der jetzt der wichtigste ist: die Arbeit mit Menschen.

Ich starte allein. Mit dem klaren Plan, gemeinsam mit einem Partner zu wachsen.

Ab Oktober habe ich Kapazität

Für Projekte, Sparring und Kooperationen. Und wenn Ihnen beim Lesen jemand einfällt, der genau vor diesen Fragen steht: Ich freue mich über eine Vorstellung.

Wie das für ein Unternehmen aussieht

Wie ein solches Projekt abläuft, vom Audit über die Hardware und die Modelle bis zur Übergabe, habe ich aufgeschrieben: KI auf eigener Hardware.

Two Graphics Cards in the Basement

2026-08-19T00:00:00Z

There is a machine in my basement with two graphics cards. AI models work on it day and night. Nobody can rate-limit them, nobody can raise the price, nobody reads along.

It started as an after-hours project. Some hardware, a few open models, a lot of trial and error. It is now one of several reasons I left my job.

From 1 October 2026 I am self-employed

After many years leading software and product development, most recently as Head of Development, I will be advising companies on private and agentic AI: which hardware, which models, which architecture. So that AI actually becomes productive and the data stays inside the company.

Why now?

Because a side project turned into a conviction: the road to AI does not have to run through a US cloud provider.

A lot of what is billed per user per month today runs locally. Fast enough, cheap enough, and auditable. Not everything, for some tasks the large frontier models are still the right tool. But the share of work that runs well on your own hardware has grown considerably over the past year, and for many mid-sized companies the maths now works out.

Closer to the metal

I will be working far more hands-on again. What makes that possible is the technology itself: AI agents take over the legwork in the background. That frees up time for the part that matters most now — working with people.

I am starting solo, with a clear plan to grow together with a partner.

From October I have capacity

For projects, sparring, and partnerships. And if someone came to mind while you were reading this, someone facing exactly these questions: I would be glad for an introduction.

What that looks like for a company

I have written down how such a project runs, from the audit through the hardware and the models to the handover: AI on your own hardware.

Ein Agent arbeitet, während ich schlafe

2026-08-17T00:00:00Z

Öffentliche KI hat einen Gebührenzähler. Jede Anfrage summiert sich, ein langer Agentenlauf am Abend knabbert an dem Kontingent, das ich morgen für die eigentliche Arbeit brauche. Lokale KI nicht.

Diesen Unterschied habe ich neulich bewusst genutzt. Vor dem Schlafengehen habe ich meinem Inferenz-Server den Job gegeben, den ich abends nicht mehr schaffen würde: die fehlenden CRUD-Endpoints meiner aktuellen App, inklusive der Tests, die hätten dabei sein müssen. Ein Feld löschen soll es auch wirklich auf null setzen, eine Organisation muss samt ihrer Standorte und Termine verschwinden, und nichts davon war abgedeckt. Dann bin ich schlafen gegangen.

Nach dem Aufwachen

Ein Branch mit Commits, die Endpunkte auf dem Server implementiert, die Tests angehängt in jede betroffene Testdatei. Eine Aufgabenliste, die bei eins von fünf anfing und leer endete. Auf llama.cpp mit Qwen 3.8 27B.

Spannend finde ich den Preis. Die Kiste zieht unter Last rund 650 Watt. Acht Stunden davon sind etwa fünf Kilowattstunden, das sind bei meinem Tarif circa 1,50 Euro für eine Nacht Arbeit. Kein Tokenzähler, kein Rate-Limit, kein „wöchentliches Limit erreicht" mitten im Refactoring. Ich kann etwas starten, das in einer Stunde fertig wird, und etwas, das drei Tage läuft.

Nachteile

Ein fertiger Branch heißt nicht: fertig. Ich lese den Diff morgens, denn ein Agent, der acht Stunden ungestört war, hatte acht Stunden Zeit, überzeugend falsch zu liegen. Langsames Review ist sozusagen der Strafzoll unbeaufsichtigter Arbeit.

Vorgestern bin ich mit einer Lösung für ein Problem aufgewacht, das ich schlecht beschrieben hatte. Das Modell war äußerst gründlich in der falschen Richtung. Das hat mich eine Nacht gekostet.

Lokal auf meinem Notebook ist das Modell unerträglich langsam, wenn ich in Echtzeit warte. Wenn ich aber einfach ins Bett gehe, dann ist's erträglich!

Offene Fragen

Die Frage für Nutzer eingeschränkter Hardware ist nicht mehr: „Ist ein offenes Modell gut genug für die Aufgabe?" Die Frage veraltet monatlich. Hilfreicher ist: Kann diese Aufgabe bis morgens warten?

Viele echte Aufgaben können das. Migrationen, Testabdeckung, Dependency-Updates, Dokumentation, Log-Analysen, der Longtail an Tickets, die niemand im Kopf behalten will. Diese Aufgaben brauchen Geduld, kein Tempo.

An Agent That Works While I Sleep

2026-08-17T00:00:00Z

Public AI has a billing meter. Every request adds up, and a long agent run in the evening eats the plan I still need for tomorrow's actual work. Local AI does not.

Recently I used that difference on purpose. Before going to bed I handed my inference server the job I would not get done that evening: the missing CRUD endpoints in my current app, plus the tests that should have come with them. Clearing a field has to set it back to null, an organisation has to disappear along with its sites and appointments, and none of that was covered. Then I went to sleep.

After waking up

A branch with commits, the endpoints implemented on the server, and tests appended to each of the affected test files. A task list that started at one of five and ended empty. On llama.cpp with Qwen 3.8 27B.

The interesting part is the price. The box pulls around 650 watts under load. Eight hours of that is roughly five kilowatt hours, which at my tariff is about €1.50 for a night of work. No token counter, no rate limit, no "you have reached your weekly usage" in the middle of a refactoring. I can start something that finishes in an hour and something that runs for three days.

The downsides

A finished branch does not mean finished. I read the diff in the morning, because an agent that had eight hours undisturbed also had eight hours to be confidently wrong. Slow review is, so to speak, the tax on unattended work.

Two nights ago I woke up to a solution for a problem I described badly. The model had been extremely thorough in the wrong direction. That cost me a night.

Locally on my notebook, the model is unbearably slow when I wait in real time. If I just go to bed, it is bearable!

Open questions

For people on limited hardware the question is no longer "is an open model good enough for the task?" That question gets older every month. The useful question is: can this task wait until morning?

A lot of real work can. Migrations, test coverage, dependency updates, documentation, log analysis, the long tail of tickets nobody wants to hold in their head. Those tasks want patience, not speed.

Eine Woche Vibe Coding

2026-04-18T00:00:00Z

Nach einer Woche Vibe Coding nebenbei (während ich einen Fulltime-Job, Familie und viel zu wenig Schlaf jongliert habe), bin ich fast in ein richtiges Tief gerutscht. Dunkle Gedanken über die Zukunft meines Berufs und der Menschheit im Allgemeinen. Der Schlafmangel hatte wahrscheinlich auch etwas damit zu tun.

Naja, ich habe ein paar Dinge gelernt...

Open-Source-Modelle

Sie sind immer noch nicht auf dem Niveau von Frontier-Modellen wie denen von Anthropic, aber die Fortschritte im letzten Jahr sind beeindruckend. Gemma 4 hat sich als besonders nützlich erwiesen und hat das meiste bewältigt, was ich ihm zugeworfen habe. Qwen 3.6 ist gerade erst erschienen, daher hatte ich noch nicht viel Zeit damit zu spielen. Manchmal ist eine zusätzliche Korrekturschleife im Vergleich zu Sonnet notwendig, aber ehrlich gesagt reicht es meistens aus. Meine größten Kopfschmerzen verursachten Bugs in den Modellen selbst oder in den Inference-Tools, die ich verwendet habe (llama.cpp-basiert, LM Studio).

Claude spielt in einer eigenen Liga

Ich habe Claude Code eine große, über 10 Jahre alte Codebasis hingeschmissen, und es hat nicht einmal gezuckt. In meiner Android-App (dem Versuchskaninchen für dieses Experiment) HandWrite Pro habe ich eine Reihe neuer Funktionen, Stabilitäts-Fixes, UX-Verbesserungen, Modernisierungen und sogar einige architektonische Redesigns erstellt. Das alles als Nebenprojekt hätte normalerweise Monate, vielleicht Jahre gedauert.

Anfangs lief alles reibungslos, es waren kaum Korrekturen nötig.

Später zeigten sich erste Risse. Ein Refactoring führte zu einigen fiesen, schwer zu findenden Bugs. Und nachdem Sonnet und ich sie gemeinsam aufgespürt hatten, wurden dieselben Bugs wieder eingebaut. Und wieder.

Das Schlimmste waren die Unit-Tests für eine Open-Source-PDF-Generierungsbibliothek. PDF-Generierung ist extrem komplex. Claude generierte zufrieden etwa 20 aufwendige PDF-Testdokumente mit allem Drum und Dran, aber jeder einzelne Test prüfte nur eine Sache: Ist die Datei größer als 0 Bytes? Das ist einfach faul. Fast schon Arbeitsverweigerung. Es brauchte viel gutes Zureden, bis Claude tatsächlich aussagekräftige Tests schrieb.

Fazit?

Open-Source-Modelle haben definitiv ihren Platz. Sie haben aufgeholt, sie sind solide und oft gut genug. Wann immer ich mit etwas persönlicheren Daten hantiere, verwende ich ein Open-Source-Modell.

Frontier-Modelle wie Claude Opus oder Sonnet spielen in einer anderen Liga. Der Code, den sie produzieren, ist unglaublich gut. Jeder Entwickler, der sich weigert, mit LLMs zu arbeiten, wird zurückbleiben. Kein Mensch kann mit diesem Tempo mithalten.

Aber sie sind nicht perfekt (das hat ja auch niemand erwartet, oder?). Was mich wahnsinnig machte, war, wie schnell ich an die Token-Limits stieß. Obwohl man auf dieses Problem natürlich Geld schmeißen kann. Das größere Problem ist wie verlockend es ist, das Gehirn einfach auszuschalten. Ich ertappte mich dabei, wie ich vom Sofa aus coden ließ, während ich eine Serie schaute, kaum aufpasste und einfach immer auf "OK" klickte, ohne mir die Shell-Befehle anzuschauen, die da ausgeführt werden sollten.

Und ehrlich gesagt bleibe ich mit einem seltsamen Gefühl zurück, wohin das alles führt. Wie wird ein Informatikstudium in Zukunft überhaupt noch aussehen? Wie sollen wir unsere Kinder vorbereiten? Und wie vermeidet Europa es, ins Hintertreffen zu geraten, wenn alle guten LLMs aus den USA oder China kommen?

A Week of Vibe Coding

2026-04-18T00:00:00Z

After a week of vibe coding on the side (while juggling a full-time job, family, and way too little sleep), I almost slipped into a proper funk. Dark thoughts about the future of my profession and humanity in general. Then again, the sleep deprivation probably had something to do with it.

Anyway, I learned a few things...

Open source models

They're still not at the level of frontier models like Anthropic's, but the progress over the last year is impressive. Gemma 4 in particular turned out to be really useful and handled most of what I threw at it. Qwen 3.6 just dropped, so I haven't played with it much yet. Sometimes you need an extra correction loop compared to Sonnet, but honestly, it gets the job done. My biggest headaches were bugs in the models themselves or in the inference tools I was using (llama.cpp based, LM Studio).

Claude is on another level

I threw a large, 10+ year old codebase at Claude Code and it didn't even flinch. On my Android app (the guinea pig for this experiment) HandWrite Pro, I created a bunch of new features, stability fixes, UX improvements, modernizations, and even some architectural redesigns. Doing all that as a side project would normally have taken me months, maybe years.

At first everything ran smoothly with barely any corrections needed.

Later on, cracks started to show. A refactoring introduced some nasty, hard-to-spot bugs. And after Sonnet and I tracked them down together, the same bugs got reintroduced. And again.

The worst part was unit tests for an open source PDF generation lib. PDF generation is insanely complex. Claude happily generated about 20 elaborate PDF test documents with all the trimmings, but every single test only checked one thing: is the file bigger than 0 bytes? That's just lazy. Borderline refusing to work. It took a lot of nagging to get Claude to write actually meaningful tests.

So what do I take away from all this?

Open source models absolutely have their place. They've caught up, they're solid, and they're often good enough. Whenever I am handling data that is at all personal, that is what I reach for.

Frontier models like Claude Opus or Sonnet are in a different league. The code they produce is ridiculously good. Any developer who refuses to work with LLMs is going to get left behind. No human can keep up with that pace.

But they're not perfect (nobody expected that anyway, right?). What drove me nuts was hitting token limits so quickly. Though I guess you can throw money at that problem. The bigger issue is how tempting it is to just switch your brain off. I caught myself coding from the couch while watching a show, barely paying attention and just clicking OK without looking at the shell commands that were about to run.

And honestly, I'm left with a weird feeling about where this is all going. What will a computer science degree even look like? How should we be teaching our kids? And how does Europe avoid getting left in the dust when all the good LLMs come from the US or China?