Private KI
Offene Modelle auf eigener Hardware, damit die Daten im Haus bleiben.
- Bei Ihnen im Serverraum oder bei einem deutschen Betreiber.
- Audit, Hardware, Modellauswahl und Stack aus einer Hand.
- Den Betrieb übernehme ich auf Wunsch, oder ich schule Ihr Team dafür.
Frontier-KI von OpenAI oder Anthropic heißt, dass alles, was Ihr Team eintippt, auf dem Weg zur Antwort das Haus verlässt. Bei Verträgen, Personalakten, Kundendaten oder manchmal selbst Quellcode ist das oft nicht gewünscht. Ich betreibe offene Modelle auf eigener Hardware und richte Ihnen dasselbe ein: Audit, Hardware, Modelle und Software. Den Betrieb kann ich danach übernehmen, oder ich schule Ihr Team oder Ihren IT-Dienstleister dafür.
1 Warum im eigenen Haus
Zuerst die Souveränität. Aber auch Kosten können eine Rolle spielen.
Die Daten liegen in Ihrem Serverraum oder bei einem deutschen Betreiber, mit dem Sie selbst einen Vertrag haben. Niemand ändert Ihnen von heute auf morgen die Bedingungen, und niemand stellt das Modell ab, um das Sie einen Prozess gebaut haben. Die Abos pro Arbeitsplatz sind günstig, solange die Anbieter kein Geld verdienen müssen. Dass das so bleibt, würde ich nicht voraussetzen.
Billiger ist es am ersten Tag nicht. Eine leistungsfähige Maschine für lokale KI ist teuer, und ob sie sich rechnet, hängt davon ab, wie intensiv sie genutzt wird. Dafür ist das Audit da.
2 Das Audit
Bevor Sie Hardware kaufen.
Wir gehen die Aufgaben durch, die Sie an KI abgeben wollen, und sortieren sie: was ein lokales Modell gut erledigt, wofür sich ein großes Cloud-Modell lohnt und was gar keine KI braucht, sondern eine gute Suche. Sie bekommen eine schriftliche Empfehlung: welche Maschine dafür reicht und welche Arbeit sie Ihnen abnimmt. Und wenn Mieten für Ihre Größenordnung die bessere Wahl ist, steht das genauso darin.
3 Die Hardware
Aus der Arbeitslast dimensioniert.
Das Modell bestimmt, wie viel Grafikspeicher nötig ist, und der Speicher ist der größte Kostenposten. Ich spezifiziere die Hardware, sage Ihnen, was sie kostet, und begleite die Beschaffung. Ob sie auf dem Schreibtisch, im eigenen Serverraum oder in einem gemieteten deutschen Rechenzentrum steht, ist vor allem die Frage, wer sich um Strom, Kühlung und physischen Zugang kümmert.
4 Die Modelle
Für Ihr Material ausgewählt.
Gemma, Qwen und GLM unterscheiden sich in der Praxis stärker, als ihre Benchmark-Werte vermuten lassen. Das gilt besonders für deutsche Texte und für Dokumente im Stil Ihrer Organisation. Ich teste die Kandidaten an Ihrem eigenen Material und zeige Ihnen, wo es holpert. Sie bekommen eine engere Auswahl mit Zahlen dahinter und einen Test, den Sie in einem halben Jahr wiederholen können, wenn das nächste Modell erscheint.
5 Der Stack
Was aus einem Modell ein benutzbares Werkzeug macht.
Das Modell selbst ist schnell eingerichtet. Mehr Arbeit machen der Inference-Server, die Oberfläche für Ihre Kollegen, der Zugriff auf die eigenen Dokumente, Benutzerkonten, die Agenten für wiederkehrende Aufgaben und die Integration in das, was Sie ohnehin betreiben. Ich setze durchgehend auf etablierte Open Source und baue Protokollierung und Zugriffsrechte von Anfang an ein, damit Ihr Team übernehmen kann.
6 Übergabe und Betrieb
Ein laufendes System, ob ich es betreibe oder Ihr Team.
Fertig heißt: Es läuft, und der Aufbau ist dokumentiert. Danach gibt es zwei Wege. Ich betreibe das System weiter, spiele Updates und neue Modelle ein und kümmere mich, wenn eine Karte ausfällt. Oder ich schule Ihr Team oder einen Dienstleister Ihrer Wahl, bis dort jemand ein Modell selbst aktualisieren kann und weiß, was bei einem Ausfall zu tun ist.