Lokale KI ohne Cloud

Sprachmodelle, Spracherkennung und Sprachausgabe laufen heute auf handelsüblichen Rechnern mit Grafikkarte. Für viele Betriebe ist das der ruhigere Weg: Daten bleiben im Haus, Kosten sind planbar, und niemand schaltet über Nacht ein Modell ab.

Was lokal gut funktioniert

• Spracherkennung in Studioqualität, auch für Dialekt, ohne dass eine Aufnahme das Haus verlässt.
• Sprachausgabe mit natürlichen Stimmen, auf Wunsch mit einer eigenen Stimme aus wenigen Minuten Aufnahme.
• Sprachmodelle für Gespräche, Zusammenfassungen, Belegerkennung und Klassifizierung, die mit dem Wissen des Betriebs arbeiten.
• Bild- und Objekterkennung in Kamerabildern, direkt am Gerät.

Datenschutz

Bei lokalem Betrieb gibt es keinen Auftragsverarbeiter in den USA, keinen Drittlandtransfer und keine Diskussion über Vertragsklauseln. Die Datenschutzerklärung wird kurz und wahr. Gesprächsprotokolle liegen im eigenen Haus, mit Löschfristen, die man selbst bestimmt. Genau so betreibe ich auch meine eigene Seite.

Kosten

Ein Rechner mit zwei gebrauchten Grafikkarten trägt Spracherkennung, Sprachausgabe und ein Sprachmodell für einen kleinen Betrieb gleichzeitig. Danach kostet ein Gespräch Strom, sonst nichts. Cloud-Dienste rechnen pro Minute oder pro tausend Wörter ab. Ab einer gewissen Nutzung kippt die Rechnung zugunsten der eigenen Hardware, darunter ist die Cloud günstiger. Beides lässt sich vorab überschlagen.

Wo die Grenzen liegen

Die größten Modelle der großen Anbieter sind klüger als das, was auf einer Grafikkarte läuft. Für ein Gespräch über Öffnungszeiten, Leistungen und Termine braucht man diese Größe nicht. Für komplexe Recherche oder lange Dokumente kann sie sinnvoll sein. Deshalb baue ich hybrid: lokal, wo es reicht, extern, wo es einen klaren Vorteil bringt und die Daten dafür geeignet sind. Und ich achte darauf, dass ein Wechsel des Modells später ohne Umbau möglich bleibt.

Betrieb und Wartung

Eigene Hardware braucht jemanden, der sie im Blick behält: Updates, Speicherplatz, Ausfälle. Dafür gibt es Überwachung mit Meldung aufs Handy und eine Seite, die im Fehlerfall ehrlich sagt, dass gerade nur Tippen geht, und die Telefonnummer nennt. Das ist Teil jedes Projekts, nicht nachträgliche Kür.