Frage: Müssen wir zuerst eine zentrale Datenplattform bauen?
Antwort: Nein. Bauen Sie den Datenpfad pro Use Case Ende‑zu‑Ende. Wenn der Wertbeweis gelingt, extrahieren Sie wiederverwendbare Bausteine (Ingestion, Feature‑Store, Registry). Eine große Plattform vor dem ersten Nutzen bindet Zeit und Kapital und verschiebt nur Entscheidungen.

Frage: Cloud oder On‑Prem für LLM und KI?
Antwort: Für vertrauliche Produktions- und Personaldaten empfiehlt sich On‑Prem oder eine strikt kontrollierte, europäische Hosting‑Variante. Vorteile: geringere Latenz, volle Kontrolle, einfachere Auditierbarkeit. Cloud kann für unkritische Trainingsjobs oder Skalierlasten sinnvoll sein, aber trennen Sie strikt: Kein personenbezogener oder vertraulicher Kontext verlässt ohne Not Ihr Netz.

Frage: Reichen kleine Modelle wirklich aus?
Antwort: In domänenspezifischen Aufgaben oft ja. Zwei Gründe: 1) Gute Datenvorbereitung und Retrieval (RAG) tragen die Antwortqualität. 2) Latenz‑ und Ressourcenbudgets am Edge sind knapp. Ein 7–13B‑Modell mit gutem Retrieval schlägt oft ein größeres Modell mit schlechtem Kontext. Messen Sie unter Produktionsbedingungen, nicht nur auf Demosätzen.

Frage: Wie gehen wir mit DSGVO und LLMs um?
Antwort: Prinzipien: Datenminimierung, Zweckbindung, Rechtekonzept. Technisch: PII‑Filter in Ingestion und vor Prompting, lokale Inferenz, Audit aller Abfragen und Quellen, Rollenkonzepte bis auf Dokumentenebene. Organisatorisch: Verzeichnis der Verarbeitungstätigkeiten pflegen, TOMs dokumentieren, Freigaben der Datenschutzbeauftragten einholen. LLM‑Ausgaben, die Entscheidungen beeinflussen, sollten nachvollziehbar und prüfbar bleiben.

Frage: Welche Hardware brauchen wir für den Start?
Antwort: Für CV‑Edge‑Inferenz ist ein solider Industrie‑PC mit iGPU oder kleiner GPU oft ausreichend. Für RAG/LLM‑Inferenz genügen ein oder zwei Server mit ausreichend RAM und einer Mittelklasse‑GPU; quantisierte Modelle laufen teils auch sinnvoll auf CPU. Wichtig sind Zuverlässigkeit, Ersatzteilverfügbarkeit, ein getesteter Update‑Prozess und Umgebungstauglichkeit (Staub/Temperatur).

Schlussgedanke

Die technische Entscheidung, souverän und on‑prem zu bauen, ist kein Selbstzweck. Sie schafft die Voraussetzung, KI stabil in die Produktion zu bringen: niedrige Latenz, auditierbare Entscheidungen, kontrollierbare Kosten und ein schneller Lernzyklus mit Ihrem Team. Starten Sie dort, wo der Schmerz am größten ist, schneiden Sie den Scope hart zu, bauen Sie Ende‑zu‑Ende – und messen Sie unter Realbedingungen. So wird KI im Mittelstand kein Hype‑Projekt, sondern ein robuster Teil Ihrer Wertschöpfung.