Produktive Agenten sind keine Chat-Spielerei. Sie brauchen:

  • Aufgaben- und Rechtemodelle: Welche Aktionen darf ein Agent wo und wann ausführen?

  • Policies und Evaluations: Jede Aktion gegen Prüfregeln, Compliance-Kataloge und Risiko-Schwellen testen, bevor sie Freigabe erhält.

  • Vollständige Nachvollziehbarkeit: Prompt, Kontext, Modellversion, Tool-Calls, Resultate, Entscheidungspfade.

  • On-prem Observability und Governance: Kein externer Telemetrieabfluss, deterministische Replays, Rollbacks.

Genau hier setzen wir in Projekten auf eine on-prem Observability- und Governance-Schicht für LLM-Workflows, die Evaluierungen, Policy-Gates und vollständige Revisionssicherheit kombinieren – unabhängig vom verwendeten Modell.

Fazit

In Industrien, in denen Souveränität nicht verhandelbar ist, ist Buy selten billig und nie risikofrei. Individualentwicklung ist kein Selbstzweck, sondern die einzige verlässliche Methode, um harte Anforderungen an Datenhoheit, Determinismus, Lebenszyklus und Auditierbarkeit zu erfüllen. Der Schlüssel liegt in einer klaren Trennung: Domänkern besitzen, Commodity einkaufen, Lieferkette kontrollieren, Qualität und Governance in die DNA des Systems einweben. So entstehen Systeme, die heute Nutzen stiften und in zehn Jahren noch wartbar, nachweisbar und sicher sind.

FAQ

Frage: Wie minimiere ich Vendor-Risiko, ohne alles selbst zu bauen?
Antwort: Definieren Sie harte Schnittstellen und kapseln Sie externe Komponenten hinter Anti-Corruption-Layern. Betreiben Sie Kernbausteine in Ihrem Perimeter, generieren Sie SBOMs für alle Artefakte und halten Sie austauschbare Standards (Protobuf/REST/ONNX). Vermeiden Sie proprietäre SDKs in kritischen Pfaden. Planen Sie explizit Exit-Szenarien und testen Sie sie in kleinen Schritten.

Frage: Können wir Open-Source-Modelle produktiv einsetzen, ohne ein großes Research-Team?
Antwort: Ja, wenn Sie sich auf robuste Betriebspraktiken fokussieren: reproduzierbare Builds, klar definierte Use-Cases, konservative Optimierungen (Quantisierung/Distillation), solide Evaluationssuiten und kontrollierte Datenzyklen. Nutzen Sie bewährte Inference-Runtimes und betreiben Sie ein schlankes, on-prem MLOps-Setup mit Feature Store und Model Registry.

Frage: Wie validieren wir LLM-Ausgaben in regulierten Prozessen?
Antwort: Verwenden Sie Retrieval-augmented Generation mit versionierten Wissensquellen, definieren Sie Policies pro Use-Case (z. B. Regularien, Terminologie, PII-Filter) und erzwingen Sie eine zweistufige Freigabe bei hohem Risiko. Jede Antwort wird mit Metadaten (Prompt, Kontext, Modellversion) gespeichert. Evaluationssuiten messen Genauigkeit, Regelkonformität und Robustheit vor jeder Freigabe.

Frage: Was ist der minimale Footprint für On-prem-Inferenz im Werk?
Antwort: Ein robuster Industrierechner mit GPU/CPU je nach Latenzbedarf, eine lokale Runtime (z. B. OnnxRuntime/TensorRT/vLLM), signierte Modellartefakte aus einer privaten Registry, ein schlanker Agent für Konfiguration/Monitoring, sowie Pufferung für Offline-Betrieb. Netzwerkseitig mTLS, feste Egress-Policies null bis minimal, und ein offline verifizierbarer Update-Kanal.

Frage: Wie planen wir 10+ Jahre Wartbarkeit bei AI-Komponenten?
Antwort: Trennen Sie Modellvertragsflächen (Ein-/Ausgabeschemata) von Implementierungsdetails, pinnen und reproduzieren Sie Toolchains, dokumentieren Sie Architekturentscheidungen, halten Sie eine Modell-/Daten-Governance mit Versionierung und Audit-Trails, und vermeiden Sie kurzlebige proprietäre Abhängigkeiten. Legen Sie Migrationspfade früh an (z. B. ONNX als Austauschformat, ADRs zu Technologie-Entscheidungen) und testen Sie Wechsel klein und regelmäßig.