• Visuelle Defekterkennung (Fertigung):
  • Edge inferencing auf GPU-fähigen IPCs; Model Serving per TensorRT, P99 < 50 ms.
  • Datenpfad: Kamera → Edge-Puffer → On-Prem Kafka → Objekt-Storage → Annotation-Tool on-prem.
  • Human-in-the-loop für Grenzfälle; Rückkopplung als Label-Events; regelmäßige Re-Kalibrierung nach Wartung.
  • Audit: Versionierte Models/Thresholds, automatisierte Golden-Sample-Suite.
  • Prädiktive Instandhaltung (Bahn/Anlage):
  • Event-Streaming (Sensor-Telemetrie, Betriebszustände), Feature-Pipelines (z. B. Rolling FFT, Health Indices).
  • RUL-Schätzung mit Unsicherheit; Dispatch-Optimierung als Downstream-Problem.
  • Kostenmatrix: Ungeplanter Ausfall vs. Vorzieh-Wartung; Optimierung auf flottenweite Verfügbarkeit.
  • Governance: Erklärbarkeit (SHAP), um Wartungsentscheidungen nachvollziehbar zu machen.
  • RAG/LLM für technische Dokumentation und Prozesse:
  • On-Prem-Embedding + Vektorstore; Domain-Korpora kuratiert; Chunking und Attributionspflicht.
  • Policy Layer: Tool-Call-Whitelists, Datenzugriff nach Rolle, automatische Quellenangabe; Antworten ohne Attribution blockieren.
  • Observability: Prompt/Context-Hash, Tool-Call-Logs, Kosten-/Latenzbudgets, Replaybarkeit.
  • Sicherheit: Jailbreak-/Prompt-Injection-Checks im Inferenzpfad; kein externer Inferenzdienst.

Ein 90-Tage-Blueprint für einen belastbaren Start

  • Woche 1–2: Problem-Framing
  • Business-KPI, Kostenmatrix, Stakeholder, rechtliche Rahmen (DSGVO, Betriebsrat).
  • Baseline definieren und messen.
  • Woche 3–4: Daten-Discovery und -Verträge
  • Datenquellen inventarisieren, Data Contracts aufsetzen, Quick-Wins für Ereignispfade (CDC/Kafka).
  • Labeling-Plan, Data Steward bestimmen.
  • Woche 5–8: Thin-Slice Ende-zu-Ende
  • Minimal-Architektur on-prem (K8s, Registry, Monitoring), MVP-Modell in Zielumgebung.
  • Nichtfunktionale Anforderungen explizit testen (Latenz, Ressourcen, Security).
  • Logging/Audit minimal aber vollständig (Input-Hash, Model-Hash, Decision, Operator-Feedback).
  • Woche 9–10: Shadow/Canary Pilot
  • Produktionsnahe Daten, Shadow gegen Baseline; Canary 1–5% mit Rollback.
  • Monitoring für Drift und Datenqualität implementieren.
  • Woche 11–12: Go/No-Go und Betriebsübergabe
  • ROI-Review gegen Kostenmatrix; Runbooks; Incident-Management; Retraining-Plan.
  • Governance: Freigabeprozess, Modellversionspolitik, Audit-Dokumentation.

Position: Technologie folgt dem Problem – und der Souveränität

  • Wählen Sie Technologien nach Ihren Constraints: Latenz, Audit, Datenschutz, Energie, Edge-Konnektivität.
  • Vermeiden Sie Abhängigkeiten, die Governance und Audit verwässern.
  • Bauen Sie früh eine minimale, aber echte Produktionslinie für Modelle: Datenverträge, Registry, Monitoring, Rollback.
  • Bewerten Sie Fortschritt nicht an Accuracy, sondern an Business-KPIs unter Ihrer Kostenmatrix.

FAQ

Frage 1: Brauchen wir wirklich On-Prem? Die Cloud wäre doch schneller.
Antwort: Geschwindigkeit ist nur ein Faktor. Wenn Ihre Anforderungen Datenresidenz, DSGVO-Sicherheit, Auditpflichten, Air-Gap oder Lieferantenverträge mit Cloud-Ausschluss beinhalten, ist On-Prem keine Wahl, sondern eine Randbedingung. Technisch können Sie mit einem modernen On-Prem-Stack (Kubernetes, lokale Model-Serving-Stacks, Vektorstores) sehr schnell liefern – und Sie behalten Kontrolle über Kosten, Upgrades und Auditierbarkeit. Für unkritische Teile (z. B. synthetische Vorforschung) kann eine temporäre, streng entkoppelte Umgebung sinnvoll sein, aber nicht als Produktionsanker.

Frage 2: Wie rechtfertigen wir das Budget ohne belastbare ROI-Zahlen im Voraus?
Antwort: Mit Stage-Gates und einer expliziten Kostenmatrix. Definieren Sie Baselines, messen Sie in Shadow/Canary-Phasen reale Effekte und committen Sie zu Kill-Kriterien. Statt einer großen Wette planen Sie kleine, messbare Thin-Slices, die entweder den Hebel zeigen oder sauber beendet werden. So entsteht ein belastbarer Business Case ohne PowerPoint-Alchemie.

Frage 3: Müssen wir für Produktionsreife zwingend ein „MLOps“-Team aufbauen?
Antwort: Sie brauchen Rollen, nicht zwingend ein großes Team. Mindestens: Data Steward (Datenprodukte, Verträge), ML/AI Engineer (Pipelines, Modelle, Deployment), Platform/DevOps (K8s, Observability, Security), Produktowner (KPI-Verantwortung). In kleinen Organisationen können Rollen zusammenfallen – solange Ownership, Runbooks und SLOs klar sind. Externe Unterstützung kann Lücken schließen, aber Betrieb und Verantwortung sollten intern verankert sein.

Frage 4: Erklären vs. Optimieren – wie viel Erklärbarkeit ist wirklich nötig?
Antwort: Das hängt von Domäne und Risiko ab. Bei sicherheits- oder haftungsrelevanten Entscheidungen brauchen Sie nachvollziehbare Begründungen (lokale Erklärbarkeitsmethoden, Rule Surrogates, Feature-Importance, Attributionspflicht bei RAG). In reinen Ranking-/Priorisierungsfällen kann Performance wichtiger sein. Entscheidend ist die dokumentierte Risikoanalyse: Welche Entscheidung trifft das Modell, welches Schadenpotenzial hat ein Fehler, und welche Nachvollziehbarkeit fordern Auditoren/Kunden?

Frage 5: Sind LLM-Agenten in Industriekontexten derzeit reif für Produktion?
Antwort: Ja, unter klaren Grenzen und mit Governance. Produktionsreif sind enge, domänenspezifische Agenten mit kontrolliertem Tool-Zugriff, lokalem RAG, strikter Policy-Schicht, deterministischem Replay und Audit-Logs. „Offene“ Generalisten mit Internetzugriff sind in regulierten Umgebungen kaum vertretbar. Entscheidend sind Guardrails, Beobachtbarkeit und die Fähigkeit, Entscheidungen zu rekonstruieren und im Zweifel zu stoppen.

Schluss

KI kennt Ihr Business nicht – und wird es auch nicht „lernen“, wenn Ihre Datenarchitektur unscharf, Ihre Governance schwach und Ihre Produktionsanforderungen ignoriert werden. Wer Problem, Datenstrategie, Souveränität und Produktionsreife in dieser Reihenfolge adressiert, baut Systeme, die echten Hebel liefern – ohne sich in Abhängigkeiten oder Pilotfriedhöfen zu verlieren. Das ist weniger glamourös als die nächste Modellankündigung, aber belastbar, auditierbar und am Ende genau das, was industrielle Unternehmen brauchen.