• Private Cloud im Rechenzentrum des Unternehmens oder in einer europäischen Souveränitätsumgebung
  • Infrastruktur: OpenStack oder Managed Private Cloud bei EU-Anbietern ohne US-Rechtseinfluss; Datenresidenz vertraglich abgesichert.
  • Vorteile: Elastizität, zentrale Verwaltung.
  • Trade-offs: Netzwerkpfade und Latenzen prüfen, klare Exit-Strategie definieren.
  • Edge + Zentrale
  • Verarbeitung Edge-nah (Bildverarbeitung, Vorfilter), zentrale Modelle/Indizes im RZ.
  • Vorteile: Geringere Latenz/Traffic, robuste Produktion.
  • Trade-offs: Rollout- und Update-Komplexität, konsistentes Logging sicherstellen.

DSGVO-Grundsätze technisch umsetzen:

  • Datenminimierung: Maskieren/Filtern personenbezogener Daten vor Indexierung oder Training; Pseudonymisierungspipeline.

  • Zweckbindung: Separate Speicherbereiche und Service-Accounts pro Use-Case; IAM erzwingt Zugriff nur für definierte Zwecke.

  • Transparenz/Audit: Vollständige Protokollierung von Eingaben, Modellversionen, Quellen; unveränderliche Logs.

  • Betroffenenrechte: Lösch- und Korrekturpfade über Indizes/Datenspeicher; Rebuild-Jobs für RAG-Indizes nach Korrekturen.

  • Datenschutz-Folgenabschätzung (DPIA): Frühzeitig mit Data-Protection-Officer abstimmen; technische und organisatorische Maßnahmen dokumentieren.

Pragmatische KI: Drei 90‑Tage‑Projektpfade mit Meilensteinen
Pfad A: Dokumenten-RAG für Service/Qualität

  • Woche 1–2: Scope definieren (z. B. Handbücher für 1 Produktfamilie), Quellsysteme anschließen, Dateninventur, DPIA-Check.

  • Woche 3–4: OCR/Parsing-Pipeline, Chunking und Metadatenmodell; erster Indexlauf.

  • Woche 5–6: On‑Prem LLM oder Antworterzeugung; UI als einfache Web-App, Antwort mit Quellen und Zitaten.

  • Woche 7–8: Relevanz-Tuning (Chunk-Größen, Suchoperatoren, Re-Ranking), Zugriffskontrollen.

  • Woche 9–10: Nutzerpilot mit 10–20 Power-Usern, Feedbacklogging.

  • Woche 11–12: Härten (Monitoring, Backups, Indexportfolien), Abnahme.

Akzeptanzkriterien:

  • ≥80% der Pilotanfragen verweisen auf korrekte Dokumentstellen.

  • Antwortzeit unter definierter Schwelle auf Zielhardware.

  • Vollständige Nachvollziehbarkeit je Antwort (Quellen, Modellversion, Prompt).

Pfad B: Visuelle Prüfung an einer Station

  • Woche 1–2: Kamera-Setup prüfen, Beleuchtung optimieren, Referenzdatensatz aufbauen.

  • Woche 3–4: Heuristische Basisregeln implementieren; ML-Backbone aufsetzen.

  • Woche 5–6: Gemeinsame Entscheidungsschicht; Edge-Inferenzcontainer.

  • Woche 7–8: Pilot parallel zum bestehenden Prozess (Shadow Mode), Metrikmessung.

  • Woche 9–10: Schwellenwerte justieren, Fehlertypen ergänzen.

  • Woche 11–12: Übergabe in kontrollierten Produktivbetrieb mit Rückfalloption.

Akzeptanzkriterien:

  • Definierte Reduktion der Fehlklassifikationen im Vergleich zum manuellen Prozess.

  • Zykluszeit im Taktfenster.

  • Nachvollziehbarkeit aller Entscheidungen für Audit.

Pfad C: Anomalieerkennung an einer Maschinenklasse

  • Woche 1–2: Sensorik-/Datenpfad validieren, Label-Stand klären, Golden Weeks anstoßen.

  • Woche 3–4: Feature-Pipeline und Baseline-Modell.

  • Woche 5–6: Schwellen/Hysterese mit Instandhaltung feintunen.

  • Woche 7–8: Shadow Mode mit echten Alerts, Review-Boards.

  • Woche 9–10: Integration in Leitstand/MES (nur Anzeige, keine Autostopps).

  • Woche 11–12: Betriebskonzepte, Schulung, Abnahme.

Akzeptanzkriterien:

  • Nützliche Alerts im Pilot, dokumentierte Fälle.

  • Drift-Monitoring aktiv, Re-Train-Pfade definiert.

Mittelstand vs. Konzern: Warum kleinere Teams oft schneller liefern

  • Kürzere Wege zu Domänenexperten. Statt drei Gremien gibt es oft eine Meisterrunde – schnelleres Labeln, schnelleres Tuning.

  • Fokussierte Scope-Entscheidungen. Ein Produkt, eine Linie, ein Use-Case – weniger “Scope-Creep”.

  • Weniger Tool-Sprawl. Ein Git, eine CI, ein Kubernetes-Cluster statt fünf Plattformen.

Was trotzdem nötig ist:

  • Leichtgewichtige, aber echte Governance: ein technischer Owner, ein Risikoregister (Annahmen, Grenzen, Eskalationspfade), feste Freigaben für Modellwechsel.

  • Reproduzierbare Infrastruktur: IaC (z. B. Ansible/Terraform), GitOps für Deployments, standardisierte Observability (Metriken, Logs, Traces).

  • Exit-Strategien: Jede externe Abhängigkeit bekommt einen Plan B (z. B. austauschbare Vektor-DB, alternatives Embedding-Modell).

Architektur- und Modellentscheidungen: Trade-offs ohne Illusionen

  • RAG vs. Fine-Tuning

  • RAG zuerst, wenn Wissen in Dokumenten steckt und sich ändert.

  • Leichtes Fine-Tuning/Adapter (z. B. LoRA) nur für Format-/Stil-Compliance; striktes Logging und Evaluierung.

  • Modellgröße

  • 8–13B-Modelle sind oft das beste Kosten-Nutzen-Verhältnis On‑Prem; größere Modelle nur, wenn messbarer Mehrwert.

  • Quantisierung reduziert Hardwarebedarf; prüfen Sie Genauigkeitsverlust per Eval-Set.

  • Vektor-DB-Auswahl

  • Kriterien: On‑Prem‑Reife, Sicherheitsfeatures (RBAC, Verschlüsselung), Migrationspfade.

  • Bewährte Retrieval-Heuristiken schlagen oft exotische ANN-Settings: gutes Chunking, deduplizierte Inhalte, Metadatenfilter.

  • Bildverarbeitung

  • Klassische Verfahren sind First-Class Citizens: Robust, deterministisch, auditierbar.

  • ML dort, wo Variabilität hoch ist oder menschliche Subjektivität dominiert.

  • Metriken

  • Definieren Sie E2E-Metriken (z. B. “Zeit bis korrekte Antwort” statt nur “Top‑k Recall”).

  • Evaluieren Sie auf echten, nicht “gebastelten” Fällen aus Ihrem Betrieb.

Betrieb und Governance: Damit KI im Alltag hält

  • MLOps On‑Prem

  • Versionierung: Modelle, Datensätze, Konfigurationen in Git und Artefakt-Registry.

  • CI/CD: Automatische Tests (Funktion, Performance), kontrollierte Freigaben, signierte Container.

  • Observability: Systemmetriken (GPU/CPU), Modellmetriken (Antwortlänge, Konfidenz, Halluzinationsindikatoren), Nutzungsmetriken.

  • Sicherheit

  • Air-Gap-Optionen für sensible Bereiche; Updates nur via freigegebene Artefakte.

  • Strikte Egress-Policies; keine verdeckte Telemetrie in Containern.

  • Secrets-Management On‑Prem; rollenbasiertes IAM, Least Privilege.

  • Responsible AI im Industriemaßstab

  • Prompt-/Antwort-Filter für PII, IP-Leaks; Whitelists/Blacklists für Ausgaben (z. B. keine Empfehlungen zu Sicherheitseinstellungen ohne Freigabe).

  • Mensch-in-der-Schleife für kritische Entscheidungen; Deeskalationspfade.

  • Audit: Jede Modellentscheidung ist rückverfolgbar (Inputs, Quellen, Modellversion, Parameter).