Frage: Brauche ich wirklich ein air-gapped Setup für KI?
Antwort: Nur, wenn das Risiko- und Kritikalitätsprofil es verlangt (z. B. Verteidigung, kritische Infrastruktur, streng regulierte Betriebsdaten). Für viele industrielle Szenarien reicht ein strikt segmentiertes On-Prem-Netz mit signierten Artefakten, Zero Trust, mTLS und einer klaren Outbound-Policy. Air-gap erhöht die Betriebskomplexität (Updates, Telemetrie), eliminiert aber ganze Klassen externer Risiken.
Frage: Wie setze ich das „Recht auf Löschung“ gegenüber trainierten Modellen um?
Antwort: Planen Sie Unlearning von Anfang an. Praktisch: Markieren Sie betroffene Datensätze im Katalog; halten Sie datasetgebundene Modellversionen; bieten Sie Retrain/Prune-Jobs für betroffene Modelle an. Für Online-Systeme: Roll-forward auf neue Modellversion; archivieren Sie alte Artefakte mit dokumentierter Sperre. Für Vektor-DBs: Löschen der Einträge plus Rebuild der betroffenen Indizes. Ohne Reproduzierbarkeit und Daten-Snapshots ist das nicht kontrollierbar.
Frage: Können wir externe LLM-APIs in der EU produktiv nutzen?
Antwort: Für unkritische, nicht personenbezogene Anwendungsfälle – ja, mit klarer Datenminimierung und ohne sensitive Dokumente/Prompts. Für sensible Szenarien raten wir ab: Datenkontrolle, Protokollierung, Auswertung und Löschung sind kaum vollumfänglich durchsetzbar. Wenn unvermeidbar: strikte Prompt-Redaktion, kein Logging beim Anbieter, Verschlüsselung, Pseudonymisierung, und eine Exit-Strategie zu einem on-prem oder EU-hosted Modell.
Frage: Wie dimensioniere ich einen On-Prem-GPU-Cluster?
Antwort: Bottom-up: Profilieren Sie Workloads (Trainingsdauer, Batchgrößen, Parallelisierungsgrad, Speicherbedarf). Planen Sie getrennte QoS-Klassen (interaktive Experimente vs. Batch-Training). Bauen Sie auf hohe Bandbreite und niedrige Latenz (NVLink/InfiniBand) für verteiltes Training; NVMe-Lokalspeicher für Zwischenergebnisse. Nutzen Sie Partitionierung (MIG) für hohe Auslastung. Starten Sie klein, messen Sie Auslastung, skalieren Sie iterativ – und vermeiden Sie Insellösungen pro Team.
Frage: Data Lake, Lakehouse, Data Mesh – womit anfangen?
Antwort: Starten Sie mit einem Lakehouse on-prem: Objektspeicher + ACID-Tabellenformat + Katalog/Lineage. Das deckt die meisten KI-Anforderungen ab. BI-Use Cases bedienen Sie über ein Warehouse auf kuratierten Zonen. Wenn die Plattform stabil läuft und Domänenkompetenz vorhanden ist, führen Sie Mesh-Prinzipien ein: Data Products mit klaren Verträgen, betrieben auf derselben souveränen Infrastruktur.
Über den Autor und Kontext
Wir bauen industrielle KI-Systeme, bei denen Datensouveränität nicht verhandelbar ist: von der Anforderungserhebung über Architektur und Entwicklung bis Qualitätssicherung. On-premise, DSGVO-konform, ohne Abhängigkeit von US-Clouds. Für LLMs und Agenten betreiben wir Observability- und Governance-Layer (z. B. mit Alpi-M), damit produktiver Einsatz nicht auf Vertrauen, sondern auf Technik und Audit basiert.