Interne KI-Governance: Wie Unternehmen sichere, kontrollierte und DSGVO-konforme KI-Workflows etablieren

Seit 2023 hat sich die Nutzung von künstlicher Intelligenz in deutschen Unternehmen grundlegend verändert. ChatGPT, Microsoft Copilot, Google Gemini und zahlreiche spezialisierte KI-Tools sind in Fachabteilungen eingezogen (oft schneller, als IT-Abteilungen oder Datenschutzbeauftragte reagieren konnten).

Was als experimentelle Nutzung begann, ist heute Alltag: Mitarbeiter nutzen generative KI für E-Mail-Entwürfe, Präsentationen, Recherchen und sogar für die Analyse von Kundendaten. Genau hier setzt interne KI-Governance an. Sie schafft den Rahmen, der es Unternehmen ermöglicht, das Potenzial von KI zu nutzen, ohne dabei in rechtliche, sicherheitstechnische oder reputationsbezogene Fallstricke zu geraten.

Warum KI-Governance heute unverzichtbar ist

Der Einsatz von KI-Systemen in deutschen Unternehmen hat sich seit dem ChatGPT-Launch Ende 2022 explosionsartig entwickelt. Microsoft 365 Copilot, Google Gemini und spezialisierte KI-Anwendungen sind in Marketing, HR, Vertrieb und Kundenservice angekommen. Viele Organisationen stehen jedoch vor einem Problem: Die Technologie ist schneller als die internen Spielregeln.

Ohne klare Governance entstehen gefährliche Lücken. Mitarbeiter nutzen eigenständig externe KI-Tools (ein Phänomen, das als Schatten-IT bekannt ist). Ein Vertriebsmitarbeiter lädt Kundenlisten in einen kostenlosen Chatbot hoch, um Anschreiben zu generieren. Eine HR-Managerin nutzt ein Browser-Plugin zur Analyse von Bewerbungsunterlagen. In beiden Fällen fließen möglicherweise personenbezogene Daten an Drittanbieter außerhalb der EU – ein klarer DSGVO-Verstoß.

Der regulatorische Rahmen verschärft sich parallel: Die EU-KI-Verordnung (EU-AI-Act) wurde 2024 formal verabschiedet und tritt gestaffelt seit 2025 in Kraft. Gemeinsam mit der DSGVO entsteht ein verbindliches Regelwerk, das Unternehmen zu strukturierter Aufsicht zwingt. Verstöße gegen den AI Act können Bußgelder von bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes nach sich ziehen.

Die größten Risiken unkontrollierter KI-Workflows

Viele Unternehmen haben schon mit KI-Experimenten gestartet, nun steht die Professionalisierung an. Denn unkontrollierte KI-Workflows bergen erhebliche Risiken, die weit über technische Probleme hinausgehen. Die Risikokategorien reichen von Datenabfluss über Fehlentscheidungen bis hin zu rechtlichen Herausforderungen.

Datenabfluss & Verlust geistigen Eigentums

Der wohl unmittelbarste Risikofaktor ist der unkontrollierte Abfluss sensibler Daten. Wenn Mitarbeiter Quellcode, Produktroadmaps, Kundendaten oder interne Strategiepapiere in externe KI-Tools eingeben, verlassen diese Informationen den geschützten Unternehmensbereich.

Die rechtlichen Aspekte sind klar: Art. 5 DSGVO fordert die Integrität und Vertraulichkeit personenbezogener Daten. Art. 28 und 32 verlangen angemessene technische und organisatorische Maßnahmen sowie Auftragsverarbeitungsverträge mit Dienstleistern. Ohne solche Verträge ist die Nutzung externer KI-Dienste mit personenbezogenen Daten unzulässig.

Auch das Geschäftsgeheimnisgesetz (GeschGehG) spielt eine Rolle: Betriebsgeheimnisse verlieren ihren Schutzstatus, wenn keine angemessenen Geheimhaltungsmaßnahmen getroffen werden. Die unkontrollierte Eingabe in öffentliche KI-Tools kann genau diesen Schutz aufheben.

Unkontrollierte Modellantworten & Fehlentscheidungen

Generative KI-Modelle erzeugen plausibel klingende Inhalte, unabhängig davon, ob diese korrekt sind. Diese Eigenschaft wird problematisch, wenn Unternehmen KI-Ausgaben ohne Prüfung in Entscheidungsprozesse übernehmen.

Die Geschäftsleitung trägt Sorgfalts- und Organisationspflichten (§ 93 AktG, § 43 GmbHG). Werden automatisierte Entscheidungen ohne angemessene Kontrollen implementiert, kann dies zu persönlicher Haftung führen. Human-in-the-Loop-Kontrollen und das Vier-Augen-Prinzip sind daher keine optionalen Extras, sondern Governance-Anforderungen.

Halluzinationen & fehlende Nachvollziehbarkeit

„Halluzinationen” beschreiben das Phänomen, dass große Sprachmodelle (LLMs) erfundene Fakten, Quellen oder Zitate als real präsentieren. Das Modell „erfindet” überzeugend klingende Informationen, die keiner Realität entsprechen. Der „Black-Box-Charakter” vieler KI-Modelle erschwert die Erklärung von Entscheidungen gegenüber Aufsichtsbehörden oder Betroffenen.

Der EU-AI-Act fordert für Hochrisiko-Systeme explizit Nachvollziehbarkeit und Protokollierung. Interne Governance muss daher Prozesse zur Quellenprüfung, Logging von Eingaben und Ausgaben sowie klare Verantwortlichkeiten für die Validierung von KI-Ergebnissen etablieren.

Intransparente Nutzung in Fachabteilungen

Fachbereiche handeln oft schneller als zentrale IT- oder Compliance-Funktionen. Marketing bucht eigenständig ein Bildgenerator-Abonnement. HR testet ein CV-Screening-Tool. Der Vertrieb nutzt ein Browser-Plugin zur Gesprächsanalyse. In keinem dieser Fälle wurden IT, Datenschutz oder Informationssicherheit eingebunden.

Diese Praxis führt zu mehreren Problemen:

• Das KI-Register bleibt unvollständig
• Lizenzbedingungen werden nicht geprüft
• Trainingsdaten und Modellverhalten sind unbekannt

Weak-Point-Prozesse

„Weak-Point-Prozesse” bezeichnen einzelne Prozessschritte oder Schnittstellen, an denen unsichere KI-Nutzung besonders wahrscheinlich oder riskant ist. Sie entstehen dort, wo Daten die geschütze Corporate Governance verlassen oder wo manuelle Eingriffe erforderlich sind.

Weitere Weak Points umfassen:

• Freitext-Eingabefelder in internen Anwendungen, in die Mitarbeiter versehentlich vertrauliche Informationen kopieren.
• Chat-Schnittstellen ohne Content-Filter, die Prompt-Injection-Angriffe ermöglichen.
• API-Verbindungen zu externen KI-Diensten ohne Logging oder Zugriffskontrolle.

Interne KI-Governance muss diese Weak Points systematisch identifizieren, klassifizieren und mit Kontrollen versehen. Data Loss Prevention (DLP)-Regeln, technische Sperren für bestimmte Datentypen und gezielte Schulungen sind wesentliche Maßnahmen.

Bausteine einer internen KI-Governance

KI-Governance ist kein einzelnes Dokument, sondern ein Zusammenspiel aus Richtlinien, Rollen, Prozessen, Technik und Kultur. Die folgenden Bausteine orientieren sich an gängigen Rahmenwerken – der DSGVO, dem EU-AI-Act und Standards wie ISO/IEC 42001:2023 für KI-Managementsysteme.

KI-Richtlinien & Nutzungsregeln

Seit 2024/2025 benötigt jedes Unternehmen mit KI-Nutzung eine verbindliche interne KI-Richtlinie. Diese „AI Use Policy” definiert die Spielregeln für den Umgang mit KI-Systemen und sollte mit Datenschutz, IT-Sicherheit und (wo vorhanden) dem Betriebsrat abgestimmt sein.

Typische Inhalte einer KI-Richtlinie umfassen:

• Erlaubte und verbotene Tools: Welche KI-Anwendungen sind freigegeben? Welche sind explizit untersagt?
• Umgang mit personenbezogenen Daten: Keine Eingabe von Kundendaten, Mitarbeiterdaten oder anderen personenbezogenen Informationen in externe KI-Tools ohne Freigabe durch den Datenschutzbeauftragten.
• Umgang mit Quellcode und IP: Entwickler dürfen proprietären Code nicht in öffentliche KI-Dienste eingeben.
• Umgang mit vertraulichen Dokumenten: M&A-Dokumente, Strategiepapiere und unveröffentlichte Produktinformationen sind von der Nutzung in externen KI-Tools ausgeschlossen.
• Kennzeichnungspflichten: KI-generierte Inhalte müssen als solche gekennzeichnet werden, insbesondere in der externen Kommunikation.

Rollen & Verantwortlichkeiten

Klare Verantwortlichkeiten sind das Fundament wirksamer Governance. Die Geschäftsleitung trägt die Gesamtverantwortung, operative Aufgaben müssen jedoch verteilt werden.

Typische Rollen in einer KI-Governance-Struktur:

• AI Governance Board: Ein bereichsübergreifendes Gremium, das KI-Strategien definiert, Use Cases freigibt und ethische Fragen adressiert.
• Chief Data Officer (CDO) oder Chief AI Officer: Verantwortlich für die strategische Steuerung des KI-Einsatzes, Koordination von Standards und Bündelung von Use Cases.
• Data Protection Officer (DPO): Prüft KI-Anwendungen auf DSGVO-Konformität, begleitet Datenschutz-Folgenabschätzungen.
• Information Security Officer (CISO): Bewertet Sicherheitsrisiken, definiert technische Schutzmaßnahmen.
• Fach-Owner pro Use Case: Verantwortlich für die fachliche Qualität, Risikobewertung und Dokumentation einzelner KI-Anwendungen.

In kleineren Unternehmen können diese Rollen pragmatisch zugeschnitten werden. Der Datenschutzbeauftragte übernimmt möglicherweise auch KI-bezogene Compliance-Aufgaben. Wichtig ist nicht die perfekte Organisationsstruktur, sondern die klare Zuordnung von Verantwortlichkeiten.

Klassifikation von KI-Use-Cases

Ein systematisches Inventar und eine Klassifikation aller KI-Use-Cases sind Grundvoraussetzung für wirksame Governance. Ohne Überblick über die im Einsatz befindlichen Systeme ist weder Risikomanagement noch Compliance möglich.

Pro Use Case sollten mindestens folgende Kriterien erfasst werden:

• Fachbereich und verantwortliche Person
• Art der verarbeiteten Daten (personenbezogen, besonders sensibel, geschäftskritisch)
• Einfluss auf Personen (informierend, unterstützend, entscheidend)
• Automatisierungsgrad (menschliche Prüfung vorgesehen, vollautomatisch)
• Externe Abhängigkeiten (Cloud-Dienste, API-Anbindungen)

Ein Chatbot im Service, der allgemeine Informationen bereitstellt, fällt typischerweise in die Kategorie begrenztes KI-Risiko. Ein HR-Screening-Tool, das Bewerber automatisiert vorsortiert, kann als Hochrisiko-System gelten. Ein Social-Scoring-System für Mitarbeiter wäre in der EU verboten.

Daten- & Sicherheitsstandards

Interne KI-Governance muss eng mit bestehender IT- und Datengovernance verknüpft werden. Standards wie ISO 27001 oder BSI-Grundschutz bieten solide Leitplanken, die für KI-spezifische Anforderungen erweitert wird.

Zentrale Elemente umfassen:

• Data Loss Prevention (DLP): Technische Kontrollen, die das Hochladen sensibler Daten in externe KI-Dienste verhindern oder protokollieren.
• Zugriffskonzepte (RBAC): Rollenbasierte Berechtigungen für KI-Plattformen und Modellzugriffe.
• Verschlüsselung: Ende-zu-Ende-Verschlüsselung für Datenübertragungen an KI-Dienste; Verschlüsselung ruhender Daten.
• Logging: Protokollierung von Eingaben und Ausgaben für Nachvollziehbarkeit und Audit-Zwecke.
• Trennung von Test- und Produktivdaten: Entwicklungs- und Trainingsumgebungen nutzen anonymisierte oder synthetische Daten.

Viele Unternehmen setzen zunehmend auf interne KI-Plattformen mit selbst gehosteten Modellen oder europäischen Cloud-Diensten, um sensible Daten im europäischen Rechtsraum zu halten. Diese Architekturentscheidungen sollten Teil der Governance-Strategie sein.

Dokumentation & Nachvollziehbarkeit

Für interne wie externe Audits ist nachvollziehbare Dokumentation entscheidend. Datenschutzaufsichtsbehörden, interne Revision oder in regulierten Branchen die BaFin erwarten belastbare Nachweise über den KI-Einsatz.

Dokumentiert werden sollten:

• Datenquellen und deren Rechtsgrundlagen
• Trainings- und Testkonzepte
• Modellversionen und Änderungshistorie
• Freigabeentscheidungen mit Datum und verantwortlicher Person
• Risikoanalysen und Mitigationsmaßnahmen
• Vorfälle und deren Behandlung

Schulung & Awareness im Unternehmen

Ohne gezielte Schulung und Awareness-Kampagnen bleiben KI-Richtlinien „auf dem Papier”. Mitarbeiter müssen verstehen, warum Regeln existieren und wie sie diese im Alltag umsetzen.

Empfohlene Schulungsformate:

• Unternehmensweite Basisschulungen: E-Learning-Module zu sicherer Prompt-Nutzung, Datenschutz bei KI, Erkennen von Halluzinationen und korrekter Kennzeichnung von KI-Inhalten.
• Vertiefende Trainings für Spezialrollen: Entwickler erhalten Schulungen zu sicherer Modellintegration und Prompt-Injection-Risiken. Data Scientists lernen über Bias-Erkennung und Fairness-Metriken. Führungskräfte verstehen ihre Aufsichtspflichten. Compliance-Teams werden zu EU AI Act und DSGVO-Schnittstellen geschult.
• Quick-Reference-Cards: Einseiter mit den wichtigsten Do’s und Don’ts für den Schreibtisch oder das Intranet.
• Regelmäßige Updates: Bei Änderungen durch EU-AI-Act-Meilensteine oder bei Einführung neuer KI-Tools sollten Auffrischungsschulungen erfolgen.

Der EU-AI-Act: Was Unternehmen jetzt konkret betrifft

Der EU AI Act wurde Ende 2023 politisch finalisiert und 2024 formal verabschiedet. Das Inkrafttreten erfolgt gestaffelt: Verbote für inakzeptable Risiken gelten ab 2025, die vollständige Anwendbarkeit für Hochrisiko-Systeme ab August 2026.

Der zentrale Ansatz ist risikobasiert:

Risikostufe	Regulierung	Beispiele
Inakzeptabel	Verboten	Social Scoring, manipulative KI
Hoch	Strenge Pflichten	Biometrische Identifikation, HR-Auswahl, Kreditscoring
Begrenzt	Transparenzpflichten	Chatbots, Deepfakes
Minimal	Keine spezifischen Pflichten	Spam-Filter, Spieleempfehlungen

Pflichten für Nicht-Hochrisiko-KI

Viele typische Unternehmensanwendungen fallen in die Kategorie begrenztes oder minimales Risiko: interne Assistenten für Textentwürfe, Marketing-Content-Generierung, Chatbots mit Informationscharakter oder Zusammenfassungstools für Meetings.

Für diese Systeme gelten primär Transparenzpflichten:

• Kennzeichnung: Nutzer müssen darüber informiert werden, dass sie mit einem KI-System interagieren oder dass Inhalte KI-generiert sind. Ein Hinweis wie „Dieser Text wurde mit KI-Unterstützung erstellt” erfüllt diese Anforderung.
• Deepfake-Vermeidung: KI-generierte Inhalte, die reale Personen darstellen, müssen als synthetisch gekennzeichnet werden.
• Urheber- und Datenschutzrecht: Die Nutzung urheberrechtlich geschützter Materialien als Input und der Umgang mit personenbezogenen Daten müssen rechtskonform erfolgen.

Pflichten für Hochrisiko-KI

Hochrisiko-KI im Sinne des EU-AI-Act umfasst Systeme mit erheblichem Einfluss auf Menschen – etwa in den Bereichen Beschäftigung, Kreditwesen, Gesundheit, Bildung oder kritische Infrastruktur.

Für diese Systeme gelten umfassende Pflichten:

• Risikomanagementsystem: Kontinuierliche Identifikation und Minderung von Risiken über den gesamten Lebenszyklus.
• Hochwertige Trainingsdaten: Anforderungen an Relevanz, Repräsentativität und Fehlerfreiheit der Datensätze.
• Technische Dokumentation: Detaillierte Beschreibung von Systemdesign, Trainingsmethoden, Leistungskennzahlen.
• Logging: Automatische Protokollierung von Systemereignissen zur Nachverfolgung.
• Menschliche Aufsicht: Konzepte für Human-in-the-Loop oder Human-on-the-Loop.
• Robustheit und Sicherheit: Cybersicherheitsanforderungen und Resilienz gegen Manipulation.
• Konformitätsbewertung: Selbstbewertung oder Prüfung durch benannte Stellen, je nach Anwendungsfälle.

DSGVO & KI: Wie Unternehmen rechtssichere Workflows aufbauen

KI-Technologien tangieren sehr häufig personenbezogene oder zumindest potenziell personenbeziehbare Daten. Die Datenschutz-Grundverordnung bleibt daher ein zentraler Rahmen für den KI-Einsatz.

Art. 22 DSGVO ist besonders relevant: Ausschließlich automatisierte Entscheidungen mit erheblichen Auswirkungen auf Personen erfordern menschliches Eingreifen oder zumindest die Möglichkeit, eine Überprüfung zu verlangen.

Erfolgsfaktoren für rechtssichere Workflows:

• Eine Datenschutz-Folgenabschätzung (DSFA) ist für bestimmte KI-Use-Cases erforderlich, insbesondere bei automatisierter Entscheidungsfindung, Profiling oder Verarbeitung besonderer Datenkategorien.
• Auftragsverarbeitungsverträge mit KI-Anbietern müssen die spezifischen Verarbeitungstätigkeiten abdecken. Leitlinien des EDSA verdeutlichen, dass Eingaben in LLMs als „Verarbeitung” gelten.
• Speicher- und Löschkonzepte müssen definieren, wie lange Eingabedaten und Modellantworten gespeichert werden und wann sie gelöscht werden.

Typische Stolpersteine umfassen die Nutzung US-basierter KI-Dienste ohne angemessene Schutzmaßnahmen für den Datentransfer (Schrems II) oder das Training auf historischen Kundendaten ohne Rechtsgrundlagenprüfung.

So entsteht ein sicherer, kontrollierter Prozess

Von der Idee für einen KI-Use-Case bis zum freigegebenen, überwachten System sollte ein strukturierter Prozess durchlaufen werden. Hier ein Leitfaden:

Phase 1: Ideensammlung & Vorprüfung

Fachbereiche reichen Use-Case-Ideen über ein standardisiertes Formular ein. Eine erste Prüfung klärt: Welches Problem wird gelöst? Welche Daten sind involviert? Gibt es vergleichbare freigegebene Lösungen?

Phase 2: Risiko- und Rechtsbewertung

Das Governance-Team bewertet den Use Case nach Risikoklassen und prüft Datenschutzanforderungen. Bei Bedarf wird eine DSFA durchgeführt. Ergebnis: Freigabe für Proof of Concept, Anpassungsbedarf oder Ablehnung.

Phase 3: Proof of Concept

Ein begrenzter Test mit kontrollierten Daten und definierten Erfolgskriterien. Technische Schutzmaßnahmen werden implementiert.

Phase 4: Pilotbetrieb

Ausweitung auf eine Abteilung oder Nutzergruppe. Feedback wird systematisch erfasst. Dokumentation wird vervollständigt.

Phase 5: Rollout

Nach Freigabe durch das AI Governance Board erfolgt der unternehmensweite Rollout mit begleitender Kommunikation und Schulung.

Phase 6: Monitoring & Review

Kontinuierliche Überwachung mittels Dashboards, die Nutzungsmetriken erfassen. Regelmäßige Reviews (mindestens jährlich) prüfen Risikobewertung und Compliance.

Typische Fehler bei der KI-Governance – und wie man sie vermeidet

Bei der Etablierung von KI-Governance-Strukturen treten wiederkehrende Fehler auf. Die folgenden Muster und Gegenmaßnahmen helfen, sie zu vermeiden:

Fehler 1: Reine Fokussierung auf Technik:

Governance wird als rein technisches Thema behandelt.

Gegenmaßnahme: Governance als Dreiklang aus Technik, Organisation und Kultur verstehen. Gremien einsetzen, Rollen definieren, Awareness schaffen.

Fehler 2: Fehlendes KI-Register:

Niemand weiß, welche KI-Tools im Einsatz sind. Schatten-KI bleibt unentdeckt.

Gegenmaßnahme: Zentrales Register einführen, Meldepflicht für neue Tools etablieren, regelmäßige Inventur durchführen.

Fehler 3: Überregulierung durch pauschale Verbote

Alle externen KI-Tools werden verboten, ohne Alternativen anzubieten.

Gegenmaßnahme: Unternehmens-Instanzen von Copilot, Azure OpenAI oder ähnlichen Diensten bereitstellen.

Fehler 4: Keine Schulungen: Richtlinien existieren, aber niemand kennt sie.

Gegenmaßnahme: Verpflichtende Basisschulungen für alle Nutzer, vertiefende Trainings für Spezialrollen.

Fehler 6: Einmalige Implementierung ohne Iteration: Governance wird einmal aufgesetzt und dann vergessen.

Gegenmaßnahme: Jährliche Reviews einplanen, Feedback aus Fachbereichen aktiv einholen, auf regulatorische Änderungen reagieren.

Fazit zum Einsatz von KI

Interne KI-Governance ist der Schlüssel, um die Chancen von künstlicher Intelligenz sicher und effizient zu nutzen. Sie verbindet rechtliche Anforderungen aus EU-AI-Act und DSGVO mit technischen Schutzmaßnahmen und organisatorischen Prozessen.

Unternehmen, die jetzt strukturierte KI-Governance-Strukturen etablieren, kombinieren Innovationsvorsprung mit regulatorischer Sicherheit. Sie vermeiden Bußgelder, schützen geistiges Eigentum und bauen Vertrauen bei Kunden, Mitarbeiter und Partnern auf.