Was ist AI Governance?

Das Problem in 60 Sekunden

Stellen Sie sich vor: Ein Unternehmen nutzt ein KI-System zur Kreditvergabe. Das System lehnt eine Kundin ab. Sie fragt warum. Die Antwort: „Das System hat so entschieden."

Kein Mensch ist verantwortlich. Keine Erklärung möglich. Keine Anfechtung vorgesehen.

Genau das ist das Problem, das AI Governance löst.

Drei Fälle aus der Praxis

Amazon — Der blinde Fleck im Recruiting

Amazon entwickelte ein KI-System zur Vorauswahl von Bewerbungen. Trainiert auf zehn Jahre historische Einstellungsdaten aus einer männlich dominierten Branche, lernte das Modell: männliche Bewerber bevorzugen. Lebensläufe mit dem Wort „Frauen" — z.B. „Präsidentin des Frauen-Schachclubs" — wurden systematisch abgewertet. Niemand hatte das programmiert. Die Daten taten es. Amazon stellte das System ab.

COMPAS — Algorithmen vor Gericht

In US-amerikanischen Gerichten berechnet das COMPAS-System Rückfallwahrscheinlichkeiten für Straftäter — als Entscheidungshilfe für Richter. Studien zeigen: schwarze Angeklagte werden doppelt so häufig als „hohes Risiko" eingestuft wie weiße — bei vergleichbaren Vergehen. Der Algorithmus replizierte gesellschaftliche Ungleichheit als mathematische Wahrheit.

Kreditkarte — Unsichtbare Diskriminierung

Ein US-amerikanischer Kreditkartenanbieter vergab automatisch niedrigere Limits an Frauen — auch wenn diese höhere Einkommen und bessere Bonität hatten als männliche Vergleichspersonen. Erst eine Beschwerde machte das Muster sichtbar.

Was diese Fälle verbindet

	Amazon	COMPAS	Kreditkarte
Böse Absicht?	Nein	Nein	Nein
Bias vorhanden?	Ja	Ja	Ja
Jemand verantwortlich?	Unklar	Unklar	Unklar
Korrigierbar?	Ja — aber spät	Schwierig	Ja — nach Klage

Das Muster: Kein Bewusstsein → Kein Verantwortlicher → Keine Korrektur.

AI Governance — die Definition

AI Governance bezeichnet die Regeln, Prozesse und Verantwortlichkeiten, die sicherstellen dass KI-Systeme sicher, fair, transparent und nachvollziehbar funktionieren.

Einfacher: Wer ist verantwortlich wenn eine KI etwas falsch macht? Und: Wie stellen wir sicher, dass wir es überhaupt merken?

Die Brems-Analogie

„AI Governance macht KI nicht langsamer — genau wie Bremsen kein Auto langsamer machen. Bremsen ermöglichen es, schneller und sicherer zu fahren."

Ohne Governance: KI-Projekte scheitern an Vertrauensverlust, Rechtsrisiken, Reputationsschäden. Mit Governance: KI-Projekte skalieren, weil Stakeholder Vertrauen haben.

Die 5 Prinzipien verantwortungsvoller AI

OECD, EU-Kommission, NIST, ISO 42001 — unterschiedliche Frameworks, ein Konsens: Diese fünf Prinzipien gelten überall.

1 · Transparenz

Frage: Können Sie erklären, wie diese Entscheidung zustande kam?

KI-Systeme müssen erklärbar sein — nicht für Ingenieure, sondern für die Betroffenen. Wer einen Kredit bekommt, muss verstehen warum. Wer abgelehnt wird, muss anfechten können.

EU AI Act Art. 13: Hochrisiko-Systeme müssen Betreibern ausreichende Informationen bereitstellen, um die Ausgaben verstehen und überwachen zu können.

2 · Fairness

Frage: Werden alle Gruppen gleichbehandelt?

Fairness bedeutet nicht Gleichheit der Ergebnisse — sondern Abwesenheit systematischer Benachteiligung aufgrund geschützter Merkmale (Geschlecht, Herkunft, Alter, Religion, Behinderung).

Wichtig: Fairness entsteht nicht von selbst. Sie muss aktiv geprüft werden. „Wir haben keinen Bias eingebaut" schützt nicht vor Bias in den Trainingsdaten.

ISO 42001 Annex A.5.4: Fairness als explizite Kontrollpflicht.

3 · Accountability

Frage: Wer steht für diese Entscheidung gerade?

KI kann nicht verantwortlich sein. Immer ist ein Mensch verantwortlich — für das Design, den Einsatz, die Überwachung, die Konsequenzen.

Accountability bedeutet:

• Benannte Verantwortliche für jedes KI-System
• Dokumentierte Entscheidungsprozesse
• Klare Eskalationswege wenn etwas schiefgeht

EU AI Act Art. 14: Menschliche Aufsicht bei Hochrisiko-Systemen ist Pflicht.

4 · Sicherheit & Robustheit

Frage: Funktioniert das System auch unter unerwarteten Bedingungen?

KI-Systeme müssen verlässlich arbeiten — auch wenn Eingaben variieren, Daten verändert werden oder unvorhergesehene Situationen eintreten.

Praxisbeispiel: Ein medizinisches Bilderkennungssystem identifiziert Tumore korrekt — bis ein leicht verändertes Bild (für Menschen identisch) zu einer völlig falschen Diagnose führt. Solche adversarial attacks sind in der Praxis nachgewiesen.

5 · Datenschutz

Frage: Werden nur die Daten verarbeitet, die wirklich notwendig sind?

KI-Systeme verarbeiten oft riesige Datenmengen. Datenschutz verlangt: Minimum-Prinzip, klare Rechtsgrundlagen, Transparenz gegenüber Betroffenen, Löschrecht.

DSGVO Art. 5: Datensparsamkeit, Zweckbindung und Speicherbegrenzung gelten auch für KI-Trainingsdaten und -Anwendungen.

Zusammenfassung

Prinzip	Kernfrage	Konsequenz bei Verstoß
Transparenz	Erklärbar?	Keine Anfechtung möglich
Fairness	Diskriminierungsfrei?	Rechtliche Haftung, Reputationsschaden
Accountability	Verantwortlicher benannt?	Keine Korrektur möglich
Sicherheit	Unter Druck verlässlich?	Fehler im Betrieb unerkannt
Datenschutz	Minimum an Daten?	DSGVO-Verstöße, Bußgelder

AI Governance in der Praxis

Drei Perspektiven — eine Verantwortung

Je nach Rolle stellen sich andere Fragen. Die Verantwortung ist geteilt.

Als Betroffene Person

Wenn ein KI-System eine Entscheidung über Sie trifft:

Sie haben das Recht zu fragen:

• Wurde hier KI eingesetzt? (EU AI Act Art. 50 — Offenlegungspflicht)
• Wie wurde die Entscheidung getroffen? (Transparenzpflicht)
• Kann ein Mensch das überprüfen? (DSGVO Art. 22 — kein vollautomatisches Entscheiden ohne Überprüfungsmöglichkeit)

Wie Sie Ihre Rechte ausüben:

1. Schriftlich beim Unternehmen anfragen: „Ich beantrage Auskunft gemäß DSGVO Art. 15 und menschliche Überprüfung gemäß Art. 22."
2. Antwortfrist: 30 Tage
3. Bei Verweigerung: Datenschutzbehörde einschalten (in Deutschland: BfDI oder zuständige Landesbehörde)

Als Mitarbeiter oder Fachkraft

Bevor Ihr Unternehmen ein KI-System einsetzt — fünf Fragen:

Frage	Warum wichtig
Wissen Betroffene davon?	Transparenzpflicht, Vertrauen
Wurde auf Bias getestet?	Fairness, Haftungsrisiko
Gibt es eine verantwortliche Person?	Accountability
Werden Entscheidungen dokumentiert?	Nachvollziehbarkeit
Was passiert wenn das System falsch liegt?	Prozess & Eskalation

Wenn auch nur eine Antwort „Nein" lautet: Das muss geklärt werden, bevor das System live geht.

Als Führungskraft oder Einkäufer

Drei Fragen die Sie bei jedem KI-Anbieter stellen müssen:

1. „Wie erklären Sie mir eine Fehlentscheidung Ihres Systems?" Kann der Anbieter das nicht beantworten: kein Kauf. 2. „Welche Daten haben Sie für das Training verwendet — und dürfen Sie die nutzen?" Fehlende Rechtsgrundlagen für Trainingsdaten bedeuten rechtliches Risiko für Sie als Betreiber. 3. „Wer haftet wenn das System jemanden diskriminiert?" Die Antwort „Das liegt beim Kunden" ist keine akzeptable Antwort.

Praxisfall: HR-Software mit KI

Situation: Ihre HR-Abteilung kauft ein Tool das Bewerbungen vorselektiert.

Ohne Governance	Mit Governance
Tool läuft ungeprüft	Bias-Test vor Einsatz
Kein Verantwortlicher	Benannte HR-Leiterin
Keine Dokumentation	Kriterien schriftlich fixiert
Beschwerden nach Monaten	Monatliche Ergebniskontrolle
Reputationsschaden	Frühzeitige Korrektur möglich

Das Ergebnis: Governance verhindert nicht, dass Fehler passieren. Sie stellt sicher, dass man sie erkennt — und handeln kann.

Die eine Frage

Bevor ein KI-System live geht, stellen Sie sich eine Frage:

„Könnten wir für dieses System geradestehen — gegenüber Kunden, Behörden, der Öffentlichkeit?"

Wenn ja: Dokumentieren Sie es. Wenn nein: Beheben Sie zuerst, was fehlt.