Im vorherigen Teil unserer Serie beantworteten wir die Frage, wann KI eigenständig handeln kann und wann sie eines Menschen bedarf.
Wir zeigten, dass das Autonomieniveau unter anderem abhängen sollte von:
- dem Risiko,
- den Kosten eines Fehlers,
- der Rückgängigkeit von Entscheidungen,
- dem Einfluss auf Menschen,
- der Datenqualität,
- der Möglichkeit, das System zu überwachen.
Wir wissen inzwischen auch, dass allein die Einbindung eines Menschen in den Prozess keine Sicherheit garantiert.
Man kann einen Mitarbeiter haben, der KI-Entscheidungen genehmigt, ihm aber nicht genug Zeit zur Analyse geben. Man kann Genehmigungen verlangen, aber nicht zeigen, warum das System eine bestimmte Entscheidung getroffen hat. Man kann ein System bauen, das ein Jahr lang korrekt arbeitet und dann aufgrund veränderter Daten, Nutzerverhalten oder Marktbedingungen falsche Ergebnisse liefert.
Deshalb stellt sich irgendwann eine viel größere Frage als: "Funktioniert die KI korrekt?"
Die Frage lautet: "Können wir als Organisation die KI, die wir eingeführt haben, kontrollieren?"
Und genau damit beschäftigt sich AI Governance.
Was ist AI Governance?
AI Governance lässt sich am einfachsten als ein System von Regeln, Prozessen, Verantwortlichkeiten und Kontrollmechanismen beschreiben, die die Nutzung künstlicher Intelligenz in einer Organisation betreffen.
Es ist kein einzelnes Dokument. Es ist keine einzelne Prozedur. Es ist auch nicht ausschließlich eine rechtliche Angelegenheit.
Reife AI Governance umfasst viele Bereiche:
- die Strategie zur Nutzung von KI,
- Sicherheit,
- Datenschutz,
- Risikomanagement,
- Regulatorische Compliance,
- Verantwortung,
- Modellüberwachung,
- Zugriffskontrolle,
- Audit,
- Change-Management,
- Incident-Response.
Man kann also sagen, dass AI Governance die Frage beantwortet: "Wie sorgt man dafür, dass künstliche Intelligenz im Einklang mit den Zielen der Organisation, geltenden Regeln und einem akzeptablen Risikoniveau arbeitet?"
Das ist besonders wichtig, wenn KI nicht mehr ein einzelnes Werkzeug eines Mitarbeiters ist, sondern Teil von Geschäftsprozessen wird.
AI Governance ist kein Innovationsbremsklotz
Eines der häufigsten Missverständnisse ist, Governance als Bürokratie zu betrachten.
In dieser Sicht besteht die Sorge: "Wenn wir zu viele Regeln aufstellen, wird niemand KI implementieren wollen."
Das Problem ist, dass das Fehlen von Regeln ebenfalls seinen Preis hat.
Stellen wir uns ein Unternehmen vor, in dem:
- jeder Mitarbeiter beliebige KI-Tools nutzen kann,
- niemand weiß, welche Daten an Modelle gelangen,
- nicht klar ist, welche Prozesse automatisiert sind,
- keine Liste der verwendeten Modelle existiert,
- niemand die Ergebnisse überwacht,
- niemand für Fehler verantwortlich ist.
Anfangs kann alles großartig funktionieren – bis etwas Unvorhergesehenes passiert.
AI Governance sollte KI deshalb nicht blockieren. Es sollte sichere Rahmenbedingungen schaffen, in denen KI schneller wachsen kann.
Gut gestaltete Governance beantwortet Fragen wie:
- was wir tun dürfen,
- was wir nicht tun dürfen,
- wer Entscheidungen trifft,
- wer für das System verantwortlich ist,
- wie wir Risiken überwachen,
- was zu tun ist, wenn etwas schiefgeht.
Das ist kein Bremssystem. Das ist ein Sicherheitsgurt.
Wer ist für eine KI-Entscheidung verantwortlich?
Das ist eine der schwierigsten Fragen.
Angenommen, ein KI-System empfiehlt, einen Kundenantrag abzulehnen. Wer trägt die Verantwortung? Der Entwickler? Der Modellanbieter? Das Unternehmen, das das System eingeführt hat? Die Person, die die Empfehlung genehmigt hat? Der Manager des Prozesses? Oder vielleicht der Vorstand?
Die Antwort ist nicht immer einfach...
Deshalb muss die Verantwortung vor der Implementierung des Systems und nicht erst nach einem Vorfall geklärt werden.
In der Praxis sollte die Organisation klar festlegen:
- wer Prozess-Eigentümer ist,
- wer System-Eigentümer ist,
- wer für die Daten verantwortlich ist,
- wer für das Modell verantwortlich ist,
- wer Änderungen genehmigt,
- wer das Verhalten überwacht,
- wer das System stoppen kann,
- wer in Notfällen Entscheidungen trifft.
Bei komplexen KI-Systemen reicht es nicht zu sagen: "Das hat die künstliche Intelligenz gemacht."
KI ist kein rechtlich verantwortliches Subjekt für Geschäftsprozesse. Die Verantwortung bleibt bei Menschen und Organisationen.
AI Governance beginnt mit einer Inventarisierung
Einer der ersten Schritte sollte die Erstellung eines AI Inventory sein, also eines Registers der in der Organisation eingesetzten Systeme und KI-Anwendungen.
Klingt banal? - In vielen Unternehmen erweist sich das als überraschend schwierig.
Mitarbeiter nutzen:
- ChatGPT,
- Content-Generierungstools,
- KI-Funktionalitäten in CRM-Systemen,
- Dokumentenanalysatoren,
- Programmierassistenten,
- Automatisierungen,
- KI-Agenten.
Einige dieser Lösungen sind möglicherweise offiziell vom Unternehmen eingeführt; andere werden von Mitarbeitern ohne formale Kenntnis der Organisation genutzt.
Dieses Phänomen wird oft als Shadow AI bezeichnet.
Shadow AI – wenn KI außerhalb der Kontrolle des Unternehmens agiert
Shadow AI ist das Pendant zum früher bekannten Begriff Shadow IT. Ein Mitarbeiter findet ein Tool, das ihm hilft, schneller zu arbeiten, und beginnt, es zu nutzen.
Niemand prüft dabei:
- welche Daten gesendet werden,
- wo sie verarbeitet werden,
- wer Zugriff darauf hat,
- wie lange sie gespeichert werden,
- ob die Informationen zum Trainieren von Modellen genutzt werden können.
Aus Sicht des Mitarbeiters erscheint alles großartig. Aus Sicht der Organisation kann jedoch ein erhebliches Risiko entstehen.
Deshalb ist ein generelles Verbot der KI-Nutzung nicht immer die beste Lösung. Ein klarer Regelrahmen ist meistens besser.
Der Mitarbeiter sollte wissen:
- welche Tools er verwenden darf,
- welche Daten nicht gesendet werden dürfen,
- wann eine Genehmigung erforderlich ist,
- welche Lösungen vom Unternehmen empfohlen werden.
Es ist besser, einen sicheren Pfad zur Nutzung von KI zu schaffen, als so zu tun, als würden Mitarbeiter sie gar nicht nutzen.
Daten – das Fundament verantwortungsvoller KI
Über Governance zu sprechen, ohne über Daten zu reden, ist nicht möglich. Das KI-System kann sehr gut sein.
Aber wenn die Daten:
- fehlerhaft,
- veraltet,
- unvollständig,
- inkonsistent,
- schlecht beschrieben sind,
können auch die Ergebnisse problematisch sein.
In der Organisation sollten daher klare Regeln existieren zu:
- Datenquellen,
- Datenqualität,
- Zugriff,
- Speicherung,
- Aufbewahrungsfristen,
- Löschung,
- Anonymisierung,
- Pseudonymisierung,
- Kontrolle der Datennutzung.
Besonders wichtig ist hier der Schutz personenbezogener Daten.
Nicht jede Information, die ein Unternehmen besitzt, sollte in ein KI-Modell fließen.
Und selbst wenn sie verarbeitet werden darf, muss klar sein:
- woran?
- auf welcher Rechtsgrundlage?
- auf welche Weise?
- für welchen Zeitraum?
- wer hat Zugriff?
Deshalb sollte die Einführung von KI gemeinsam von Technologie-, Geschäfts-, Rechts- und Sicherheits-Teams entworfen werden.
AI Act – warum sollten sich Unternehmen dafür interessieren?
In der Europäischen Union wird die Entwicklung künstlicher Intelligenz ebenfalls reguliert.
Ein wichtiges Beispiel ist der AI Act, die EU-Verordnung zu künstlicher Intelligenz. Ein zentrales Element dieses Ansatzes ist die Klassifizierung von KI-Systemen nach Risikostufen.
Vereinfacht gesprochen kann man unterscheiden zwischen:
- Systemen mit unzulässigem Risiko,
- Systemen mit hohem Risiko,
- Systemen mit bestimmten Transparenzpflichten,
- Systemen mit begrenztem oder minimalem Risiko.
Das bedeutet nicht, dass jede Firma eine riesige Compliance-Abteilung aufbauen muss.
Es bedeutet jedoch, dass Organisationen wissen sollten, welche Art von KI-Systemen sie nutzen und welche Pflichten damit verbunden sein können.
Es ist auch wichtig zu bedenken, dass sich die Regulierung nicht nur auf das Modell selbst beziehen kann. Entscheidend ist oft auch, wie KI eingesetzt wird.
Dasselbe Modell kann zur Generierung einer Produktbeschreibung oder zur Unterstützung eines Prozesses verwendet werden, der Menschenrechte beeinflusst. Die Technologie ist dieselbe – das Risiko völlig unterschiedlich.
Deshalb sollte Governance in erster Linie die Anwendung des Systems analysieren, nicht nur dessen Namen oder Hersteller.
Explainable AI – warum sollte ein System erklären können?
Wenn KI Entscheidungen trifft, die Geschäftsprozesse oder Menschen betreffen, stellt sich natürlich die Frage: "Warum?"
Warum hielt das System eine Transaktion für verdächtig?
Warum wurde ein Dokument abgelehnt?
Warum wurde ein bestimmter Preis vorgeschlagen?
Warum wurde ein Kunde an einen bestimmten Prozess verwiesen?
Hier kommt Explainable AI (XAI) ins Spiel. Es ist ein Satz von Methoden und Ansätzen, die helfen zu verstehen, wie ein Modell zu einem Ergebnis gelangt ist. Das bedeutet nicht immer, den gesamten internen Ablauf des Modells zu zeigen.
Manchmal genügt es, darzustellen:
- die Schlüsselfaktoren, die das Ergebnis beeinflusst haben,
- die zur Analyse verwendeten Daten,
- das Sicherheits-/Vertrauensniveau,
- die wichtigsten Entscheidungsannahmen,
- alternative Szenarien.
Für einen Business-User ist das oft wichtiger als eine technische Modellbeschreibung.
Logging – das Gedächtnis des KI-Systems
Wenn KI Entscheidungen trifft, sollte die Organisation in der Lage sein, nachzuvollziehen, was passiert ist. Deshalb ist Logging so wichtig.
Je nach Systemtyp lohnt es sich, zu protokollieren:
- wann eine Operation ausgeführt wurde,
- welches Modell verwendet wurde,
- welche Modellversion lief,
- welche Eingabedaten genutzt wurden,
- welches Ergebnis erzeugt wurde,
- welche Entscheidung getroffen wurde,
- ob ein Mensch das Ergebnis bestätigt hat,
- ob die Entscheidung geändert wurde,
- wer die Änderung vorgenommen hat.
Das ermöglicht die Beantwortung der Frage: "Was genau ist im System passiert?"
Ohne angemessenes Logging kann die Analyse eines Vorfalls sehr schwierig oder bei autonomen Systemen sogar unmöglich sein.
Monitoring – KI ist kein "deploy-and-forget"-Projekt
Das ist eines der wichtigsten Elemente des Ganzen.
Ein Modell kann am Tag der Einführung korrekt funktionieren. Das heißt nicht, dass es in einem Jahr noch genauso gut arbeitet.
Es ändern sich:
- Daten,
- Nutzerverhalten,
- Marktbedingungen,
- Produkte,
- Prozesse,
- Recht.
Auch das Verhalten des Systems selbst kann sich ändern. Daher muss nicht nur die technische Infrastruktur überwacht werden, sondern auch die Qualität der Entscheidungen.
Je nach Anwendung lohnt es sich, zu beobachten:
- Genauigkeit,
- Anzahl der Fehler,
- Vertrauensniveau,
- Anteil der Entscheidungen, die an Menschen weitergeleitet werden,
- Anzahl menschlicher Eingriffe,
- Anzahl der Beschwerden,
- Abweichungen zwischen KI-Empfehlung und Expertenentscheidung.
Wenn plötzlich Menschen 40% der KI-Empfehlungen ablehnen statt vorher 5%, kann das ein Signal für eine Veränderung sein.
Das Modell funktioniert vielleicht noch technisch. Seine geschäftliche Qualität jedoch nicht mehr unbedingt.
Model Drift – wenn die Welt sich schneller ändert als das Modell
Ein wichtiges Problem ist der Model Drift, also die Verschlechterung der Modellleistung durch Veränderungen in Daten oder Umfeld.
Beispiel?
Ein Modell prognostiziert die Produktnachfrage anhand der letzten fünf Jahre.
Plötzlich ändert sich das Konsumentenverhalten.
Ein neuer Trend taucht auf.
Die wirtschaftliche Lage verändert sich.
Das Modell nutzt weiterhin historische Muster.
Das Problem ist, dass die Welt nicht mehr gleich aussieht.
Die KI "weiß" nicht, dass sich die Realität verändert hat.
Deshalb müssen Systeme überwacht und Modelle regelmäßig bewertet und gegebenenfalls aktualisiert werden.
Guardrails – Grenzen, die KI nicht überschreiten darf
Im vorherigen Teil erwähnten wir Guardrails. Im Kontext der AI Governance sind sie noch bedeutender.
Guardrails können definieren:
- welche Daten die KI nutzen darf,
- welche Aktionen sie ausführen darf,
- welche Aktionen verboten sind,
- welche Werte sie verändern darf,
- wann menschliche Zustimmung erforderlich ist,
- wann das System stoppen muss.
Zum Beispiel kann ein KI-Agent Zugriff auf das Bestellsystem haben. Er darf Verfügbarkeiten prüfen und Bestellungen vorbereiten. Aber er darf keinen Kauf über 10.000 PLN eigenständig genehmigen. Überschreitet der Betrag das Limit, leitet das System an einen Menschen weiter.
Das ist ein Beispiel für gut designte Grenzen der Autonomie.
Kill Switch – das System muss einen STOPP-Knopf haben
Das klingt banal, ist aber äußerst wichtig.
Jedes autonome System sollte einen Notstopp-Mechanismus haben.
Wenn:
- das Modell beginnt, fehlerhafte Entscheidungen zu treffen,
- das System ungewöhnliche Aktionen ausführt,
- ein Sicherheitsvorfall auftritt,
- Eingabedaten fehlerhaft sind,
muss die Organisation das System stoppen können. Nicht morgen, nicht nach einem Support-Ticket – sofort!
Je nach Architektur kann das bedeuten:
- Einen Agenten abzuschalten,
- den Zugriff auf Tools zu sperren,
- Workflows zu stoppen,
- auf manuellen Modus umzuschalten,
- Rollback auf eine vorherige Version durchzuführen.
Autonomie ohne Stoppmöglichkeit ist sehr riskant.
Incident Response für KI
Organisationen haben seit Jahren Verfahren zur Reaktion auf Systemausfälle.
Für KI benötigen wir zusätzlich Szenarien, die sich auf fehlerhafte Modellentscheidungen beziehen.
Was tun, wenn:
- die KI falsche Empfehlungen erzeugt?
- ein Agent fehlerhafte Aktionen ausführt?
- ein Modell unerwünschtes Verhalten zeigt?
- Eingabedaten fehlerhaft sind?
- das System definierte Regeln verletzt?
Es sollte einen klar definierten Prozess geben: Erkennung → Stopp → Analyse → Korrektur → Wiederherstellung → Monitoring
Das ist besonders wichtig bei Systemen, die autonom agieren.
Wer sollte in der Organisation für KI verantwortlich sein?
Es gibt keine universelle Antwort.
Je nach Unternehmensgröße können beteiligt sein:
- Vorstand,
- CTO,
- CIO,
- CISO,
- Rechtsabteilung,
- Compliance,
- Data Protection Officer,
- Prozesseigentümer,
- IT-Teams,
- Data Scientists,
- ML-Ingenieure,
- Product Manager,
- Business-User.
Wichtig ist, dass die Verantwortung nicht verwässert wird.
"KI gehört allen" bedeutet in der Praxis oft: "Niemand ist verantwortlich."
Deshalb sollte jede bedeutende KI-Initiative einen klar definierten Eigentümer haben.
RACI für KI-Systeme
Ein hilfreiches Werkzeug kann das klassische RACI-Modell sein.
Es hilft zu bestimmen:
Responsible - wer führt die Aufgabe aus?
Accountable - wer trägt die endgültige Verantwortung?
Consulted - wer muss konsultiert werden?
Informed - wer muss informiert werden?
Beispiel für ein KI-System im Kundenservice:
- IT ist verantwortlich für die Infrastruktur,
- das Datenteam für die Daten,
- der Prozesseigentümer für die Nutzung der KI,
- Compliance für die Bewertung regulatorischer Anforderungen,
- das Business für die Abnahme der Lösung.
So ist im Problemfall klar, wer reagieren muss.
AI Governance in einem kleinen Unternehmen
AI Governance bedeutet nicht zwingend die Einrichtung eines großen Komitees.
Ein kleines Unternehmen kann mit wenigen einfachen Elementen starten:
1. Liste der KI-Tools
Wissen, was genutzt wird.
2. Regeln für Daten
Wissen, was nicht an externe Tools gesendet werden darf.
3. Risikoklassifikation
Festlegen, welche Anwendungen niedriges, mittleres oder hohes Risiko haben.
4. KI-Verantwortlicher
Eine Person zur Koordination benennen.
5. Regeln für Human-in-the-Loop
Bestimmen, wann eine Entscheidung einen Menschen erfordert.
6. Monitoring
Überprüfen, ob das System weiterhin wie erwartet arbeitet.
Das ist schon sehr viel.
Am wichtigsten ist das Bewusstsein.
AI Governance in einem großen Unternehmen
In größeren Firmen ist die Situation komplexer.
Es kann nötig sein zu haben:
- ein AI Governance Board,
- ein Modellregister,
- Risikoklassifizierung,
- einen Genehmigungsprozess für neue Anwendungen,
- Datenrichtlinien,
- Modell-Monitoring,
- Audits,
- Incident-Prozeduren,
- Zugriffskontrollen,
- Lieferantenmanagement für KI,
- regelmäßige Reviews.
In großen Organisationen sollte Governance auch in bestehende Prozesse integriert werden:
- IT-Governance,
- Security-Governance,
- Data-Governance,
- Risikomanagement,
- Compliance.
KI existiert nicht im Vakuum.
Sie wird Teil des gesamten Management-Ökosystems der Organisation.
Häufige Fehler in der AI Governance
Fehler 1 – Governance wird erst nach der Einführung eingeführt
Zuerst führen wir KI ein.
Später überlegen wir, wer dafür verantwortlich ist.
Das ist die falsche Reihenfolge.
Fehler 2 – Governance beschränkt sich auf ein Dokument
Eine AI-Policy allein löst nichts.
Wenn sie niemand anwendet, bleibt sie ein Dokument.
Fehler 3 – Verantwortung liegt ausschließlich bei der IT
KI betrifft Business, Recht, Sicherheit und Menschen.
Es kann nicht nur ein Technologieproblem der IT-Abteilung sein.
Fehler 4 – kein Monitoring
Das Modell wurde deployed.
Alle haben es vergessen.
Nach einem Jahr stellt sich heraus, dass das System ganz anders funktioniert als zu Beginn.
Fehler 5 – keine Möglichkeit, die KI zu stoppen
Wenn ein System autonom arbeitet, aber niemand es schnell stoppen kann, kontrolliert die Organisation das System nicht.
Praktische Checkliste für AI Governance
Sollte die Organisation haben:
☐ ein Register der eingesetzten KI-Systeme,
☐ einen definierten Eigentümer für jedes relevante System,
☐ eine Klassifizierung des Risikoniveaus,
☐ Regeln für Daten,
☐ eine Policy zur Nutzung von KI,
☐ Regeln zu Shadow AI,
☐ Zugriffskontrollmechanismen,
☐ Logging der Systemaktivität,
☐ Monitoring der Qualität,
☐ eine Incident-Response-Prozedur,
☐ die Möglichkeit, das System zu stoppen,
☐ Regeln für Human-in-the-Loop,
☐ regelmäßige Modellreviews,
☐ eine Bewertung regulatorischer Anforderungen,
☐ klare Regeln zur Verantwortlichkeit.
Wenn die meisten Antworten "nein" lauten, hat das Unternehmen wahrscheinlich keine ausgereifte AI Governance.
Glossar
AI Governance
Ein Satz von Regeln, Prozessen, Verantwortlichkeiten und Kontrollmechanismen, die das Design, die Einführung und die Nutzung künstlicher Intelligenz betreffen.
Shadow AI
Informelle oder nicht autorisierte Nutzung von KI-Tools durch Mitarbeiter außerhalb des offiziellen Managementprozesses der Organisation.
AI Inventory
Ein Register der in der Organisation eingesetzten KI-Systeme, Modelle und Anwendungen.
Model Drift
Verschlechterung der Modellleistung infolge von Veränderungen in den Daten oder im Umfeld, in dem das Modell betrieben wird.
Explainable AI (XAI)
Ansätze und Methoden, die ein besseres Verständnis der Faktoren ermöglichen, die die Ergebnisse von KI-Modellen beeinflussen.
AI Audit
Bewertung eines KI-Systems hinsichtlich seiner Funktionsweise, Sicherheit, Compliance, Datenqualität, Risiken und Erfüllung bestimmter Anforderungen.
Guardrails
Einschränkungen, die definieren, welche Aktionen ein KI-System ausführen darf und welche nicht.
Kill Switch
Mechanismus, der ein schnelles Abschalten oder Einschränken der Systemfunktionalität in einem Notfall ermöglicht.
AI Incident
Ereignis im Zusammenhang mit einem KI-System, das zu Fehlern, Sicherheitsverletzungen, Non-Compliance oder anderen unerwünschten Folgen führen kann.
Der wichtigste Schluss
Human-in-the-Loop sagt uns: "Der Mensch sollte Teil des Prozesses bleiben."
AI Governance geht noch einen Schritt weiter.
Es sagt: "Die Organisation muss wissen, wie sie diesen Prozess kontrolliert."
Das ist ein fundamentaler Unterschied.
Wir können den fortschrittlichsten KI-Agenten bauen. Wir können ihm Zugang zu Systemen geben. Wir können ihm erlauben, zu planen und Aktionen auszuführen.
Aber wenn wir nicht wissen:
- was er tut,
- warum er es tut,
- wer für ihn verantwortlich ist,
- auf welchen Daten er basiert,
- wann er anfängt, Fehler zu machen,
- wie man ihn stoppt,
haben wir kein intelligentes System geschaffen. Wir haben ein System geschaffen, das wir nicht kontrollieren können.
Und in einer Welt immer autonomerer Agenten kann gerade Kontrolle zu einem der wichtigsten Wettbewerbsvorteile einer Organisation werden.
Im letzten, vierten Teil der Serie gehen wir von Prinzipien zur Architektur über.
Wir zeigen, wie ein KI-System gestaltet sein kann, das Sicherheit, Kontrolle und Verantwortung berücksichtigt – vom Modell und Agenten über die Entscheidungsschicht und Geschäftsregeln bis hin zu Workflows, Monitoring, Human Override und Notfallmechanismen.
Denn letztlich lautet die wichtigste Frage nicht: "Können wir einen autonomen KI-Agenten bauen?"
Heute können wir das immer öfter.
Die Frage ist: "Können wir einen solchen Agenten bauen, über den wir weiterhin Kontrolle haben?"
