Im ersten Teil unserer Serie haben wir erklärt, was Human-in-the-Loop ist und warum die Entwicklung künstlicher Intelligenz nicht bedeutet, dass der Mensch aus dem Entscheidungsprozess verschwinden sollte.
Wir haben drei grundlegende Zusammenarbeitsmodelle kennengelernt:
- Human-in-the-Loop – der Mensch nimmt aktiv am Entscheidungsprozess teil,
- Human-on-the-Loop – die KI handelt eigenständig, aber der Mensch überwacht das System,
- Human-out-of-the-Loop – das System arbeitet autonom, ohne laufende Eingriffe des Menschen.
Jetzt zur wichtigsten Frage: Woher weiß man, welches Modell zu wählen ist?
Genau hier beginnt die eigentliche Herausforderung.
Es reicht nicht zu sagen: „Diese Entscheidung ist einfach, also überlassen wir sie der KI.“
Oder: „Diese Entscheidung ist wichtig, deshalb muss sie immer vom Menschen genehmigt werden.“
Die Realität ist komplizierter.
Eine gute Architektur für ein KI-System sollte unter anderem berücksichtigen:
- Risikostufe,
- Fehlerkosten,
- Umkehrbarkeit der Entscheidung,
- Auswirkung auf Menschen,
- Verfügbarkeit der Daten,
- Erklärbarkeit der Empfehlung,
- Häufigkeit der Entscheidungen,
- Fähigkeit zu effektivem Monitoring.
Erst die Analyse dieser Elemente erlaubt es zu bestimmen, wie viel Autonomie wir der KI sicher übergeben können.
Wichtigste Regel: Automatisiere keine Entscheidungen, die du nicht kontrollieren kannst
Die Einführung von KI beginnt oft mit der Frage: „Was können wir automatisieren?“
In einer reifen Organisation sollte die Frage lauten: „Was können wir automatisieren und dennoch effektiv kontrollieren?“
Das ist der entscheidende Unterschied.
Man kann schließlich ein System bauen, das täglich tausende Entscheidungen automatisch trifft. Technisch kann es sehr gut funktionieren.
Wenn jedoch niemand weiß:
- warum es eine bestimmte Entscheidung getroffen hat,
- auf welchen Daten es basierte,
- wann es anfängt, Fehler zu machen,
- wer das System stoppen kann,
- wer für die Folgen verantwortlich ist,
dann haben wir keine reife Automatisierung. Wir haben automatisierte Risikogenerierung.
Vier Fragen, die man vor der Automatisierung einer Entscheidung stellen sollte
Bevor man eine Entscheidung an ein KI-System übergibt, lohnt sich eine einfache Analyse.
1. Was passiert, wenn die KI einen Fehler macht?
Das ist die grundlegende Frage.
Nicht jeder Fehler hat die gleichen Konsequenzen.
Wenn die KI einen Newsletter falsch klassifiziert, passiert wahrscheinlich nichts Dramatisches. Wenn sie einen Betrugsversuch nicht erkennt, kann es zu finanziellen Verlusten kommen. Wenn sie den Gesundheitszustand eines Patienten falsch einschätzt, können die Folgen wesentlich schwerwiegender sein.
Deshalb sollte das Autonomieniveau proportional zu den potenziellen Folgen eines Fehlers sein.
2. Lässt sich die Entscheidung leicht rückgängig machen?
Das ist einer der wichtigsten, oft aber vernachlässigten Parameter.
Stellen wir uns zwei Fälle vor.
Die KI ändert automatisch die Reihenfolge der Produktanzeige in einem Onlineshop. Ein Fehler lässt sich erkennen und rückgängig machen. Das Risiko ist relativ gering.
Jetzt ein anderes Beispiel.
Die KI löscht automatisch das Benutzerkonto und alle seine Daten. Eine solche Entscheidung ist viel schwerer umkehrbar.
Noch ein Szenario: Die KI kündigt automatisch einem Kundenvertrag. Hier sind die Konsequenzen noch ernster.
Darum sollte die Umkehrbarkeit der Entscheidung eines der grundlegenden Kriterien bei der Gestaltung von KI-Systemen sein.
3. Trifft die Entscheidung direkt Menschen?
Wenn die KI die Route eines Lieferwagens optimiert, kann das Risiko relativ gering sein.
Wenn das System jedoch Bewerber bewertet, einen Kredit vergibt oder den Zugang zu einer bestimmten Dienstleistung analysiert, sieht die Lage ganz anders aus.
Entscheidungen, die Menschen betreffen, erfordern besondere Vorsicht. Nicht nur aus ethischen Gründen, sondern auch aufgrund von Regulierung, organisatorischer Verantwortung und dem Risiko von Diskriminierung.
In solchen Bereichen kann der Mensch nicht nur der „letzte Klick“ sein. Er sollte die reale Möglichkeit haben, die Empfehlung des Systems anzufechten.
4. Kann der Mensch das System effektiv überwachen?
Diese Frage ist tückischer, als sie scheint.
Stellen wir uns ein System vor, das 50.000 Empfehlungen pro Tag generiert. Formal könnte ein Mensch alle prüfen. Praktisch ist das unmöglich. Nach einiger Zeit wird der Mitarbeiter beginnen, Entscheidungen automatisch zu bestätigen.
Dann tritt das Phänomen auf, das als Automation Bias bezeichnet wird – die Tendenz, Empfehlungen eines Systems übermäßig zu vertrauen und sie als standardmäßig korrekt zu betrachten.
Der Mensch ist zwar noch „in der Schleife“, erfüllt aber faktisch nicht mehr die Kontrollfunktion. Er wird zum reinen Operator des Buttons „Bestätigen“.
Das ist kein echtes Human-in-the-Loop.
Modell zur Risikobewertung von Entscheidungen
In der Praxis kann man ein einfaches Bewertungsmodell anwenden.
Jede Entscheidung analysieren wir anhand von fünf Parametern:
1. Fehlerwahrscheinlichkeit
Wie häufig kann sich das System irren?
2. Ausmaß der Konsequenzen
Wie schwerwiegend wäre der Fehler?
3. Umkehrbarkeit
Lässt sich die Entscheidung schnell rückgängig machen?
4. Auswirkung auf Menschen
Betrifft die Entscheidung unmittelbar Rechte, Finanzen, Gesundheit oder Sicherheit von Menschen?
5. Überwachbarkeit
Kann der Mensch den Prozess wirksam beobachten und kontrollieren?
Je höher das Risiko, desto größer der Bedarf an menschlicher Beteiligung. Das bedeutet jedoch nicht, dass jede risikoreiche Entscheidung manuell getroffen werden muss. Es bedeutet, dass das System geeignete Kontrollmechanismen haben sollte.
Stufe 1 – direkte Automatisierung
Das sind die einfachsten Entscheidungen.
Beispiele:
- Sortierung von Nachrichten,
- Klassifizierung von Dokumenten,
- Erstellung von Zusammenfassungen,
- Produkt-Empfehlungen,
- Zuordnung von Anfragen zu Kategorien.
Die KI kann autonom arbeiten. Der Mensch muss nicht jede Entscheidung freigeben. Das System sollte jedoch überwacht werden.
Dieses Modell ähnelt dem Human-on-the-Loop.
Stufe 2 – KI empfiehlt, der Mensch genehmigt
Hier analysiert die KI die Daten und macht einen Vorschlag.
Der Mensch trifft die Entscheidung.
Beispiele:
- Empfehlung der Höhe eines Rabatts,
- Vorschlag für eine Antwort auf eine Reklamation,
- Empfehlung von Service-Maßnahmen,
- Bewertung des Transaktionsrisikos,
- Vorschlag zur Priorisierung eines Tickets.
Das ist das klassische Human-in-the-Loop.
Dieses Modell funktioniert gut dort, wo die KI die Analyse deutlich beschleunigen kann, die endgültige Entscheidung aber menschliche Erfahrung benötigt.
Stufe 3 – KI handelt eigenständig, aber mit Eingriffsmöglichkeit
Das System trifft die Entscheidung automatisch. Der Mensch kann sie jedoch stoppen oder ändern.
Ein Beispiel ist das automatische Sperren verdächtiger Transaktionen. Das System erkennt ein ungewöhnliches Muster und blockiert die Operation. Meldet der Kunde ein Problem, kann ein Mitarbeiter die Entscheidung überprüfen.
In diesem Modell sind entscheidend:
- Monitoring,
- Alarmierung,
- Möglichkeit manueller Eingriffe,
- Protokollierung von Entscheidungen,
- Notfallmechanismen.
Stufe 4 – volle Autonomie
Die KI arbeitet ohne laufende menschliche Beteiligung.
Dieses Modell sollte reserviert sein für Prozesse, die:
- wiederholbar,
- gut definiert,
- niedrigen Risiken unterliegen,
- leicht zu überwachen sind,
- rückgängig gemacht werden können.
Ein Beispiel ist das automatische Skalieren von Cloud-Infrastruktur. Das System erkennt erhöhte Last, startet zusätzliche Ressourcen und fährt sie nach Rückgang wieder herunter. Niemand muss jede einzelne Entscheidung bestätigen.
Wenn das System jedoch unerwartete Kosten erzeugt, sollte es einen Mechanismus geben, um sein Verhalten zu begrenzen.
Autonomie darf niemals Kontrolle ausschließen.
Beispiel 1 – E‑Commerce
Stellen wir uns einen Onlineshop vor.
Die KI analysiert:
- Kaufhistorie,
- Nutzerverhalten,
- Saisonalität,
- Konkurrenzpreise,
- Produktverfügbarkeit.
Sie kann dem Kunden Produkte empfehlen. Das ist ein relativ sicheres Vorgehen.
Das System kann autonom handeln. Doch was, wenn die KI selbständig Preise festlegen soll? Dann wird es komplizierter.
Dynamic Pricing kann automatisiert werden, sollte aber innerhalb definierter Grenzen operieren.
Das System kann Regeln haben wie:
- Mindestpreis,
- Höchstpreis,
- maximale Preisänderung pro Tag,
- Regeln zu Aktionen und Rabatten.
Möchte die KI diese Grenzen überschreiten, kann die Entscheidung an einen Menschen weitergeleitet werden.
Das ist ein Beispiel für Guardrails – Schutzbegrenzungen, die das System einschränken.
Beispiel 2 – Rekrutierung
Die KI analysiert Lebensläufe von Bewerbern.
Sie kann:
- Erfahrungen extrahieren,
- Informationen strukturieren,
- Kompetenzen mit Anforderungen abgleichen.
Das kann die Arbeit von Recruitern deutlich beschleunigen.
Aber die Entscheidung: „Diesen Kandidaten lehnen wir ab.“ ist ganz anderer Natur.
Trifft das System diese Entscheidung automatisch, kann es bestehende Verzerrungen in historischen Daten reproduzieren.
Deshalb kann menschliche Beteiligung in HR-Prozessen fundamental sein. Die KI sollte den Recruiter unterstützen, aber nicht automatisch über den Wert eines Menschen auf Basis unvollständiger Daten entscheiden.
Beispiel 3 – Logistik
Ein KI-System plant Lieferungen.
Es analysiert:
- Entfernungen,
- Verkehr,
- Wetter,
- Verfügbarkeit von Fahrern,
- Arbeitszeiten,
- Kraftstoffkosten.
Sie kann Routen eigenständig optimieren.
Aber was, wenn das System eine günstigere Route wählt, die lokale Beschränkungen nicht berücksichtigt? Oder wenn es Lieferzeiten optimiert auf Kosten der Überlastung von Fahrern?
Deshalb sollte das System innerhalb definierter Geschäftsregeln arbeiten.
Die KI optimiert, die Organisation legt die Grenzen fest und der Mensch greift ein, wenn das System außerhalb des sicheren Rahmens arbeitet.
Beispiel 4 – Banking
Die KI kann Anomalien in Transaktionen erkennen.
Wenn das System eine ungewöhnliche Operation entdeckt, kann es diese automatisch markieren.
Aber wie geht es weiter?
Es sind verschiedene Szenarien möglich:
- nur eine Warnung für einen Mitarbeiter,
- vorübergehendes Zurückhalten der Transaktion,
- automatische Sperrung,
- Sperre mit zusätzlicher Verifizierung.
Die Wahl hängt vom Risikoniveau ab.
Bei einem verdächtigen Vorgang mit kleinem Betrag kann Automatisierung geeignet sein. Bei komplexeren Fällen ist die Analyse eines Experten erforderlich.
Deshalb sollten KI-Systeme Mechanismen für Escalation besitzen – die Übergabe an einen Menschen, wenn Unsicherheit oder Risiko einen Schwellenwert überschreiten.
Confidence Score – weiß die KI, wenn sie unsicher ist?
Ein interessanter Mechanismus ist die Nutzung eines Vertrauenswertes.
Das System kann einschätzen: „Meine Empfehlung hat eine hohe Wahrscheinlichkeit korrekt zu sein.“
In diesem Fall kann die Aktion automatisch ausgeführt werden.
Wenn das System seine Empfehlung jedoch als unsicher bewertet, kann der Prozess an einen Menschen übergeben werden.
Beispielsweise:
Confidence Score > 95% Automatische Ausführung.
Confidence Score 70–95% Empfehlung an einen Menschen.
Confidence Score < 70% Verpflichtende Expertenprüfung.
Man muss jedoch vorsichtig bleiben.
Ein Confidence Score ist nicht automatisch ein Wahrheitsbeweis. Ein Modell kann sehr selbstsicher sein und trotzdem Fehler machen. Daher sollte der Vertrauenswert ein Element der Bewertung sein, aber nicht das alleinige Kriterium für Entscheidungen.
Größte Gefahr: der Mensch, der aufhört, die KI zu überprüfen
Man kann ein System mit Human-in-the-Loop entwerfen.
Man kann den Button hinzufügen: „KI‑Entscheidung bestätigen“
Man kann Menschen zur Kontrolle einstellen.
Und trotzdem ein gefährliches System schaffen.
Warum? – Weil der Mensch beginnt, der KI mehr zu vertrauen als seiner eigenen Erfahrung.
Wenn das System in 1000 Fällen korrekt arbeitet, hört der Mensch auf, den 1001. Fall gründlich zu prüfen. Das ist menschlich.
Deshalb sollte ein gutes System nicht nur eine Bestätigung verlangen. Es sollte dem Menschen auch den passenden Kontext liefern.
Zum Beispiel:
- warum die KI diese Entscheidung getroffen hat,
- welche Daten sie berücksichtigt hat,
- welche Alternativen sie erwogen hat,
- wie hoch das Unsicherheitsniveau ist,
- was nach Ausführung der Entscheidung passieren kann.
Dann ist der Mensch nicht nur ein „Sicherheitsbrems“-Knopf.
Er wird ein echter Partner des Systems.
Human-in-the-Loop darf kein Schein sein
Das ist eine der wichtigsten Gestaltungsregeln für KI-Systeme.
Wenn der Mensch die KI kontrollieren soll, muss er haben:
- ausreichendes Wissen,
- genügend Zeit,
- Zugriff auf die Daten,
- Möglichkeit, die Empfehlung anzufechten,
- Fähigkeit, den Prozess zu stoppen,
- klare Verantwortlichkeiten.
Wenn ein Mitarbeiter nur „Bestätigen“ oder „Ablehnen“ klicken kann, aber nicht prüfen kann, warum die KI so entschieden hat, ist seine Rolle stark eingeschränkt.
Noch schlimmer ist es, wenn das System so schnell arbeitet, dass der Mensch nicht mit der Analyse Schritt halten kann. Formal haben wir dann Human-in-the-Loop. Praktisch ist es eine Automatisierung mit einem Menschen in dekorativer Funktion.
Praktische Checkliste – Kann diese Entscheidung der KI übergeben werden?
Vor der Automatisierung sollte man folgende Fragen beantworten:
☐ Ist die Entscheidung wiederholbar?
☐ Haben wir ausreichend gute Daten?
☐ Können wir erkennen, wann die KI Fehler macht?
☐ Ist ein Fehler akzeptabel?
☐ Lässt sich die Entscheidung rückgängig machen?
☐ Trifft die Entscheidung direkt Menschen?
☐ Gibt es klare Geschäftsregeln?
☐ Kann das System überwacht werden?
☐ Kann der Mensch das Verhalten der KI stoppen?
☐ Ist klar, wer die Verantwortung trägt?
☐ Kann die Entscheidung erklärt werden?
☐ Hat der Mensch genug Zeit und Wissen, um das System effektiv zu überwachen?
Je mehr dieser Antworten „Nein“ lauten, desto vorsichtiger sollte man bei der Automatisierung vorgehen.
Glossar
Automation Bias
Die Tendenz von Menschen, Empfehlungen automatischer Systeme übermäßig zu vertrauen und sie ohne angemessene Überprüfung als korrekt zu behandeln.
Guardrails
Einschränkungen und Sicherheitsmechanismen, die definieren, was ein KI-System tun darf und was nicht.
Confidence Score
Ein Indikator, der das Vertrauensniveau des Modells in ein Ergebnis oder eine Empfehlung angibt. Er ist nicht gleichbedeutend mit einer Garantie für Korrektheit.
Escalation
Mechanismus zur Weiterleitung eines Falls an einen Menschen, wenn das System ein hohes Risiko, Unsicherheit oder eine Situation erkennt, die außerhalb der definierten Regeln liegt.
Human Override
Die Möglichkeit, eine Entscheidung oder Aktion des KI-Systems manuell zu überschreiben.
Decision Reversibility
Die Umkehrbarkeit einer Entscheidung, also die Möglichkeit, ihre Auswirkungen ohne erhebliche Konsequenzen rückgängig zu machen.
High-impact decision
Eine Entscheidung, die erheblichen Einfluss auf das Leben, Rechte, Möglichkeiten oder die wirtschaftliche Situation eines Menschen haben kann. In solchen Fällen sind Anforderungen an Überwachung und Verantwortung besonders wichtig.
Wichtigste Schlussfolgerung
Nicht jede Entscheidung sollte automatisiert werden, aber nicht jede Entscheidung erfordert auch einen Menschen, der am Computer sitzt und jede einzelne Operation bestätigt.
Das wahre Ziel beim Entwurf von KI-Systemen ist nicht die Wahl zwischen: „der Mensch entscheidet“ und „die KI entscheidet“.
Ziel ist es, ein geeignetes Zusammenarbeitsmodell zu schaffen.
KI sollte dort autonom arbeiten, wo das Risiko gering ist. Sie sollte Empfehlungen geben, wo menschliche Erfahrung erforderlich ist. Sie sollte stoppen und um Hilfe bitten, wenn die Folgen eines Fehlers zu gravierend sind. Und der Mensch sollte immer die Möglichkeit haben, die Kontrolle zu übernehmen, wenn die Situation außerhalb des vorgesehenen Szenarios liegt.
Ein gut gestaltetes KI-System ist nicht das, das am meisten eigenständig entscheidet. Es ist das System, das richtig erkennt, wann es selbst entscheiden, wann es eine Empfehlung abgeben und wann es sagen sollte: „Dieses Mal brauche ich einen Menschen.“
Im nächsten Teil steigen wir von der einzelnen Entscheidung auf die Ebene der gesamten Organisation um.
Denn selbst das am besten gestaltete KI-System kann zum Problem werden, wenn das Unternehmen nicht weiß, wer dafür verantwortlich ist, wer es überwacht und was zu tun ist, wenn es anders handelt als erwartet.
Im nächsten Teil beschäftigen wir uns mit AI Governance – also wie man Regeln, Verantwortlichkeiten und Kontrollmechanismen für künstliche Intelligenz in der Organisation aufbaut.
