Im ersten Teil unserer Serie stellten wir die grundlegende Frage: Wann sollte der Mensch die KI stoppen?
Im zweiten Teil analysierten wir die Autonomie von Agenten und versuchten zu beantworten, wie weit man künstlicher Intelligenz erlauben kann, eigenständig zu handeln.
Im dritten Teil wechselten wir zur Organisationsebene und sprachen über AI Governance, Verantwortung, Sicherheit, Monitoring und Kontrollprinzipien.
Jetzt ist es an der Zeit, all diese Elemente zu verbinden.
Denn man kann eine großartige AI-Strategie haben. Man kann gute Verfahren haben. Man kann die besten Ingenieure einstellen. Man kann ein ausgezeichnetes Modell wählen. Aber letztlich läuft alles auf eine Frage hinaus: Wie baut man ein System, das ausreichend autonom ist, um tatsächlich Wert zu liefern, aber zugleich ausreichend kontrolliert, um nicht zur Quelle inakzeptabler Risiken zu werden?
Das ist einer der wichtigsten Designprobleme für KI-Systeme der nächsten Generation. Und hier hört Human-in-the-Loop auf, eine einfache "Klick Akzeptieren"-Funktion zu sein. Es wird Teil der gesamten Systemarchitektur.
KI sollte nicht als "Black Box" entworfen werden
Stellen wir uns ein klassisches System vor:
- Der Nutzer sendet eine Anfrage.
- Das KI-Modell analysiert die Daten.
- Das Modell generiert eine Antwort.
- Der Nutzer erhält sie.
Das kann für einen einfachen Chatbot ausreichend sein.
Die Lage ist jedoch völlig anders, wenn die KI Zugriff auf Unternehmenssysteme erhält.
Zum Beispiel:
- Die KI liest eine Nachricht von einem Kunden.
- Erkennt seine Absicht.
- Prüft die Bestellhistorie.
- Analysiert die Produktverfügbarkeit.
- Schlägt eine Lösung vor.
- Sendet die Antwort.
- Startet ein Reklamationsverfahren.
- Veranlasst Rückerstattungen.
- Und aktualisiert anschließend die CRM-Daten.
Das ist nicht länger ein singuläres KI-Modell.
Es ist ein System, das in der realen Welt Aktionen ausführt.
Und genau deshalb muss die Architektur nicht nur das Modell berücksichtigen, sondern die gesamte Kette: Daten → Modell → Entscheidung → Tools → Aktion → Ergebnis → Monitoring
Wenn irgendein Element dieser Kette schlecht entworfen ist, kann das System eine falsche Entscheidung treffen oder – schlimmer noch – diese automatisch ausführen.
Autonomie sollte kein ON/OFF-Schalter sein
Einer der größten Fehler beim Entwurf von KI ist die Annahme: "Entweder macht der Mensch alles, oder die KI macht alles."
In der Praxis brauchen wir viel mehr Abstufungen.
Wir können uns ein Autonomiemodell vorstellen:
Stufe 0 – Der Mensch macht alles
Die KI führt keine Aktionen aus. Sie kann nur als Informationswerkzeug genutzt werden.
Beispiel: Ein Entwickler fragt die KI nach Lösungsansätzen.
Die KI antwortet.
Der Entwickler analysiert die Antwort selbst und implementiert die Lösung.
Stufe 1 – Die KI analysiert
Das System sammelt und verarbeitet Informationen. Der Mensch trifft die Entscheidung.
Beispiel: Die KI analysiert Dokumentation und erstellt eine Zusammenfassung.
Der Mensch bewertet das Ergebnis selbst.
Stufe 2 – Die KI empfiehlt
Das System analysiert die Situation und schlägt eine Maßnahme vor. Der Mensch genehmigt.
Beispiel: Die KI erkennt eine verdächtige Transaktion und empfiehlt eine zusätzliche Überprüfung.
Stufe 3 – Die KI bereitet die Aktion vor
Die KI empfiehlt nicht nur, sondern bereitet alle Elemente zur Ausführung vor. Der Mensch genehmigt.
Beispiel: Ein Agent erstellt eine Kundenantwort, ein CRM-Update und einen Rabattvorschlag.
Der Mitarbeiter genehmigt das Gesamtpaket.
Stufe 4 – Die KI handelt autonom innerhalb definierter Grenzen
Das System kann eigenständig Entscheidungen treffen und Aktionen durchführen, aber nur im Rahmen festgelegter Regeln.
Beispiel: Ein Agent kann den Liefertermin um einen Tag verschieben, wenn der Kunde diese Option akzeptiert hat.
Er darf jedoch nicht die Vertragsbedingungen ändern.
Stufe 5 – Die KI handelt vollständig autonom
Das System analysiert die Situation selbst, trifft Entscheidungen und führt Aktionen aus. Der Mensch bleibt für die Aufsicht über das gesamte System verantwortlich.
Dieses Autonomieniveau sollte mit großer Vorsicht eingesetzt werden.
Nicht, weil KI niemals eigenständig handeln können sollte. Sondern weil je größer die Autonomie, desto größer sind die Konsequenzen eines möglichen Fehlers.
Die wichtigste Regel: Autonomie muss proportional zum Risiko sein
Es macht keinen Sinn, eine universelle Regel zu schaffen: "KI braucht immer die Zustimmung des Menschen."
Das würde die Vorteile der Automatisierung komplett vernichten.
Stellen wir uns ein System vor, das tausende routinemäßige Operationen abwickelt. Wenn jede manuell genehmigt werden muss, wird der Mensch zum Engpass.
Andererseits: "Die KI darf alles alleine machen"
ist ebenfalls eine schlechte Idee.
Deshalb sollte die Entscheidung über das Autonomieniveau auf Basis des Risikos getroffen werden.
Man kann analysieren unter anderem:
- potenziellen Schaden,
- Kosten eines Fehlers,
- Rückgängigmachbarkeit der Aktion,
- Auswirkung auf Personen,
- finanzielle Auswirkungen,
- rechtliche Auswirkungen,
- Datenempfindlichkeit,
- Möglichkeit, einen Fehler zu entdecken,
- benötigte Reaktionszeit.
Das führt zu einer sehr praktischen Regel:
Je größer das Risiko und je schwerer die Folgen eines nicht umkehrbaren Ergebnisses, desto größer sollte der menschliche Anteil im Prozess sein.
Reversible vs. irreversible Aktionen
Ein sehr nützliches Kriterium ist die Einteilung von Aktionen in reversibel und irreversibel.
Reversible Aktionen
Zum Beispiel:
- Änderung der Aufgabenreihenfolge,
- Erstellung eines Entwurfsdokuments,
- Erstellung eines Antwortvorschlags,
- Erstellung eines Kampagnenentwurfs.
Wenn die KI einen Fehler macht, kann der Mensch ihn leicht korrigieren.
In solchen Fällen kann man dem System mehr Autonomie gewähren.
Schwer reversierbare Aktionen
Zum Beispiel:
- Durchführung einer Überweisung,
- Löschung von Daten,
- Unterzeichnung eines Vertrags,
- Änderung wesentlicher Systemparameter,
- Versand rechtlich relevanter Informationen,
- Entscheidungen, die Menschenrechte betreffen.
Hier sollte das Kontrollniveau deutlich höher sein.
Das ist eine einfache, aber sehr wirkungsvolle Designregel:
KI darf mehr Freiheiten dort haben, wo Fehler leicht rückgängig gemacht werden können.
Human-in-the-Loop, Human-on-the-Loop und Human-in-Command
Es lohnt sich, drei Ansätze zu unterscheiden.
Human-in-the-Loop
Der Mensch beteiligt sich direkt am Entscheidungsprozess.
Die KI empfiehlt.
Der Mensch genehmigt.
Das ist eine gute Lösung für Prozesse mit höherem Risiko.
Human-on-the-Loop
Die KI handelt eigenständig, aber der Mensch überwacht das System und kann intervenieren.
Dieses Modell ist geeignet für wiederkehrende, gut definierte Prozesse.
Beispiel: Das System optimiert automatisch die Aufgabenreihenfolge.
Der Mensch genehmigt nicht jede Änderung.
Er überwacht jedoch die Ergebnisse und kann die Kontrolle übernehmen.
Human-in-Command
Der Mensch bleibt auf strategischer Ebene.
Er kontrolliert nicht jede einzelne Entscheidung.
Er ist jedoch verantwortlich für:
- Handlungsprinzipien,
- Umfang der Autonomie,
- Ziele des Systems,
- Einschränkungen,
- Verantwortung,
- Möglichkeit, das System zu stoppen.
Das ist besonders wichtig bei großen autonomen Systemen.
Human Override – der Mensch muss die Möglichkeit haben, die Kontrolle zu übernehmen
Wenn ein System autonom handeln kann, sollte der Mensch die Möglichkeit haben, die Kontrolle zu übernehmen.
Das ist genau Human Override.
Der Mechanismus kann unterschiedlich gestaltet sein.
Er kann sein:
- manuelle Genehmigung,
- Unterbrechung des Prozesses,
- Abbruch einer Aktion,
- Rücknahme einer Entscheidung,
- Umschaltung des Systems in den manuellen Modus,
- Entzug des Zugangs des Agenten zu Tools.
Wichtig ist jedoch, dass dies kein rein theoretischer Mechanismus ist.
Wenn der Mensch die Kontrolle "übernehmen kann", dafür aber 48 Stunden benötigt, während der Agent in Sekunden handelt, haben wir ein Problem.
Human Override sollte: verfügbar, schnell und tatsächlich wirksam sein.
Fail-Safe – was passiert, wenn die KI unsicher ist?
Ein gut entworfenes System sollte nicht davon ausgehen, dass die KI immer recht hat. Es sollte davon ausgehen, dass sie sich manchmal irrt.
Deshalb brauchen wir einen Fail-Safe-Mechanismus.
Wenn das System:
- nicht genügend Daten hat,
- ein niedriges Sicherheitsniveau/geringe Gewissheit aufweist,
- widersprüchliche Informationen erkennt,
- auf eine Situation außerhalb seines Geltungsbereichs stößt,
- die Aktion nicht regelkonform ausführen kann,
sollte es nicht zwangsläufig eine Entscheidung treffen.
Es sollte sagen: "Ich weiß es nicht." – und den Fall an einen Menschen übergeben.
Das kann eine der wichtigsten Eigenschaften eines reifen KI-Systems sein: nicht die Fähigkeit, jede Frage zu beantworten, sondern die Fähigkeit zu erkennen, wann es keine Antwort geben sollte.
Confidence Score – aber mit Vorsicht
In KI-Systemen begegnet uns oft der Begriff des Confidence Scores (Sicherheits-/Vertrauensmaß).
Das System kann sagen: "Meine Empfehlung hat 95% Confidence."
Das klingt großartig. Aber Vorsicht ist geboten.
Der Confidence Score des Modells bedeutet nicht immer die Wahrscheinlichkeit, dass die Antwort tatsächlich korrekt ist. Das Modell kann sehr selbstsicher sein und gleichzeitig falsch liegen.
Deshalb sollte der Confidence Score als ein Signal unter vielen betrachtet werden, nicht als absolute Wahrheit.
Man kann ihn jedoch nutzen, um Prozesse zu gestalten.
Beispiel:
- hohe Sicherheit + geringes Risiko = Automatisierung,
- mittlere Sicherheit = Empfehlung für den Menschen,
- niedrige Sicherheit = verpflichtende Eskalation.
Das ermöglicht die Schaffung eines dynamischen Human-in-the-Loop.
Nicht jede Entscheidung braucht einen Menschen. Aber jede Entscheidung sollte einen definierten Eskalationspfad haben.
Dynamisches Human-in-the-Loop
Das ist ein sehr interessanter Gestaltungsansatz für KI-Systeme.
Anstatt eine feste Regel zu schaffen: "Jede Entscheidung wird vom Menschen genehmigt"
schaffen wir die Regel: "Der Mensch tritt dann ein, wenn das System ein erhöhtes Risiko erkennt."
Beispiel:
Ein Kundenservice-Agent kann eigenständig Standardfragen beantworten.
Fragt der Kunde nach dem Sendungsstatus – antwortet der Agent.
Will der Kunde die Lieferadresse ändern – kann der Agent die Operation regelkonform durchführen.
Fordert der Kunde jedoch eine große Rückerstattung – übergibt das System den Fall an einen Menschen.
Bei drohenden rechtlichen Konsequenzen – Eskalation.
Wenn das System die Absicht des Kunden nicht versteht – Eskalation.
So kontrolliert der Mensch nicht alles. Er kontrolliert das, was wirklich menschliche Bewertung erfordert.
Der Agent sollte nur die Berechtigungen haben, die er wirklich braucht
Das ist eine der wichtigsten Sicherheitsregeln. Wenn ein Agent eine bestimmte Aufgabe ausführen soll, sollte er nur die notwendigen Berechtigungen erhalten.
Nicht: "Gib ihm Zugriff auf das gesamte CRM, weil es nützlich sein könnte."
Sondern: "Der Agent benötigt Leserechte für Kundendaten und die Möglichkeit, ein Ticket zu erstellen."
Dieser Ansatz ist in der Cybersicherheit als Least Privilege bekannt: minimale Berechtigungen.
Wenn ein Agent kompromittiert wird oder einen Fehler macht, ist das potenzielle Schadensausmaß begrenzt.
Das ist besonders wichtig in agentbasierten Architekturen.
Ein Agent, der:
- Daten lesen,
- Daten schreiben,
- Nachrichten senden,
- Überweisungen durchführen,
- Systemkonfigurationen ändern,
kann potenziell sehr gefährlich sein.
Deshalb sollte jede Fähigkeit als Tool mit einem bestimmten Risikoniveau behandelt werden.
Tool Calling – der Agent sollte keinen uneingeschränkten Zugriff haben
Moderne KI-Agenten nutzen oft externe Tools.
Das Modell kann beispielsweise aufrufen:
- APIs,
- Datenbanken,
- ERP-Systeme,
- CRM,
- Suchmaschinen,
- Zahlungssysteme.
Das ist große Macht. Aber auch großes Risiko. Deshalb sollten Tool-Aufrufe kontrolliert werden.
Das System sollte wissen:
- wer ein bestimmtes Tool aufrufen darf,
- welche Argumente erlaubt sind,
- welche Werte zulässig sind,
- ob menschliche Zustimmung benötigt wird,
- wie die Aktion protokolliert wird.
Ein Agent könnte Zugriff auf die Funktion: create_invoice haben
aber nicht automatisch auf: delete_all_invoices
Das klingt absurd.
Aber genau deshalb muss man Systeme mit dem worst-case-Szenario im Hinterkopf entwerfen.
Guardrails als Sicherheitsarchitektur
Guardrails sollten auf mehreren Ebenen wirken.
Guardrails für Daten
Welche Informationen darf der Agent lesen?
Guardrails für Aktionen
Welche Operationen darf er ausführen?
Finanzielle Guardrails
Bis zu welcher Summe darf er autonom handeln?
Zeitliche Guardrails
Zu welchen Zeiten darf er Aktionen durchführen?
Guardrails für Benutzer
Für welche Kunden darf er Aktionen ausführen?
Guardrails für Risiko
Welche Aktionen erfordern Genehmigung?
So erhält der Agent nicht einfach Zugriff auf das System.
Er erhält einen kontrollierten Handlungsspielraum.
KI-Agent als digitaler Mitarbeiter?
Das ist eine populäre Metapher. Ein KI-Agent kann wie ein digitaler Mitarbeiter behandelt werden. Aber es gibt einen fundamentalen Unterschied.
Ein Mitarbeiter hat:
- Erfahrung,
- Kontext,
- Intuition,
- Bewusstsein für Verantwortung.
Ein Agent hat:
- ein Modell,
- Daten,
- Tools,
- Instruktionen,
- Einschränkungen.
Deshalb sollten wir Agenten nicht mit der Einstellung entwerfen: "Sagen wir ihm, was er tun soll, und schauen wir, was passiert."
Ein Agent sollte klar definierte haben:
- Ziel,
- Handlungsbereich,
- Datenzugriff,
- Tool-Zugriff,
- Autonomiestufe,
- Erfolgskriterien,
- Eskalationsbedingungen,
- Abbruchbedingungen.
Je autonomer ein System ist, desto mehr ähnelt es dem Betriebssystem eines Geschäftsprozesses. Und desto mehr braucht es eine Architektur.
Architektur eines sicheren KI-Systems
Wir können uns ein System vorstellen, das aus mehreren Schichten besteht.
Schicht 1 – Daten
Datenquellen der Organisation.
ERP.
CRM.
CMS.
Datenbanken.
Dokumente.
APIs.
Schicht 2 – KI-Modelle
Sprachmodelle, prädiktive Modelle und andere KI-Komponenten.
Schicht 3 – Orchestrierung
Logik, die definiert, was nacheinander passiert.
Schicht 4 – Agent
Das System analysiert die Situation und plant Aktionen.
Schicht 5 – Tools
Der Agent kann bestimmte APIs und Funktionen nutzen.
Schicht 6 – Guardrails
Das System kontrolliert, was der Agent tun darf.
Schicht 7 – Human-in-the-Loop
In bestimmten Fällen wird die Entscheidung an einen Menschen weitergeleitet.
Schicht 8 – Monitoring
Das System überwacht das Verhalten und die Qualität der Entscheidungen.
Schicht 9 – Audit Trail
Alle relevanten Aktionen werden protokolliert.
Schicht 10 – Emergency Controls
Es gibt Möglichkeiten, das System zu stoppen oder die Kontrolle zu übernehmen. Das ist nicht die einzige mögliche Architektur.
Aber sie zeigt eine wichtige Regel: Ein sicheres KI-System ist nicht nur ein Modell.
Es ist ein ganzes Ökosystem von Kontrollmechanismen.
Wie implementiert man Human-in-the-Loop in der Praxis?
Am besten beginnt man mit einem kleinen Prozess.
Nicht mit: "Automatisieren wir das ganze Unternehmen."
Sondern mit: "Wählen wir einen Prozess, bei dem KI sicher helfen kann."
Dann:
Schritt 1 – Identifiziere die Entscheidung
Was genau soll die KI tun?
Schritt 2 – Bestimme das Risiko
Was passiert, wenn das System einen Fehler macht?
Schritt 3 – Bestimme das Autonomieniveau
Soll die KI:
- analysieren,
- empfehlen,
- eine Aktion vorbereiten,
- oder die Aktion ausführen?
Schritt 4 – Definiere Eskalationsbedingungen
Wann muss der Mensch die Kontrolle übernehmen?
Schritt 5 – Entwerfe Guardrails
Welche Aktionen sind verboten?
Schritt 6 – Begrenze Berechtigungen
Welche Tools werden wirklich benötigt?
Schritt 7 – Entwerfe Monitoring
Wie erkennen wir Fehler?
Schritt 8 – Entwerfe Human Override
Wie stoppt der Mensch das System?
Schritt 9 – Teste Notfallszenarien
Was passiert, wenn:
- die API ausfällt,
- Daten fehlerhaft sind,
- das Modell falsch antwortet,
- ein Nutzer bösartige Anweisungen gibt,
- der Agent eine unerwünschte Aktion ausführt?
Schritt 10 – Erst dann erhöhe die Autonomie
Zuerst Beobachtung, dann Empfehlungen, anschließend begrenzte Automatisierung. Erst zuletzt größere Autonomie.
Das ist ein deutlich sichererer Weg, als von Anfang an vollständige Autonomie einzuführen.
Der häufigste Fehler: Wir automatisieren einen Prozess, den wir nicht verstehen
Das Problem betrifft nicht nur KI. Es betrifft jede Automatisierung.
Wenn ein Prozess schlecht entworfen ist, kann Automatisierung dazu führen, dass er schneller funktioniert.
Schneller heißt aber nicht besser.
Wir können so: Automatisierung des Chaos schaffen.
KI wird das Problem nur skalieren.
Deshalb sollte man vor der Implementierung fragen: Ist der Prozess, den wir automatisieren wollen, wirklich gut gestaltet?
Wenn nicht, erst den Prozess bereinigen. Dann KI hinzufügen.
Die wichtigste Designregel für KI-Systeme
Wir sollten KI nicht so entwerfen, dass sie niemals Fehler macht. Das ist unrealistisch.
Wir sollten sie so entwerfen, dass: Fehler erkennbar, begrenzbar und korrigierbar sind.
Das ist ein fundamentaler Unterschied. Ein reifes KI-System ist kein fehlerfreies System. Es ist ein fehlertolerantes System.
Checkliste für sicheres Human-in-the-Loop
Vor der Implementierung eines Systems sollte man folgende Fragen beantworten:
☐ Wissen wir, welche Entscheidung die KI trifft?
☐ Kennen wir die Kosten eines möglichen Fehlers?
☐ Ist die Entscheidung reversibel?
☐ Haben wir das Autonomieniveau definiert?
☐ Hat die KI nur die notwendigen Berechtigungen?
☐ Existieren Guardrails?
☐ Weiß der Mensch, wann er intervenieren muss?
☐ Kann das System Fälle an Menschen übergeben?
☐ Gibt es Human Override?
☐ Existiert ein Notstoppmechanismus?
☐ Werden Aktionen protokolliert?
☐ Überwachen wir die Qualität der Aktionen?
☐ Können wir Model Drift erkennen?
☐ Wissen wir, wer für das System verantwortlich ist?
☐ Haben wir ein Incident-Response-Verfahren?
☐ Haben wir Notfallszenarien getestet?
Wenn die meisten dieser Fragen mit "Ja" beantwortet werden, sind wir deutlich näher an einer reifen KI-Implementierung.
Glossar
Human-in-the-Loop
Ein Modell, in dem der Mensch direkt am Entscheidungsprozess teilnimmt und bestimmte Aktionen der KI genehmigt.
Human-on-the-Loop
Ein Modell, in dem die KI eigenständig handelt und der Mensch das System überwacht und eingreifen kann.
Human-in-Command
Ein Modell, in dem der Mensch für Ziele, Regeln, den Umfang der Autonomie und die allgemeine Kontrolle des Systems verantwortlich bleibt.
Human Override
Mechanismus, der es dem Menschen ermöglicht, die Kontrolle über das KI-System zu übernehmen oder seine Aktionen abzubrechen.
Fail-Safe
Sicherheitsmechanismus, bei dem das System im Fall von Unsicherheit oder Störung in einen sicheren Zustand wechselt, anstatt riskant weiterzuarbeiten.
Guardrails
Einschränkungen, die den Handlungsrahmen der KI festlegen.
Least Privilege
Prinzip, einem System nur diejenigen Rechte zu gewähren, die zur Erfüllung seiner Aufgaben unbedingt nötig sind.
Tool Calling
Mechanismus, der dem KI-Modell die Nutzung externer Tools, APIs und Systeme ermöglicht.
Kill Switch
Mechanismus, der ein schnelles Abschalten des Systems erlaubt.
Audit Trail
Protokoll aller Aktionen, das eine spätere Rekonstruktion der vom System durchgeführten Operationen ermöglicht.
Model Drift
Verschlechterung der Modellleistung infolge von Änderungen in den Daten oder der Umgebung.
Confidence Score
Maß, das das Sicherheitsniveau eines Modells bezüglich eines Ergebnisses angibt. Es sollte nicht automatisch mit der Wahrscheinlichkeit der Richtigkeit identifiziert werden.
Zusammenfassung der gesamten Serie
In vier Teilen unserer Serie sind wir den Weg gegangen von der einfachen Frage: "Sollte der Mensch die KI kontrollieren?"
zu einer weitaus komplexeren Frage: "Wie entwirft man ein System, in dem Mensch und KI sicher zusammenarbeiten können?"
Die Antwort lautet nicht: "Der Mensch muss alles genehmigen."
Sie lautet auch nicht: "Die KI sollte völlig eigenständig handeln."
Die beste Lösung liegt zwischen diesen Extremen.
Die KI sollte so viel Autonomie haben, wie sie tatsächlich benötigt. Der Mensch sollte dort präsent sein, wo sein Wissen, seine Verantwortung, Erfahrung und Urteilsvermögen den größten Wert liefern.
Das System sollte wissen, wann es handeln muss, wann es fragen muss und wann es stoppen muss. Und der Mensch sollte immer wissen, wie er die Kontrolle zurückgewinnt.
Das ist ein reifer Ansatz für Human-in-the-Loop.
Es geht nicht darum, dass der Mensch über der KI steht und jede einzelne Entscheidung genehmigt. Es geht darum, eine Architektur zu schaffen, in der Autonomie gesteuert, Verantwortung klar zugewiesen, Risiko überwacht und der Mensch in der Lage ist, praktisch zu intervenieren.
Denn die Zukunft der KI wird vielleicht nicht allein denen gehören, die die autonomsten Systeme bauen.
Sie könnte denen gehören, die am besten lernen, die Grenze zwischen Maschinenautonomie und menschlicher Verantwortung zu managen.
Und vielleicht wird die wichtigste Frage in der Ära der KI-Agenten nicht sein: "Wieviel dürfen wir die KI tun lassen?"
Sondern: "Wieviel dürfen wir die KI tun lassen, während wir volle Kontrolle über die Konsequenzen ihres Handelns behalten?"
Diese Frage wird bei jeder ernsthaften KI-Implementierung wiederkehren.
Und je autonomer die Systeme werden, desto wichtiger wird es sein, die Antwort zu kennen bevor der Agent seine erste Entscheidung trifft.
