V první části naší série jsme vysvětlili, co je Human-in-the-Loop a proč rozvoj umělé inteligence neznamená, že by člověk měl z rozhodovacího procesu zmizet.
Seznámili jsme se se třemi základními modely spolupráce:
- Human-in-the-Loop - člověk aktivně participuje v rozhodovacím procesu,
- Human-on-the-Loop - AI pracuje samostatně, ale člověk systém dohlíží,
- Human-out-of-the-Loop - systém funguje autonomně bez průběžné zásahu člověka.
Teď je čas na nejdůležitější otázku: Jak poznat, který model zvolit?
Právě zde začíná opravdová výzva.
Nestačí říct: „Toto rozhodnutí je jednoduché, tak ho svěřme AI.”
Ani: „Toto rozhodnutí je důležité, takže ho vždy musí schválit člověk.”
Realita je složitější.
Dobrá architektura AI systému by měla zohlednit mimo jiné:
- úroveň rizika,
- náklady chyby,
- vratnost rozhodnutí,
- dopad na člověka,
- dostupnost dat,
- možnost vysvětlení doporučení,
- frekvenci rozhodování,
- možnost efektivního dohledu nad systémem.
Až analýza těchto prvků umožní určit, kolik autonomie můžeme bezpečně přenést na AI.
Nejdůležitější pravidlo: neautomatizujte rozhodnutí, která neumíte kontrolovat
Nasazení AI často začíná otázkou: „Co můžeme automatizovat?”
Ve vyspělé organizaci by otázka měla znít: „Co můžeme automatizovat a přitom to stále efektivně kontrolovat?”
To je zásadní rozdíl.
Můžeme vytvořit systém, který denně automaticky udělá tisíce rozhodnutí. Technicky může fungovat skvěle.
Ale pokud nikdo neví:
- proč učinil konkrétní rozhodnutí,
- na jakých datech se opíral,
- kdy začne dělat chyby,
- kdo může systém zastavit,
- kdo nese odpovědnost za následky,
nemáme zralou automatizaci. Máme automatické generování rizika.
Čtyři otázky, které stojí za to položit před automatizací rozhodnutí
Před svěřením rozhodnutí AI systému je dobré provést jednoduchou analýzu.
1. Co se stane, pokud se AI zmýlí?
To je základní otázka.
Ne každá chyba má stejné důsledky.
Pokud AI špatně zařadí newsletter, pravděpodobně se nic vážného nestane. Pokud nesprávně rozpozná pokus o podvod, může dojít k finanční ztrátě. Pokud chybně vyhodnotí zdravotní stav pacienta, důsledky mohou být mnohem vážnější.
Proto by úroveň autonomie měla být úměrná potenciálním následkům chyby.
2. Lze rozhodnutí snadno vrátit zpět?
To je jeden z nejdůležitějších, často opomíjených parametrů.
Představme si dva případy.
AI automaticky změní pořadí zobrazení produktů v e‑shopu. Chybu lze objevit a vrátit. Riziko je relativně malé.
Teď jiný příklad.
AI automaticky smaže uživatelský účet a odstraní všechna jeho data. Takové rozhodnutí může být výrazně těžší zvrátit.
Ještě jiná situace: AI automaticky pošle zákazníkovi výpověď smlouvy. Zde jsou důsledky ještě závažnější.
Proto by měla být vratnost rozhodnutí jedním ze základních kritérií při návrhu AI systémů.
3. Má rozhodnutí přímý dopad na člověka?
Pokud AI optimalizuje trasu dodávkového vozu, úroveň rizika může být relativně nízká.
Pokud ale systém hodnotí kandidáta do práce, schvaluje úvěr nebo analyzuje přístup ke konkrétní službě, situace vypadá zcela jinak.
Rozhodnutí týkající se lidí vyžadují zvláštní opatrnost. Nejen kvůli etice. Také kvůli předpisům, odpovědnosti organizace a riziku diskriminace.
V takových oblastech člověk nemusí být jen „posledním kliknutím“. Měl by mít reálnou možnost zpochybnit doporučení systému.
4. Může člověk systém účinně dohlížet?
Tato otázka je zákeřnější, než se zdá.
Představme si systém, který generuje 50 000 doporučení denně. Formálně je člověk může všechny schválit. Prakticky to není možné. Po čase začne zaměstnanec rozhodnutí akceptovat automaticky.
Vzniká pak fenomén zvaný automation bias - tendence nadměrně důvěřovat doporučením systému a považovat je za implicitně správná.
Člověk zůstává „v smyčce“. Ale v praxi přestává plnit kontrolní funkci. Stává se jen operátorem tlačítka „Schválit”.
To není skutečný Human-in-the-Loop.
Model hodnocení rizika rozhodnutí
V praxi lze použít jednoduchý hodnoticí model.
Každé rozhodnutí analyzujeme podle pěti parametrů:
1. Pravděpodobnost chyby
Jak často se systém může mýlit?
2. Rozsah následků
Jak vážná bude chyba?
3. Vratnost
Lze rozhodnutí rychle vrátit?
4. Dopad na člověka
Týká se rozhodnutí přímo práv, financí, zdraví nebo bezpečnosti člověka?
5. Možnost dohledu
Je člověk schopen proces efektivně monitorovat?
Čím vyšší je úroveň rizika, tím větší je potřeba účasti člověka. To ale neznamená, že každé vysoce rizikové rozhodnutí musí být přijímáno ručně. Znamená to, že systém by měl mít adekvátně navržené kontrolní mechanismy.
Úroveň 1 - přímá automatizace
To jsou nejjednodušší rozhodnutí.
Příklady:
- třídění zpráv,
- klasifikace dokumentů,
- generování souhrnů,
- doporučování produktů,
- přiřazování podnětů do kategorií.
AI může fungovat autonomně. Člověk nemusí schvalovat každé rozhodnutí. Systém by měl být ovšem monitorován.
Tento model se blíží k Human-on-the-Loop.
Úroveň 2 - AI doporučuje, člověk schvaluje
Zde AI analyzuje data a předkládá návrh.
Člověk učiní konečné rozhodnutí.
Příklady:
- doporučení výše slevy,
- návrh odpovědi na reklamaci,
- doporučení servisních kroků,
- hodnocení rizika transakce,
- návrh priority podnětu.
To je klasický Human-in-the-Loop.
Model se výborně hodí tam, kde AI může výrazně urychlit analýzu, ale konečné rozhodnutí vyžaduje lidskou zkušenost.
Úroveň 3 - AI funguje samostatně, ale s možností zásahu
Systém rozhoduje automaticky. Člověk jej však může zastavit nebo změnit.
Příkladem může být automatické blokování podezřelých transakcí. Systém detekuje netypický vzor a zablokuje operaci. Pokud klient nahlásí problém, pracovník může rozhodnutí ověřit.
V tomto modelu má klíčový význam:
- monitoring,
- alerty,
- možnost ruční intervence,
- logování rozhodnutí,
- nouzové mechanismy.
Úroveň 4 - plná autonomie
AI funguje bez průběžné účasti člověka.
Tento model by měl být vyhrazen pro procesy:
- opakující se,
- dobře definované,
- nízkorizikové,
- snadno monitorovatelné,
- s možností zvrácení.
Příkladem může být automatické škálování cloudových prostředků.
Systém detekuje zvýšené zatížení. Spustí další prostředky. Po poklesu provozu je vypne. Není potřeba, aby někdo schvaloval každé jednotlivé rozhodnutí.
Pokud však systém začne generovat nepředvídané náklady, měl by existovat mechanismus omezení jeho činnosti.
Autonomie by nikdy neměla znamenat absenci kontroly.
Příklad 1 - e‑commerce
Představme si internetový obchod.
AI analyzuje:
- historii nákupů,
- chování uživatele,
- sezónnost,
- ceny konkurence,
- dostupnost produktů.
Může doporučovat zákazníkovi produkty. To je relativně bezpečný proces.
Systém může fungovat autonomně. Ale co když má AI sama určovat ceny? Tady se situace komplikuje.
Dynamické stanovování cen může být automatizováno, ale mělo by fungovat v definovaných mezích.
Systém může mít:
- minimální cenu,
- maximální cenu,
- maximální změnu ceny za den,
- pravidla týkající se akcí.
Pokud by AI chtěla překročit stanovené limity, rozhodnutí může být předáno člověku.
To je příklad guardrails – omezení, která chrání provoz systému.
Příklad 2 - nábor
AI analyzuje životopisy kandidátů.
Může:
- vyextrahovat zkušenosti,
- uspořádat informace,
- porovnat kompetence s požadavky.
To může výrazně zrychlit práci náboráře.
Ale rozhodnutí: „Toto kandidáta vyřazujeme.“ je zcela jiné kategorie.
Pokud systém rozhoduje automaticky, může upevňovat chyby přítomné v historických datech.
Proto v HR procesech účast člověka může mít zásadní význam. AI může náborářům pomáhat, neměla by však automaticky rozhodovat o hodnotě člověka na základě neúplných dat.
Příklad 3 - logistika
AI systém plánuje dodávky.
Analyzuje:
- vzdálenosti,
- dopravní zácpy,
- počasí,
- dostupnost řidičů,
- pracovní dobu,
- náklady na palivo.
Může samostatně optimalizovat trasu.
Ale co když systém volí trasu, která je levnější, ale nebere v potaz lokální omezení? Nebo když optimalizuje čas dodání na úkor přetížení řidičů?
Proto by systém měl fungovat v rámci definovaných obchodních pravidel.
AI optimalizuje. Organizace definuje hranice. Člověk zasahuje, když systém vybočí z bezpečného rozsahu.
Příklad 4 - bankovnictví
AI může detekovat anomálie v transakcích.
Pokud systém odhalí netypickou operaci, může ji automaticky označit.
Co dál?
Možné jsou různé scénáře:
- pouhý alert pro pracovníka,
- dočasné pozastavení transakce,
- automatické zablokování,
- blokace vyžadující další ověření.
Volba závisí na úrovni rizika.
U podezřelé transakce malé částky lze zvolit automatizaci. U složitějších případů může být zapotřebí expertní analýza.
Právě proto by AI systémy měly mít mechanismy escalation — tedy předávání případu člověku, když úroveň nejistoty nebo rizika překročí nastavený práh.
Confidence score - ví AI, kdy si není jistá?
Jedním z užitečných mechanismů je využití úrovně jistoty.
Systém může odhadnout: „Moje doporučení má vysokou pravděpodobnost správnosti.”
V tom případě může být akce provedena automaticky.
Pokud však systém hodnotí své doporučení jako nejisté, proces může být předán člověku.
Například:
Confidence score > 95% Automatické provedení.
Confidence score 70-95% Doporučení pro člověka.
Confidence score < 70% Povinné ověření expertem.
Je ovšem třeba být opatrný.
Confidence score není automaticky důkazem správnosti. Model může být velmi sebejistý a přitom se mýlit. Proto by úroveň jistoty měla být jedním z hodnoticích prvků, nikoli jediným kritériem rozhodnutí.
Největší riziko: člověk, který přestal AI kontrolovat
Lze navrhnout systém s Human-in-the-Loop.
Lze přidat tlačítko: „Schválit rozhodnutí AI.”
Lze zaměstnat člověka, který bude kontrolovat.
A přesto vytvořit systém, který je nebezpečný.
Proč? Protože člověk může začít AI důvěřovat více než vlastní zkušenosti.
Pokud systém funguje správně tisíce případů, člověk přestane detailně kontrolovat ten tisícpřvý. To je přirozené.
Proto by dobrý systém neměl vyžadovat jen schválení. Měl by člověku dodat i kontext.
Například:
- proč AI učinila takové rozhodnutí,
- jaká data zohlednila,
- jaké alternativy zvážila,
- jaká je úroveň nejistoty,
- co se může stát po provedení rozhodnutí.
Pak člověk není jen „bezpečnostní brzdou”.
Stává se skutečným partnerem systému.
Human-in-the-Loop nesmí být fikcí
To je jedno z nejdůležitějších pravidel při návrhu AI systémů.
Pokud má člověk AI kontrolovat, musí mít:
- dostatečné znalosti,
- dostatek času,
- přístup k datům,
- možnost zpochybnit doporučení,
- možnost zastavit proces,
- jasnou odpovědnost.
Pokud může zaměstnanec jen kliknout „Schválit” nebo „Zamítnout”, ale nemá možnost ověřit, proč AI učinila rozhodnutí, jeho role je značně omezená.
Je ještě hůř, pokud systém funguje tak rychle, že člověk nestíhá analýzu. Formálně máme Human-in-the-Loop. Prakticky máme automatizaci s člověkem v dekorativní roli.
Praktický checklist - lze toto rozhodnutí svěřit AI?
Před automatizací je dobré odpovědět na následující otázky:
☐ Je rozhodnutí opakovatelné?
☐ Máme dostatečně kvalitní data?
☐ Dokážeme určit, kdy se AI mýlí?
☐ Je chyba akceptovatelná?
☐ Lze rozhodnutí vrátit?
☐ Má rozhodnutí přímý dopad na člověka?
☐ Existují jasná obchodní pravidla?
☐ Lze systém monitorovat?
☐ Může člověk zastavit činnost AI?
☐ Je jasné, kdo nese odpovědnost?
☐ Lze rozhodnutí vysvětlit?
☐ Má člověk dostatek času a znalostí, aby systém účinně dohlížel?
Čím více odpovědí zní „ne“, tím opatrněji je třeba k automatizaci přistupovat.
Slovníček pojmů
Automation Bias
Tendence člověka nadměrně důvěřovat doporučením automatického systému a považovat je za správná bez řádné verifikace.
Guardrails
Omezení a zabezpečovací mechanismy, které vymezují, co může AI systém dělat a co ne.
Confidence Score
Ukazatel vyjadřující úroveň jistoty modelu vůči výsledku nebo doporučení. Není to garance správnosti.
Escalation
Mechanismus předání případu člověku, když systém detekuje vysokou úroveň rizika, nejistoty nebo situaci přesahující nastavená pravidla.
Human Override
Možnost ručního přepsání rozhodnutí nebo akce provedené AI systémem.
Decision Reversibility
Vratnost rozhodnutí, tedy možnost zvrátit jeho účinky bez zásadních následků.
High-impact decision
Rozhodnutí, které může mít významný dopad na život, práva, možnosti nebo ekonomickou situaci člověka. V těchto případech jsou požadavky na dohled a odpovědnost obzvlášť důležité.
Nejdůležitější závěr
Ne každé rozhodnutí by mělo být automatizováno, ale ne každé rozhodnutí také vyžaduje člověka sedícího u počítače a schvalujícího každý jednotlivý krok.
Skutečným cílem návrhu AI systémů není volba mezi: „člověk rozhoduje” a „AI rozhoduje”.
Cílem je vytvořit vhodný model spolupráce.
AI by měla fungovat samostatně tam, kde je riziko nízké. Měla by doporučovat řešení tam, kde je potřeba lidská zkušenost. Měla by se zastavit a požádat o pomoc tam, kde jsou důsledky chyby příliš vážné. A člověk by měl vždy mít možnost převzít kontrolu, když situace přesáhne předpokládaný scénář.
Dobře navržený AI systém není ten, který přijímá co nejvíce rozhodnutí samostatně. Je to systém, který správně rozpozná, kdy by měl rozhodnout sám, kdy předložit doporučení a kdy říct: „Tentokrát potřebuji člověka”.
V další části přejdeme z úrovně jednotlivého rozhodnutí na úroveň celé organizace.
Protože i ten nejlépe navržený AI systém se může stát problémem, pokud firma neví, kdo za něj nese odpovědnost, kdo ho kontroluje a co dělat, když začne fungovat jinak, než bylo plánováno.
V další části se budeme zabývat AI Governance - tedy tím, jak vybudovat pravidla, odpovědnosti a kontrolní mechanismy nad umělou inteligencí v organizaci.
