V prvej časti našej série sme vysvetlili, čo je Human-in-the-Loop a prečo rozvoj umelej inteligencie neznamená, že človek by mal zmiznúť z rozhodovacieho procesu.
Predstavili sme si tri základné modely spolupráce:
- Human-in-the-Loop - človek aktívne participuje v rozhodovacom procese,
- Human-on-the-Loop - AI funguje samostatne, ale človek systém dohliada,
- Human-out-of-the-Loop - systém funguje autonómne, bez priebežnej zásahu človeka.
Teraz prichádza najdôležitejšia otázka: Odkiaľ vieme, ktorý model zvoliť?
Práve tu začína skutočná výzva.
Nestačí povedať: "Toto rozhodnutie je jednoduché, tak ho nechajme na AI."
Ani: "Toto rozhodnutie je dôležité, preto ho musí vždy schvaľovať človek."
Realita je komplikovanejšia.
Dobrý návrh AI systému by mal brať do úvahy okrem iného:
- úroveň rizika,
- náklady chyby,
- zvratiteľnosť rozhodnutia,
- vplyv na človeka,
- dostupnosť dát,
- možnosť vysvetliť doporučenie,
- frekvencia rozhodnutí,
- možnosť účinného dohľadu nad systémom.
Len analýza týchto prvkov umožní určiť, koľko autonómie môžeme bezpečne odovzdať AI.
Najdôležitejšia zásada: neautomatizuj rozhodnutia, ktoré nedokážeš kontrolovať
Nasadenie AI často začína otázkou: "Čo môžeme automatizovať?"
V zrelej organizácii by však otázka mala znieť: "Čo môžeme automatizovať a stále to efektívne kontrolovať?"
To je zásadný rozdiel.
Môžeme totiž vytvoriť systém, ktorý automaticky prijíma tisíce rozhodnutí denne. Technicky to môže fungovať perfektne.
Ale ak nikto nevie:
- prečo prijal konkrétne rozhodnutie,
- na akých dátach sa opieral,
- kedy začne robiť chyby,
- kto môže systém zastaviť,
- kto zodpovedá za následky,
nejde o zrelú automatizáciu. Ide o automatické generovanie rizika.
Štyri otázky, ktoré stojí za to položiť pred automatizáciou rozhodnutia
Pred odovzdaním rozhodovania systému AI je užitočné urobiť jednoduchú analýzu.
1. Čo sa stane, ak sa AI pomýli?
To je základná otázka.
Nie každá chyba má rovnaké následky.
Ak AI nesprávne klasifikuje newsletter, pravdepodobne sa nič vážne nestane. Akože ak nesprávne rozpozná podvodný pokus, môže vzniknúť finančná strata. Ak chybne posúdi zdravotný stav pacienta, následky môžu byť oveľa vážnejšie.
Preto by úroveň autonómie mala byť proporcionálna k potenciálnym následkom chyby.
2. Dá sa rozhodnutie ľahko vrátiť?
To je jeden z najdôležitejších, a často opomínaných parametrov.
Predstavme si dve situácie.
AI automaticky mení poradie zobrazovania produktov v e-shope. Chybu možno zistiť a vrátiť. Riziko je relatívne malé.
Teraz iný príklad.
AI automaticky zmaže používateľský účet a všetky jeho dáta. Takéto rozhodnutie môže byť oveľa ťažšie zvrátiteľné.
Ešte iná situácia: AI automaticky pošle zákazníkovi vypovedanie zmluvy. Tu sú následky ešte vážnejšie.
Preto by zvratiteľnosť rozhodnutia mala byť jedným zo základných kritérií pri navrhovaní AI systémov.
3. Má rozhodnutie priamy vplyv na človeka?
Ak AI optimalizuje trasu dodávkového vozidla, úroveň rizika môže byť relatívne nízka.
Ak však systém hodnotí kandidáta do práce, prideľuje úver alebo posudzuje prístup k určitej službe, situácia vyzerá úplne inak.
Rozhodnutia týkajúce sa ľudí vyžadujú osobitnú opatrnosť. Nielen z hľadiska etiky. Tiež kvôli legislatíve, zodpovednosti organizácie a riziku diskriminácie.
V takých oblastiach by človek nemusel byť len „posledným kliknutím“. Mal by mať reálnu možnosť spochybniť odporúčanie systému.
4. Môže človek efektívne dohliadať na systém?
Táto otázka je zákernejšia, než sa zdá.
Predstavme si systém, ktorý generuje 50 000 odporúčaní denne. Formálne ich človek môže všetky schváliť. Prakticky je to nemožné. Po čase pracovník začne rozhodnutia akceptovať automaticky.
Vzniká potom jav nazývaný automation bias - tendencia nadmerne dôverovať odporúčaniam systému a považovať ich za automaticky správne.
Človek je stále „v slučke“. Ale v skutočnosti prestáva plniť kontrolnú funkciu. Stáva sa len operátorom tlačidla „Schváliť“.
To nie je pravý Human-in-the-Loop.
Model hodnotenia rizika rozhodnutia
V praxi je možné použiť jednoduchý model hodnotenia.
Každé rozhodnutie analyzujeme z hľadiska piatich parametrov:
1. Pravdepodobnosť chyby
Ako často sa môže systém pomýliť?
2. Rozsah následkov
Ako vážna bude chyba?
3. Zvratiteľnosť
Dá sa rozhodnutie rýchlo vrátiť?
4. Vplyv na človeka
Dotýka sa rozhodnutie priamo práv, financií, zdravia alebo bezpečnosti človeka?
5. Možnosť dohľadu
Je človek schopný efektívne monitorovať proces?
Čím vyššia úroveň rizika, tým väčšia potreba účasti človeka. Neznamená to však, že každé vysokorizikové rozhodnutie musí byť prijaté ručne. Znamená to, že systém by mal mať adekvátne navrhnuté kontrolné mechanizmy.
Úroveň 1 - priama automatizácia
Sú to najjednoduchšie rozhodnutia.
Príklady:
- triedenie správ,
- klasifikácia dokumentov,
- generovanie súhrnov,
- odporúčanie produktov,
- priraďovanie hlásení do kategórií.
AI môže fungovať autonómne. Človek nemusí schvaľovať každé rozhodnutie. Systém by však mal byť monitorovaný.
Tento model je blízky Human-on-the-Loop.
Úroveň 2 - AI odporúča, človek schvaľuje
Tu AI analyzuje dáta a predkladá návrh.
Človek rozhodne.
Príklady:
- návrh výšky zľavy,
- návrh odpovede na reklamáciu,
- odporúčanie servisných krokov,
- hodnotenie rizika transakcie,
- návrh priority hlásenia.
To je klasický Human-in-the-Loop.
Model veľmi dobre funguje tam, kde AI môže výrazne zrýchliť analýzu, ale rozhodnutie vyžaduje ľudskú skúsenosť.
Úroveň 3 - AI koná samostatne, ale s možnosťou zásahu
Systém prijíma rozhodnutie automaticky. Človek ho však môže zastaviť alebo zmeniť.
Príkladom môže byť automatické blokovanie podozrivých transakcií. Systém zistí netypický vzor a zablokuje operáciu. Ak klient nahlási problém, pracovník môže rozhodnutie overiť.
V tomto modeli majú kľúčový význam:
- monitoring,
- alerty,
- možnosť manuálnej intervencie,
- logovanie rozhodnutí,
- núdzové mechanizmy.
Úroveň 4 - plná autonómia
AI funguje bez priebežnej účasti človeka.
Tento model by mal byť vyhradený pre procesy:
- opakujúce sa,
- dobre definované,
- nízkeho rizika,
- ľahko monitorovateľné,
- možné na zvrátenie.
Príkladom môže byť automatické škálovanie cloudovej infraštruktúry.
Systém zistí zvýšené zaťaženie. Spustí ďalšie zdroje. Po poklese ich vypne. Nie je potrebné schvaľovať každé jednotlivé rozhodnutie.
Ak však systém začne generovať neočakávané náklady, mal by existovať mechanizmus na obmedzenie jeho činnosti.
Autonómia by nikdy nemala znamenať absenciu kontroly.
Príklad 1 - e-commerce
Predstavme si internetový obchod.
AI analyzuje:
- históriu nákupov,
- správanie používateľa,
- sezónnosť,
- ceny konkurencie,
- dostupnosť produktov.
Môže odporučiť zákazníkovi produkty. To je relatívne bezpečný proces.
Systém môže fungovať autonómne. Ale čo ak má AI sama stanovovať ceny? Tu sa situácia komplikuje.
Dynamické ceny môžu byť automatizované, no mali by fungovať v stanovených hraniciach.
Systém môže mať:
- minimálnu cenu,
- maximálnu cenu,
- maximálnu zmenu ceny za deň,
- pravidlá týkajúce sa promo akcií.
Ak chce AI prekročiť určité limity, rozhodnutie môže byť odovzdané človeku.
To je príklad guardrails, teda obmedzení zabezpečujúcich činnosť systému.
Príklad 2 - nábor
AI analyzuje životopisy kandidátov.
Môže:
- vyzdvihnúť skúsenosti,
- usporiadať informácie,
- priradiť kompetencie k požiadavkám.
To môže výrazne urýchliť prácu recruiterov.
Ale rozhodnutie: "Tohto kandidáta odmietame." je úplne iný druh rozhodnutia.
Ak systém rozhoduje automaticky, môže upevňovať chyby prítomné v historických dátach.
Preto v HR procesoch môže mať účasť človeka fundamentálny význam. AI môže podporovať recruitera. Nemala by automaticky rozhodovať o hodnote človeka na základe neúplných dát.
Príklad 3 - logistika
AI systém plánuje dodávky.
Analyzuje:
- vzdialenosti,
- dopravné zápchy,
- počasie,
- dostupnosť vodičov,
- pracovný čas,
- náklady na palivo.
Môže samostatne optimalizovať trasu.
Ale čo ak systém vyberie trasu, ktorá je síce lacnejšia, no nerešpektuje miestne obmedzenia? Alebo ak optimalizuje čas dodania na úkor nadmerného zaťaženia vodičov?
Preto by systém mal fungovať v rámci vopred definovaných biznis pravidiel.
AI optimalizuje. Organizácia definuje hranice. Človek zasiahne, keď systém prekročí bezpečný rozsah.
Príklad 4 - bankovníctvo
AI môže detegovať anomálie v transakciách.
Ak systém zistí netypickú operáciu, môže ju automaticky označiť.
A čo ďalej?
Možné sú rôzne scenáre:
- len alert pre pracovníka,
- dočasné pozastavenie transakcie,
- automatické zablokovanie,
- blokáda vyžadujúca dodatočnú verifikáciu.
Voľba závisí od úrovne rizika.
Pri podozrivej transakcii s malou sumou možno nasadiť automatizáciu. Pri zložitejších prípadoch môže byť potrebná expertízna analýza.
Práve preto by AI systémy mali mať mechanizmy escalation, teda odovzdávanie prípadu človeku, keď úroveň neistoty alebo rizika prekročí stanovený prah.
Confidence score - vie AI, keď si nie je istá?
Jedným z užitočných mechanizmov je použitie úrovne istoty.
Systém môže ohodnotiť: "Moje odporúčanie má vysokú pravdepodobnosť správnosti."
Vtedy môže byť akcia vykonaná automaticky.
Ak však systém hodnotí svoje odporúčanie ako neiste, proces môže byť odovzdaný človeku.
Napríklad:
Confidence score > 95% Automatické vykonanie.
Confidence score 70-95% Odporúčanie pre človeka.
Confidence score < 70% Povinná expertízna verifikácia.
Treba však zachovať opatrnosť.
Confidence score nie je automaticky dôkazom pravdivosti. Model môže byť veľmi sebavedomý a zároveň sa mýliť. Preto by úroveň istoty mala byť jedným z prvkov hodnotenia, nie jediným kritériom rozhodovania.
Najväčšie riziko: človek, ktorý prestal kontrolovať AI
Môžeme navrhnúť systém s Human-in-the-Loop.
Môžeme pridať tlačidlo: "Schváliť rozhodnutie AI."
Môžeme zamestnať človeka na kontrolu.
A napriek tomu vytvoriť systém, ktorý je nebezpečný.
Prečo? Pretože človek môže začať dôverovať AI viac než vlastnému úsudku.
Ak systém funguje správne 1000-krát, človek prestane dôkladne analyzovať 1001. Je to prirodzené.
Preto dobrý systém by nemal len vyžadovať schválenie. Mal by človeku poskytovať aj vhodný kontext.
Napríklad:
- prečo AI prijala také rozhodnutie,
- aké dáta zohľadnila,
- aké alternatívy zvážila,
- aká je úroveň neistoty,
- čo sa môže stať po vykonaní rozhodnutia.
Vtedy človek nie je len "bezpečnostnou brzdou".
Stáva sa skutočným partnerom systému.
Human-in-the-Loop nemôže byť fikciou
To je jedno z najdôležitejších pravidiel pri návrhu AI systémov.
Ak má človek kontrolovať AI, musí mať:
- dostatočné vedomosti,
- dostatočný čas,
- prístup k údajom,
- možnosť spochybniť odporúčanie,
- možnosť zastaviť proces,
- jasnú zodpovednosť.
Ak pracovník môže len kliknúť "Schváliť" alebo "Odmietnuť", ale nemá možnosť overiť, prečo AI rozhodla, jeho rola je značne obmedzená.
Ešte horšie je, ak systém funguje tak rýchlo, že človek nestíha analyzovať. Formálne máme Human-in-the-Loop. Prakticky máme automatizáciu s človekom v dekoratívnej úlohe.
Praktický checklist - môžeme toto rozhodnutie zveriť AI?
Pred automatizáciou je dobré odpovedať na nasledujúce otázky:
☐ Je rozhodnutie opakovateľné?
☐ Máme dostatočne kvalitné dáta?
☐ Dokážeme určiť, kedy sa AI mýli?
☐ Je chyba akceptovateľná?
☐ Dá sa rozhodnutie vrátiť?
☐ Má rozhodnutie priamy vplyv na človeka?
☐ Existujú jasné biznis pravidlá?
☐ Je systém monitorovateľný?
☐ Môže človek zastaviť činnosť AI?
☐ Je jasné, kto nesie zodpovednosť?
☐ Dá sa rozhodnutie vysvetliť?
☐ Má človek dostatok času a znalostí na efektívny dohľad nad systémom?
Čím viac odpovedí znie "nie", tým opatrnejšie by sme mali pristupovať k automatizácii.
Slovník pojmov
Automation Bias
Tendencia človeka nadmerne dôverovať odporúčaniam automatického systému a považovať ich za správne bez adekvátnej verifikácie.
Guardrails
Obmedzenia a ochranné mechanizmy, ktoré určujú, čo môže AI systém robiť a čo nie.
Confidence Score
Ukazovateľ určujúci úroveň istoty modelu vo výsledok alebo odporúčanie. Netreba ho zamieňať so zárukou správnosti.
Escalation
Mechanizmus odovzdania prípadu človeku, ak systém deteguje vysokú úroveň rizika, neistoty alebo situáciu mimo stanovených pravidiel.
Human Override
Možnosť manuálneho nahradenia rozhodnutia alebo akcie vykonanej AI systémom.
Decision Reversibility
Zvratiteľnosť rozhodnutia, teda možnosť vrátiť jeho následky bez podstatných dôsledkov.
High-impact decision
Rozhodnutie, ktoré môže mať významný dopad na život, práva, možnosti alebo ekonomickú situáciu človeka. V takých prípadoch sú požiadavky na dohľad a zodpovednosť obzvlášť dôležité.
Najdôležitejší záver
Nie každé rozhodnutie by malo byť automatizované, ale nie každé rozhodnutie tiež nepotrebuje človeka sediaceho pri počítači a schvaľujúceho každú jednotlivú operáciu.
Skutočným cieľom navrhovania AI systémov nie je výber medzi: "človek rozhoduje" a "AI rozhoduje".
Cieľom je vytvoriť vhodný model spolupráce.
AI by mala fungovať samostatne tam, kde je riziko nízke. Mala by odporúčať riešenia tam, kde je potrebná ľudská skúsenosť. Mala by sa zastaviť a požiadať o pomoc tam, kde sú následky chyby príliš vážne. A človek by mal vždy mať možnosť prevziať kontrolu, keď situácia presahuje predpokladaný scenár.
Dobre navrhnutý AI systém nie je ten, ktorý prijme čo najviac rozhodnutí samostatne. Je to systém, ktorý dokáže správne rozpoznať, kedy má rozhodnúť sám, kedy má predložiť odporúčanie a kedy povedať: "Tentokrát potrebujem človeka".
V ďalšej časti prejdeme z úrovne jednotlivého rozhodnutia na úroveň celej organizácie.
Pretože aj najlepšie navrhnutý AI systém sa môže stať problémom, ak firma nevie, kto zaň zodpovedá, kto ho dohliada a čo urobiť, keď začne fungovať inak, než sa predpokladalo.
V ďalšej časti sa budeme venovať AI Governance - teda tomu, ako vytvoriť pravidlá, zodpovednosť a kontrolné mechanizmy nad umelou inteligenciou v organizácii.
