V předchozí části naší série jsme odpověděli na otázku, kdy může AI fungovat autonomně a kdy potřebuje člověka.
Ukázali jsme, že úroveň autonomie by měla záviset mimo jiné na:
- riziku,
- nákladech chyby,
- zvratnosti rozhodnutí,
- dopadu na člověka,
- kvalitě dat,
- možnostech monitorování systému.
Už také víme, že samotné přidání člověka do procesu nezaručuje bezpečnost.
Můžete mít zaměstnance, který schvaluje rozhodnutí AI, ale nedáte mu dost času je analyzovat. Můžete vyžadovat schválení, ale neukazovat, proč systém učinil konkrétní rozhodnutí. Můžete vytvořit systém, který funguje správně rok a pak začne generovat chybné výsledky, protože se změnila data, chování uživatelů nebo tržní podmínky.
Proto se v určitém okamžiku objevuje otázka mnohem širší než: „Funguje AI správně?“
Zní: „Dokážeme jako organizace kontrolovat AI, kterou nasadíme?“
A právě tím se zabývá AI Governance.
Co je AI Governance?
AI Governance lze nejjednodušeji popsat jako systém pravidel, procesů, odpovědností a kontrolních mechanismů týkajících se využívání umělé inteligence v organizaci.
Není to jeden dokument. Není to jedna procedura. Není to ani výlučně právní záležitost.
Dospělé AI Governance zahrnuje mnoho oblastí:
- strategii využití AI,
- bezpečnost,
- ochranu dat,
- řízení rizik,
- soulad s regulacemi,
- odpovědnost,
- monitorování modelů,
- kontrolu přístupu,
- audit,
- řízení změn,
- reakce na incidenty.
Lze tedy říci, že AI Governance odpovídá na otázku: „Jak zajistit, aby umělá inteligence fungovala v souladu s cíli organizace, platnými pravidly a akceptovatelnou úrovní rizika?“
To je obzvlášť důležité v momentě, kdy AI přestává být pouze nástrojem používaným zaměstnancem a začíná se stát součástí obchodních procesů.
AI Governance není brzda pro inovace
Jedno z nejčastějších nedorozumění je považovat governance za byrokracii.
V takovém přístupu se objevuje obava: „Když vytvoříme příliš mnoho pravidel, nikdo nebude chtít nasazovat AI.“
Problém je v tom, že absence pravidel má také svou cenu.
Představme si firmu, v níž:
- každý zaměstnanec může využívat libovolný AI nástroj,
- nikdo neví, jaká data putují do modelů,
- není jasné, které procesy jsou automatizované,
- neexistuje seznam používaných modelů,
- nikdo nemonitoruje výsledky,
- nikdo neodpovídá za chyby.
Zpočátku může všechno fungovat skvěle. Až do chvíle, kdy nastane něco nepředvídaného.
AI Governance by tedy nemělo AI blokovat. Mělo by vytvářet bezpečný rámec, ve kterém se může AI rychle vyvíjet.
Dobře navržené governance umožňuje odpovědět:
- co můžeme dělat,
- co nesmíme dělat,
- kdo rozhoduje,
- kdo odpovídá za systém,
- jak monitorujeme riziko,
- co děláme, když se něco pokazí.
To není brzda. To je bezpečnostní pás.
Kdo odpovídá za rozhodnutí AI?
To je jedna z nejtěžších otázek.
Představme si, že systém AI doporučí zamítnutí žádosti klienta. Kdo je za toto rozhodnutí odpovědný? Programátor? Dodavatel modelu? Firma, která systém nasadila? Osoba, která doporučení schválila? Manažer procesu? Nebo představenstvo?
Odpověď není vždy jednoduchá...
Právě proto musí být odpovědnost určena před nasazením systému, a ne až po vzniku problému.
V praxi by organizace měla jasně určit:
- kdo je vlastníkem procesu,
- kdo je vlastníkem systému,
- kdo odpovídá za data,
- kdo odpovídá za model,
- kdo schvaluje změny,
- kdo monitoruje fungování,
- kdo může systém zastavit,
- kdo rozhoduje v nouzové situaci.
U složitých AI systémů nestačí říct: „To udělala umělá inteligence.“
AI není subjektem, který by nesl odpovědnost za obchodní proces. Odpovědnost zůstává na lidech a v organizaci.
AI Governance začíná inventářem
Jedním z prvních kroků by mělo být vytvoření AI Inventory, tedy registru systémů a aplikací AI používaných v organizaci.
Zní to banálně? Ve mnoha firmách to může být překvapivě obtížné.
Zaměstnanci používají:
- ChatGPT,
- nástroje na generování obsahu,
- AI v CRM systémech,
- nástroje pro analýzu dokumentů,
- asistenty pro vývojáře,
- automatizace,
- AI agenti.
Část z těchto řešení může být oficiálně nasazena firmou. Jiné mohou používat zaměstnanci bez formálního povědomí organizace.
Tento fenomén se často označuje jako Shadow AI.
Shadow AI - když AI funguje mimo kontrolu firmy
Shadow AI je analogií dříve známého pojmu Shadow IT. Zaměstnanec najde nástroj, který mu pomáhá pracovat rychleji. Začne ho používat.
Někdo nekontroluje:
- jaká data jsou odesílána,
- kde jsou zpracovávána,
- kdo k nim má přístup,
- jak dlouho jsou uchovávána,
- zda informace mohou být použity k trénování modelů.
Z pohledu zaměstnance vše vypadá skvěle. Z pohledu organizace může vzniknout vážné riziko.
Proto zákaz používání AI není vždy dobrým řešením. Lepším přístupem je vytvoření jasných pravidel.
Zaměstnanec by měl vědět:
- ze kterých nástrojů může čerpat,
- jaká data nesmí odesílat,
- kdy je vyžadováno schválení,
- jaká řešení firma doporučuje.
Lépe vytvořit bezpečnou cestu používání AI než předstírat, že zaměstnanci ji nebudou používat.
Data - základ odpovědného AI
Nelze mluvit o governance bez řeči o datech. AI systém může být velmi dobrý.
Ale jestliže data jsou:
- chybná,
- neaktuální,
- nekompletní,
- nekonzistentní,
- špatně popsaná,
mohou být problematické i výsledky systému.
V organizaci by proto měla existovat jasná pravidla týkající se:
- zdrojů dat,
- kvality dat,
- přístupu,
- uchovávání,
- retence,
- mazání,
- anonymizace,
- pseudonymizace,
- kontroly využití dat.
Zvláštní význam má ochrana osobních údajů.
Ne každá informace, kterou firma vlastní, by měla putovat do AI modelu.
A i když může být zpracována, je třeba vědět:
- proč?
- na jakém právním základu?
- jakým způsobem?
- po jakou dobu?
- kdo k nim má přístup?
Právě proto by nasazení AI měly navrhovat společně týmy technologické, obchodní, právní a bezpečnostní.
AI Act - proč by se firmy měly zajímat?
V Evropské unii je rozvoj umělé inteligence také předmětem regulace.
Nejdůležitějším příkladem je AI Act, tedy unijní nařízení týkající se umělé inteligence. Jedním z klíčových prvků tohoto přístupu je klasifikace AI systémů podle úrovně rizika.
Ve zjednodušení lze mluvit o:
- systémech představujících nepřijatelné riziko,
- systémech s vysokým rizikem,
- systémech podléhajících určitým povinnostem transparentnosti,
- systémech s omezeným nebo minimálním rizikem.
Neznamená to, že každá firma musí vytvořit obrovský compliance tým.
Znamená to ale, že by organizace měly vědět, jaké typy AI systémů používají a jaké povinnosti z toho mohou plynout.
Je také dobré pamatovat, že regulace se netýká pouze modelu samotného. Důležitý je i způsob využití AI.
Ten samý model může být použit k vygenerování popisu produktu nebo k podpoře procesu, který ovlivňuje lidská práva. Technologie je stejná. Riziko je úplně jiné.
Proto by governance měla analyzovat především aplikaci systému, ne jen jeho název nebo výrobce.
Explainable AI - proč by se měl systém umět vysvětlit?
Pokud AI činí rozhodnutí, která ovlivňují byznys nebo člověka, je přirozené se ptát: „Proč?“
Proč systém označil transakci za podezřelou?
Proč zamítl dokument?
Proč navrhl konkrétní cenu?
Proč nasměroval klienta do určitého procesu?
Právě zde přichází Explainable AI (XAI). Je to soubor metod a přístupů, které pomáhají porozumět, jak model dospěl k výsledku. Neznamená to vždy ukázat celý vnitřní proces modelu.
Někdy stačí ukázat:
- klíčové faktory ovlivňující výsledek,
- data použitá k analýze,
- úroveň jistoty,
- nejdůležitější předpoklady,
- alternativní scénáře.
Pro obchodního uživatele je to často důležitější než technický popis modelu.
Logging - paměť AI systému
Pokud AI činí rozhodnutí, organizace by měla mít možnost reprodukovat, co se stalo. Proto je logování tak důležité.
V závislosti na typu systému stojí za to zaznamenávat:
- kdy byla operace provedena,
- jaký model byl použit,
- jaká verze modelu běžela,
- jaká vstupní data byla použita,
- jaký výsledek byl vygenerován,
- jaké rozhodnutí bylo učiněno,
- zda člověk výsledek schválil,
- zda bylo rozhodnutí změněno,
- kdo změnu provedl.
To umožní odpovědět na otázku: „Co přesně se v systému stalo?“
Bez adekvátního logování může být analýza incidentu velmi obtížná. A u autonomních systémů může být dokonce nemožná.
Monitoring - AI není nasazení „nastav a zapomeň“
To je jeden z nejdůležitějších prvků celé skládačky.
Model může fungovat správně v den nasazení. Neznamená to, že bude fungovat stejně dobře za rok.
Mění se:
- data,
- chování uživatelů,
- tržní podmínky,
- produkty,
- procesy,
- právo.
Může se také změnit chování samotného systému. Proto je třeba monitorovat nejen technickou infrastrukturu, ale i kvalitu rozhodnutí.
V závislosti na použití je vhodné sledovat:
- přesnost,
- počet chyb,
- úroveň jistoty,
- podíl rozhodnutí předaných člověku,
- počet zásahů člověka,
- počet stížností,
- odchylky mezi doporučením AI a rozhodnutím experta.
Pokud najednou člověk začne odmítat 40 % doporučení AI místo dřívějších 5 %, může to být signál, že se něco změnilo.
Model stále funguje. Ale jeho obchodní kvalita už nemusí být vyhovující.
Model Drift - když se svět mění rychleji než model
Jedním z důležitých problémů je model drift, tedy zhoršení výkonu modelu vlivem změn v datech nebo prostředí, ve kterém model funguje.
Příklad?
Model předpovídá poptávku po produktech na základě dat z posledních pěti let.
Najednou se mění chování spotřebitelů.
Objevuje se nový trend.
Mění se ekonomická situace.
Model stále používá historické vzorce.
Problém je v tom, že svět už nevypadá stejně.
AI „neví“, že se realita změnila.
Proto musí být systém monitorován a modely pravidelně vyhodnocovány a případně aktualizovány.
Guardrails - hranice, které AI nesmí překročit
V předchozí části jsme zmiňovali guardrails. V kontextu AI Governance mají ještě větší význam.
Guardrails mohou určovat:
- jaká data může AI využívat,
- jaké akce může provádět,
- jaké akce nesmí provádět,
- jaké hodnoty může měnit,
- kdy je vyžadováno schválení člověkem,
- kdy se systém musí zastavit.
Například AI agent může mít přístup do objednávkového systému. Může zkontrolovat dostupnost produktu. Může připravit objednávku. Ale nesmí sám schválit nákup nad 10 000 Kč. Pokud částka překročí limit, systém předá záležitost člověku.
To je příklad dobře navržené hranice autonomie.
Kill Switch - systém musí mít tlačítko STOP
Zní to banálně. Ale je to nesmírně důležité.
Každý autonomní systém by měl mít mechanismus nouzového zastavení.
Pokud:
- model začne generovat chybné rozhodnutí,
- systém provádí neobvyklé operace,
- objeví se bezpečnostní incident,
- vstupní data jsou nesprávná,
organizace by měla být schopna systém zastavit. Ne zítra. Ne po odeslání ticketu na support. Okamžitě!
V závislosti na architektuře může jít o:
- vypnutí agenta,
- zablokování přístupu k nástrojům,
- zastavení workflow,
- přepnutí do manuálního režimu,
- rollback na předchozí verzi.
Autonomie bez možnosti zastavení je velmi riziková.
Incident Response pro AI
Organizace už léta mají procedury pro reakci na výpadky systémů.
V případě AI potřebujeme navíc scénáře týkající se chybných rozhodnutí modelů.
Co děláme, když:
- AI začne generovat nesprávná doporučení?
- Agent provede chybnou akci?
- Model začne vykazovat nežádoucí chování?
- Vstupní data se ukážou být chybné?
- Systém poruší stanovená pravidla?
Měl by existovat jasně definovaný proces: Detekce → zastavení → analýza → korekce → obnovení → monitoring
To je obzvlášť důležité u systémů, které fungují autonomně.
Kdo by měl odpovídat za AI v organizaci?
Neexistuje univerzální odpověď.
V závislosti na velikosti firmy se mohou podílet:
- představenstvo,
- CTO,
- CIO,
- CISO,
- právní oddělení,
- compliance,
- Data Protection Officer,
- vlastníci procesů,
- IT týmy,
- data scientists,
- ML inženýři,
- product manageři,
- obchodní uživatelé.
Důležité je, aby odpovědnost nebyla roztříštěná.
„AI je společná pro všechny“ často v praxi znamená: „Nikdo za ni neodpovídá.“
Proto by každá důležitá AI iniciativa měla mít jasně určeného vlastníka.
RACI pro AI systémy
Užitečným nástrojem může být klasický model RACI.
Umožňuje definovat:
Responsible - kdo úkol vykonává?
Accountable - kdo nese konečnou odpovědnost?
Consulted - koho je třeba konzultovat?
Informed - koho je třeba informovat?
Například pro AI systém podporující zákaznický servis:
- IT odpovídá za infrastrukturu,
- data tým za data,
- vlastník procesu za způsob využití AI,
- compliance za posouzení regulačních požadavků,
- byznys za akceptaci řešení.
Díky tomu je v případě problému jasné, kdo má zareagovat.
AI Governance v malé firmě
AI Governance nemusí znamenat vytváření velkého výboru.
Malá firma může začít s několika jednoduchými prvky:
1. Seznam AI nástrojů
Vědět, co používáme.
2. Pravidla týkající se dat
Vědět, co nesmíme posílat do externích nástrojů.
3. Klasifikace rizika
Určit, které použití je nízkého, středního a vysokého rizika.
4. Vlastník AI
Určit osobu odpovědnou za koordinaci.
5. Pravidla Human-in-the-Loop
Definovat, kdy rozhodnutí vyžaduje člověka.
6. Monitoring
Kontrolovat, zda systém stále funguje podle předpokladů.
To už je hodně.
Nejdůležitější je povědomí.
AI Governance ve velké organizaci
Ve větší firmě je situace složitější.
Mohou být potřeba:
- AI Governance Board,
- registr modelů,
- kategorizace rizik,
- proces schvalování nových aplikací,
- datová politika,
- monitorování modelů,
- audity,
- postupy pro incidenty,
- kontrolu přístupu,
- řízení dodavatelů AI,
- pravidelné přezkoumání.
Ve velkých organizacích by governance mělo být také integrováno s existujícími procesy:
- IT Governance,
- Security Governance,
- Data Governance,
- Risk Management,
- Compliance.
AI nefunguje ve vakuu.
Stává se dalším prvkem celkového systému řízení organizace.
Nejčastější chyby v AI Governance
Chyba 1 - governance se objeví až po nasazení
Nejprve nasadíme AI.
Později přemýšlíme, kdo za ni odpovídá.
To je obráceně.
Chyba 2 - governance je omezené na dokument
AI politika sama o sobě nic nevyřeší.
Pokud ji nikdo nepoužívá, zůstane to jen dokument.
Chyba 3 - odpovědnost je přiřazena výlučně IT
AI ovlivňuje byznys, právo, bezpečnost a lidi.
Nesmí to být jen problém technologického oddělení.
Chyba 4 - chybějící monitoring
Model je nasazen.
Všichni na něj zapomenou.
Po roce se ukáže, že systém funguje úplně jinak než zpočátku.
Chyba 5 - chybí možnost zastavit AI
Pokud systém běží autonomně, ale nikdo ho nemůže rychle zastavit, organizace systém nekontroluje.
Praktický checklist AI Governance
Měla by organizace mít:
☐ registr používaných AI systémů,
☐ určeného vlastníka každého významného systému,
☐ klasifikaci úrovně rizika,
☐ pravidla týkající se dat,
☐ politiku používání AI,
☐ pravidla pro Shadow AI,
☐ mechanismy kontroly přístupu,
☐ logování činností systému,
☐ monitoring kvality,
☐ postup pro reakci na incidenty,
☐ možnost zastavit systém,
☐ pravidla Human-in-the-Loop,
☐ pravidelné přezkoumání modelů,
☐ posouzení regulačních požadavků,
☐ jasná pravidla odpovědnosti.
Pokud je většina odpovědí „ne“, firma pravděpodobně ještě nemá zralé AI Governance.
Slovníček pojmů
AI Governance
Soubor pravidel, procesů, odpovědností a kontrolních mechanismů týkajících se navrhování, nasazení a využívání umělé inteligence.
Shadow AI
Neformální nebo neautorizované používání AI nástrojů zaměstnanci mimo oficiální proces řízení organizace.
AI Inventory
Registr systémů, modelů a aplikací AI používaných v organizaci.
Model Drift
Zhoršení kvality fungování modelu v důsledku změn v datech nebo prostředí, ve kterém model funguje.
Explainable AI (XAI)
Přístupy a metody umožňující lepší porozumění faktorům ovlivňujícím výsledky AI modelů.
AI Audit
Hodnocení AI systému z hlediska jeho fungování, bezpečnosti, souladu, kvality dat, rizik a splnění požadavků.
Guardrails
Omezení definující, jaké akce může AI systém provádět a jakých nesmí.
Kill Switch
Mechanismus umožňující rychlé zastavení systému nebo omezení jeho činnosti v nouzové situaci.
AI Incident
Událost související s AI systémem, která může vést k chybám, narušení bezpečnosti, neshodě nebo jiným nežádoucím důsledkům.
Nejdůležitější závěr
Human-in-the-Loop nám říká: „Člověk by měl zůstat součástí procesu.“
AI Governance jde o krok dál.
Říká: „Organizace musí vědět, jak tento proces kontrolovat.“
To je zásadní rozdíl.
Můžeme vytvořit nejpokročilejšího AI agenta. Můžeme mu dát přístup k systémům. Můžeme mu povolit plánovat a vykonávat akce.
Ale pokud nevíme:
- co dělá,
- proč to dělá,
- kdo za něj odpovídá,
- na jakých datech funguje,
- kdy se začne mýlit,
- jak ho zastavit,
nevytvořili jsme inteligentní systém. Vytvořili jsme systém, který neumíme kontrolovat.
A ve světě s rostoucím počtem autonomních agentů může být právě kontrola jednou z nejdůležitějších konkurenčních výhod organizace.
V poslední, čtvrté části série přejdeme od pravidel k architektuře.
Ukážeme, jak může vypadat AI systém navržený s ohledem na bezpečnost, kontrolu a odpovědnost - od modelu a agenta, přes rozhodovací vrstvu a obchodní pravidla až po workflow, monitoring, Human Override a nouzové mechanismy.
Protože nakonec ta nejdůležitější otázka nezní: „Dokážeme postavit autonomního AI agenta?“
Dnes to dokážeme čím dál častěji.
Otázka zní: „Dokážeme postavit agenta, nad kterým stále máme kontrolu?“
