V predchádzajúcej časti našej série sme odpovedali na otázku, kedy môže AI fungovať samostatne a kedy potrebuje človeka.
Ukázali sme, že úroveň autonómie by mala závisieť okrem iného od:
- rizika,
- nákladov chyby,
- obrátiteľnosti rozhodnutia,
- dopadu na človeka,
- kvality dát,
- možnosti monitorovania systému.
Vieme už tiež, že samotné vloženie človeka do procesu nezaručuje bezpečnosť.
Môžete mať zamestnanca, ktorý schvaľuje rozhodnutia AI, ale nedáte mu dosť času na ich analýzu. Môžete požadovať schválenie, ale neukázať, prečo systém dospel k určitému rozhodnutiu. Môžete vytvoriť systém, ktorý funguje správne rok a potom začne generovať chybné výsledky, pretože sa zmenili dáta, správanie používateľov alebo trhové podmienky.
Preto sa v určitom momente objaví otázka oveľa väčšia než: "Funguje AI správne?"
Znie takto: "Dokážeme ako organizácia kontrolovať AI, ktorú sme nasadili?"
A presne tým sa zaoberá AI Governance.
Čo je to AI Governance?
AI Governance možno najjednoduchšie definovať ako systém pravidiel, procesov, zodpovedností a kontrolných mechanizmov týkajúcich sa používania umelej inteligencie v organizácii.
Nie je to jeden dokument. Nie je to jedna procedúra. Nie je to ani výlučne právna otázka.
Dospelé AI Governance zahŕňa mnoho oblastí:
- stratégiu využívania AI,
- bezpečnosť,
- ochranu dát,
- manažment rizík,
- regulačnú súladnosť,
- zodpovednosť,
- monitorovanie modelov,
- kontrolu prístupu,
- audit,
- riadenie zmien,
- reakciu na incidenty.
Môžeme teda povedať, že AI Governance odpovedá na otázku: "Ako zabezpečiť, aby umelá inteligencia fungovala v súlade s cieľmi organizácie, platnými pravidlami a prijateľnou úrovňou rizika?"
To je obzvlášť dôležité v momente, keď AI prestáva byť jedným nástrojom používaným zamestnancom a začína sa stávať súčasťou biznisových procesov.
AI Governance nie je brzda inovácií
Jedným z najčastejších nedorozumení je vnímanie governance ako byrokracie.
V takomto prístupe sa objavuje obava: "Ak vytvoríme príliš veľa pravidiel, nikto nebude chcieť zavádzať AI."
Problém je v tom, že aj absencia pravidiel má svoju cenu.
Predstavme si firmu, v ktorej:
- každý zamestnanec môže používať ľubovoľný AI nástroj,
- nikto nevie, aké dáta idú do modelov,
- nie je jasné, ktoré procesy sú automatizované,
- neexistuje zoznam používaných modelov,
- nikto nesleduje výsledky,
- nikto nezodpovedá za chyby.
Na začiatku môže všetko fungovať výborne. Až do momentu, keď sa stane niečo nepredvídané.
AI Governance by teda nemalo blokovať AI. Malo by vytvoriť bezpečné rámce, v ktorých sa AI môže rozvíjať rýchlejšie.
Dobre navrhnuté governance odpovie na otázky:
- čo môžeme robiť,
- čo nemôžeme robiť,
- kto rozhoduje,
- kto zodpovedá za systém,
- ako monitorujeme riziko,
- čo robíme, keď sa niečo pokazí.
To nie je brzda. To je bezpečnostný pás.
Kto zodpovedá za rozhodnutie AI?
To je jedna z najťažších otázok.
Predstavme si, že systém AI odporučí zamietnuť žiadosť klienta. Kto je za toto rozhodnutie zodpovedný? Programátor? Dodávateľ modelu? Firma, ktorá systém nasadila? Osoba, ktorá schválila odporúčanie? Manažér zodpovedný za proces? Alebo vedenie?
Odpoveď nie je vždy jednoduchá...
Práve preto musí byť zodpovednosť určená pred nasadením systému, nie až po vzniku problému.
V praxi by organizácia mala jasne určiť:
- kto je vlastníkom procesu,
- kto je vlastníkom systému,
- kto zodpovedá za dáta,
- kto zodpovedá za model,
- kto schvaľuje zmeny,
- kto monitoruje činnosť,
- kto môže systém zastaviť,
- kto rozhoduje v núdzovej situácii.
Pri zložitých AI systémoch nestačí povedať: "Urobila to umelá inteligencia."
AI nie je subjekt zodpovedný za biznisový proces. Zodpovednosť zostáva na ľuďoch a organizácii.
AI Governance začína inventarizáciou
Jedným z prvých krokov by malo byť vytvorenie AI Inventory, teda registra systémov a použití AI v organizácii.
Znie to banálne? – V mnohých firmách to môže byť prekvapivo ťažké.
Zamestnanci používajú:
- ChatGPT,
- nástroje na generovanie obsahu,
- AI v CRM systémoch,
- nástroje na analýzu dokumentov,
- asistenty pre programátorov,
- automatizácie,
- AI agentov.
Časť z týchto riešení môže byť oficiálne nasadená firmou. Iné môžu používať zamestnanci bez formálnej znalosti organizácie.
Tento jav sa často označuje ako Shadow AI.
Shadow AI - keď AI funguje mimo kontroly firmy
Shadow AI je ekvivalent známeho pojmu Shadow IT. Zamestnanec nájde nástroj, ktorý mu pomôže robiť prácu rýchlejšie. Začne ho používať.
Niekto nekontroluje:
- aké dáta sú odosielané,
- kde sú spracovávané,
- kto má k nim prístup,
- ako dlho sú uchovávané,
- či informácie môžu byť použité na trénovanie modelov.
Z pohľadu zamestnanca všetko vyzerá skvelo. Z pohľadu organizácie to môže predstavovať vážne riziko.
Preto zákaz používania AI nie je vždy najlepším riešením. Omnoho lepším prístupom je vytvoriť jasné pravidlá.
Zamestnanec by mal vedieť:
- z akých nástrojov môže využívať,
- aké dáta nesmie odosielať,
- kedy je potrebné schválenie,
- aké riešenia firma odporúča.
Lepšie je vytvoriť bezpečnú cestu používania AI než predstierať, že zamestnanci ju nebudú používať.
Dáta - základ zodpovedného AI
O governance nemožno hovoriť bez diskusie o dátach. Systém AI môže byť veľmi dobrý.
Ale ak sú dáta:
- chybné,
- neaktuálne,
- neúplné,
- nekonzistentné,
- zle popísané,
tak výsledky systému môžu byť tiež problematické.
V organizácii by preto mali existovať jasné pravidlá týkajúce sa:
- zdrojov dát,
- kvality dát,
- prístupu,
- uchovávania,
- retencie,
- mazania,
- anonymizácie,
- pseudonymizácie,
- kontroly využitia dát.
Zvlášť dôležitá je ochrana osobných údajov.
Nie každá informácia, ktorú firma vlastní, by mala skončiť v modeli AI.
A aj keď môže byť spracovaná, treba vedieť:
- na čo?
- na akom právnom základe?
- akým spôsobom?
- na aký čas?
- kto k nim má prístup?
Preto by implementácia AI mala byť navrhnutá spoločne technologickými, obchodnými, právnymi a bezpečnostnými tímami.
AI Act - prečo by sa firmy mali zaujímať?
V Európskej únii je rozvoj umelej inteligencie tiež predmetom regulácie.
Najdôležitejším príkladom je AI Act, teda európska legislatíva týkajúca sa umelej inteligencie. Jedným z kľúčových prvkov je klasifikácia systémov AI podľa úrovne rizika.
V zjednodušenom rozlíšení môžeme hovoriť o:
- systémoch predstavujúcich neprijateľné riziko,
- systémoch s vysokým rizikom,
- systémoch podliehajúcich určitým povinnostiam transparentnosti,
- systémoch s obmedzeným alebo minimálnym rizikom.
To neznamená, že každá firma musí vytvoriť obrovský compliance oddelenie.
Znamená to však, že organizácie by mali vedieť, aké typy AI systémov používajú a aké povinnosti z toho môžu vyplývať.
Treba tiež pamätať, že regulácie sa netýkajú len samotného modelu. Dôležitý môže byť aj spôsob využívania AI.
Ten istý model môže byť použitý na generovanie popisu produktu alebo na podporu procesu, ktorý ovplyvňuje ľudské práva. Technológia je rovnaká. Riziko - úplne odlišné.
Preto by governance mala analyzovať predovšetkým použitie systému, nielen jeho meno alebo výrobcu.
Explainable AI - prečo by sa systém mal vedieť vysvetliť?
Ak AI prijíma rozhodnutie, ktoré ovplyvňuje biznis alebo človeka, prirodzene sa pýta otázka: "Prečo?"
Prečo systém označil transakciu za podozrivú?
Prečo zamietol dokument?
Prečo navrhol konkrétnu cenu?
Prečo nasmeroval klienta do určitého procesu?
Práve tu vstupuje Explainable AI (XAI). Ide o súbor metód a prístupov pomáhajúcich pochopiť, ako model dospel k určitému výsledku. Neznamená to vždy ukázať celý vnútorný proces modelu.
Niekedy stačí predstaviť:
- kľúčové faktory ovplyvňujúce výsledok,
- dáta použité pri analýze,
- úroveň istoty,
- najdôležitejšie predpoklady,
- alternatívne scenáre.
Pre biznisového používateľa je to často dôležitejšie než technický popis modelu.
Logging - pamäť AI systému
Ak AI robí rozhodnutia, organizácia by mala mať možnosť zrekonštruovať, čo sa stalo. Preto je logovanie také dôležité.
V závislosti od typu systému stojí za to zaznamenávať:
- kedy sa vykonala operácia,
- ktorý model bol použitý,
- ktorá verzia modelu bežala,
- aké vstupné dáta sa použili,
- aký výsledok sa vygeneroval,
- aké rozhodnutie bolo prijaté,
- či človek výsledok schválil,
- či bolo rozhodnutie zmenené,
- kto zmenu vykonal.
To umožňuje odpovedať na otázku: "Čo presne sa stalo v systéme?"
Bez primeraného logovania môže byť analýza incidentu veľmi ťažká. A v autonómnych systémoch môže byť dokonca nemožná.
Monitoring - AI nie je nasadenie typu "nastav a zabudni"
To je jeden z najdôležitejších prvkov celého obrazu.
Model môže fungovať správne v deň nasadenia. Neznamená to, že bude fungovať rovnako dobre o rok.
Menia sa:
- dáta,
- správanie používateľov,
- trhové podmienky,
- produkty,
- procesy,
- právo.
Môže sa tiež zmeniť spôsob, akým systém funguje. Preto treba monitorovať nielen technickú infraštruktúru, ale aj kvalitu rozhodnutí.
V závislosti od použitia stojí za to sledovať:
- presnosť,
- počet chýb,
- úroveň istoty,
- podiel rozhodnutí presunutých na človeka,
- počet zásahov človeka,
- počet reklamácií,
- nesúlady medzi odporúčaním AI a rozhodnutím experta.
Ak náhle človek začne odmietať 40 % odporúčaní AI namiesto predchádzajúcich 5 %, môže to byť signál, že sa niečo zmenilo.
Model stále funguje. Ale jeho obchodná kvalita už nemusí byť vhodná.
Model Drift - keď sa svet mení rýchlejšie než model
Jedným z dôležitých problémov je model drift, teda zhoršenie výkonu modelu v dôsledku zmien v dátach alebo prostredí.
Príklad?
Model predpovedá dopyt po produktoch na základe údajov z posledných piatich rokov.
Náhle sa zmení správanie spotrebiteľov.
Objaví sa nový trend.
Zmení sa ekonomická situácia.
Model stále používa historické vzory.
Problém je v tom, že realita už nevyzerá rovnako.
AI "nevie", že sa realita zmenila.
Preto musí byť systém monitorovaný a modely pravidelne hodnotené a v prípade potreby aktualizované.
Guardrails - hranice, ktoré AI nesmie prekročiť
V predchádzajúcej časti sme spomínali guardrails. V kontexte AI Governance majú ešte väčší význam.
Guardrails môžu definovať:
- aké dáta môže AI využívať,
- aké akcie môže vykonávať,
- aké akcie nesmie vykonávať,
- aké hodnoty môže meniť,
- kedy je vyžadované schválenie človekom,
- kedy sa systém musí zastaviť.
Napríklad AI agent môže mať prístup k objednávkovému systému. Môže skontrolovať dostupnosť produktu. Môže pripraviť objednávku. Ale nesmie sám schváliť nákup nad 10 000 zlotých. Ak suma prekročí limit, systém presunie prípad na človeka.
To je príklad dobre navrhnutej hranice autonómie.
Kill Switch - systém musí mať tlačidlo STOP
Znie to banálne. Ale je to mimoriadne dôležité.
Kazdý autonómny systém by mal mať mechanizmus núdzového zastavenia.
Ak:
- model začne generovať chybné rozhodnutia,
- systém vykonáva neobvyklé operácie,
- objaví sa bezpečnostný incident,
- vstupné dáta sú nesprávne,
organizácia by mala byť schopná zastaviť činnosť systému. Nie zajtra. Nie po vytvorení ticketu v supporte. Len okamžite!
V závislosti od architektúry to môže znamenať:
- vypnutie agenta,
- zablokovanie prístupu k nástrojom,
- zastavenie workflow,
- prepnutie do manuálneho režimu,
- rollback na predchádzajúcu verziu.
Autonómia bez možnosti zastavenia je veľmi riziková.
Incident Response pre AI
Organizácie majú roky procedúry pre reakciu na výpadky systémov.
V prípade AI potrebujeme navyše scenáre týkajúce sa chybných rozhodnutí modelov.
Čo robíme, ak:
- AI začne generovať nesprávne odporúčania?
- agent vykoná chybné akcie?
- model začne vykazovať neželané správanie?
- vstupné dáta sa ukážu byť chybné?
- systém poruší stanovené pravidlá?
Mali by existovať jasne definované kroky: Detekcia → zastavenie → analýza → oprava → obnovenie → monitoring
To je obzvlášť dôležité v systémoch, ktoré fungujú autonómne.
Kto by mal zodpovedať za AI v organizácii?
Neexistuje univerzálna odpoveď.
V závislosti od veľkosti firmy môžu byť zapojení:
- predstavenstvo,
- CTO,
- CIO,
- CISO,
- právny tím,
- compliance,
- Data Protection Officer,
- vlastníci procesov,
- IT tímy,
- data scientisti,
- ML inžinieri,
- product manageri,
- biznisoví používatelia.
Dôležité je, aby zodpovednosť nebola rozmazaná.
"AI je spoločná zodpovednosť pre všetkých" často v praxi znamená: "Niekto za ňu v skutočnosti nezodpovedá."
Preto by každá významná AI iniciatíva mala mať jasne určeného vlastníka.
RACI pre AI systémy
Dobré nástrojom môže byť klasický model RACI.
Umožňuje určiť:
Responsible - kto vykonáva úlohu?
Accountable - kto nesie konečnú zodpovednosť?
Consulted - koho treba konzultovať?
Informed - koho treba informovať?
Napríklad pre AI systém podporujúci zákaznícky servis:
- IT zodpovedá za infraštruktúru,
- data tím za dáta,
- vlastník procesu za spôsob využitia AI,
- compliance za posúdenie regulačných požiadaviek,
- biznis za akceptáciu riešenia.
Vďaka tomu je v prípade problému jasné, kto má reagovať.
AI Governance v malej firme
AI Governance nemusí znamenať vytvorenie veľkého výboru.
Malá firma môže začať s niekoľkými jednoduchými prvkami:
1. Zoznam AI nástrojov
Vedieť, čo používame.
2. Pravidlá pre dáta
Vedieť, čo nesmie byť odoslané do externých nástrojov.
3. Klasifikácia rizika
Určiť, ktoré použitia majú nízke, stredné a vysoké riziko.
4. Vlastník AI
Určiť osobu zodpovednú za koordináciu.
5. Pravidlá Human-in-the-Loop
Určiť, kedy rozhodnutie vyžaduje človeka.
6. Monitoring
Kontrolovať, či systém stále funguje podľa očakávaní.
To je už veľmi veľa.
Najdôležitejšie je povedomie.
AI Governance vo veľkej organizácii
Vo väčšej firme je situácia zložitejšia.
Môže byť potrebné:
- AI Governance Board,
- register modelov,
- klasifikácia rizík,
- proces schvaľovania nových použití,
- politika dát,
- monitorovanie modelov,
- audity,
- postupy pre incidenty,
- kontrola prístupu,
- riadenie dodávateľov AI,
- pravidelné prehliadky.
Vo veľkých organizáciách by governance malo byť tiež integrované s existujúcimi procesmi:
- IT Governance,
- Security Governance,
- Data Governance,
- Risk Management,
- Compliance.
AI nefunguje vo vákuu.
Stáva sa ďalším prvkom celého riadiaceho ekosystému organizácie.
Najčastejšie chyby v AI Governance
Chyba 1 - governance sa objaví až po nasadení
Najprv nasadíme AI.
Neskôr sa zamyslíme, kto za ňu zodpovedá.
To je obrátené poradie.
Chyba 2 - governance obmedzené na dokument
AI politika sama o sebe nič nerieši.
Ak ju nikto neuplatňuje, zostane len dokumentom.
Chyba 3 - zodpovednosť priradená výhradne IT
AI ovplyvňuje biznis, právo, bezpečnosť a ľudí.
Nemôže byť len problémom technologického oddelenia.
Chyba 4 - chýba monitoring
Model je nasadený.
Všetci zabudli.
Po roku sa ukáže, že systém funguje úplne inak než na začiatku.
Chyba 5 - chýba možnosť zastavenia AI
Ak systém funguje autonómne, ale nikto ho nemôže rýchlo zastaviť, organizácia systém nekontroluje.
Praktický checklist AI Governance
Mala by organizácia mať:
☐ register používaných AI systémov,
☐ určeného vlastníka každého významného systému,
☐ klasifikáciu úrovne rizika,
☐ pravidlá týkajúce sa dát,
☐ politiku používania AI,
☐ pravidlá pre Shadow AI,
☐ mechanizmy kontroly prístupu,
☐ logovanie činností systému,
☐ monitoring kvality,
☐ postup reakcie na incidenty,
☐ možnosť zastavenia systému,
☐ pravidlá Human-in-the-Loop,
☐ pravidelné prehliadky modelov,
☐ posúdenie regulačných požiadaviek,
☐ jasné pravidlá zodpovednosti.
Ak na väčšinu otázok odpovedáte "nie", firma pravdepodobne ešte nemá zrelé AI Governance.
Slovník pojmov
AI Governance
Súbor pravidiel, procesov, zodpovedností a kontrolných mechanizmov týkajúcich sa navrhovania, nasadzovania a využívania umelej inteligencie.
Shadow AI
Neformálne alebo neautorizované používanie AI nástrojov zamestnancami mimo oficiálneho riadenia organizácie.
AI Inventory
Register systémov, modelov a použití AI v organizácii.
Model Drift
Zhoršenie kvality výkonu modelu v dôsledku zmien v dátach alebo prostredí, v ktorom model funguje.
Explainable AI (XAI)
Prístupy a metódy umožňujúce lepšie pochopenie faktorov ovplyvňujúcich výsledky modelov AI.
AI Audit
Hodnotenie AI systému z hľadiska jeho výkonu, bezpečnosti, súladu, kvality dát, rizík a plnenia požiadaviek.
Guardrails
Obmedzenia definujúce, aké akcie môže AI systém vykonávať a aké nie.
Kill Switch
Mechanizmus umožňujúci rýchle zastavenie systému alebo obmedzenie jeho činnosti v núdzovej situácii.
AI Incident
Udalosť súvisiaca s AI systémom, ktorá môže viesť k chybám, bezpečnostným narušeniam, nesúladu alebo iným nežiaducim následkom.
Najdôležitejší záver
Human-in-the-Loop nám hovorí: "Človek by mal zostať súčasťou procesu."
AI Governance ide o krok ďalej.
Hovorí: "Organizácia musí vedieť, ako tento proces kontrolovať."
To je zásadný rozdiel.
Môžeme vytvoriť najpokročilejšieho AI agenta. Môžeme mu dať prístup k systémom. Môžeme mu povoliť plánovať a vykonávať akcie.
Ale ak nevieme:
- čo robí,
- prečo to robí,
- kto za to zodpovedá,
- na akých dátach funguje,
- kedy sa začne mýliť,
- ako ho zastaviť,
tak sme nevytvorili inteligentný systém. Vytvorili sme systém, ktorý nedokážeme kontrolovať.
A v svete čoraz autonómnejších agentov práve kontrola môže byť jednou z najdôležitejších konkurenčných výhod organizácie.
V poslednej, štvrtej časti série prejdeme od princípov k architektúre.
Ukážeme, ako môže vyzerať AI systém navrhnutý s ohľadom na bezpečnosť, kontrolu a zodpovednosť - od modelu a agenta, cez rozhodovaciu vrstvu a obchodné pravidlá až po workflow, monitoring, Human Override a núdzové mechanizmy.
Pretože konečná najdôležitejšia otázka nie je: "Dokážeme postaviť autonómneho AI agenta?"
Dnes to čoraz častejšie dokážeme.
Otázka znie: "Dokážeme postaviť takého agenta, nad ktorým stále máme kontrolu?"
