În partea anterioară a seriei noastre am răspuns la întrebarea, când AI poate funcționa independent și când are nevoie de un om.
Am arătat că nivelul de autonomie ar trebui să depindă, între altele, de:
- risc,
- costul erorii,
- reversibilitatea deciziei,
- impactul asupra oamenilor,
- calitatea datelor,
- capacitatea de monitorizare a sistemului.
Știm deja și că simpla includere a unui om în proces nu garantează securitatea.
Poți avea un angajat care aprobă deciziile AI, dar să nu îi oferi suficient timp pentru a le analiza. Poți cere aprobare, dar nu arăta de ce sistemul a luat o anumită decizie. Poți construi un sistem care funcționează corect timp de un an, iar apoi începe să producă rezultate eronate, pentru că s-au schimbat datele, comportamentul utilizatorilor sau condițiile de piață.
De aceea, la un moment dat apare o întrebare mult mai mare decât: „Funcționează AI corect?”
Formularea corectă este: „Poate organizația noastră să controleze AI pe care l-a implementat?”
Și tocmai asta se ocupă AI Governance.
Ce este AI Governance?
AI Governance poate fi definit cel mai simplu ca un sistem de reguli, procese, responsabilități și mecanisme de control privind utilizarea inteligenței artificiale în organizație.
Nu este un singur document. Nu este o singură procedură. Nu este doar o chestiune legală.
Un AI Governance matur acoperă multe arii:
- strategia de utilizare a AI,
- securitate,
- protecția datelor,
- managementul riscului,
- conformitate reglementară,
- responsabilitate,
- monitorizarea modelelor,
- controlul accesului,
- audit,
- gestionarea schimbărilor,
- răspuns la incidente.
Putem spune, așadar, că AI Governance răspunde la întrebarea: „Cum facem ca inteligența artificială să acționeze în concordanță cu obiectivele organizației, regulile aplicabile și un nivel acceptabil de risc?”
Acest lucru este deosebit de important în momentul în care AI încetează să fie un simplu instrument folosit de un angajat și devine parte a proceselor de business.
AI Governance nu este un frână pentru inovație
Unul dintre cele mai frecvente neînțelegeri este tratarea governance-ului ca pe birocrație.
În acest context apare teama: „Dacă vom crea prea multe reguli, nimeni nu va vrea să implementeze AI.”
Problema este că lipsa regulilor are și ea costuri.
Ne imaginăm o companie în care:
- orice angajat poate folosi orice instrument AI,
- nimeni nu știe ce date ajung la modele,
- nu se știe ce procese sunt automatizate,
- nu există o listă a modelelor utilizate,
- nimeni nu monitorizează rezultatele,
- nimeni nu răspunde pentru erori.
La început totul poate funcționa excelent. Până se întâmplă ceva neașteptat.
AI Governance nu ar trebui, deci, să blocheze AI. Ar trebui să creeze cadrul sigur în care AI poate evolua mai repede.
Un governance bine conceput permite răspunsuri la întrebări precum:
- ce putem face,
- ce nu putem face,
- cine ia deciziile,
- cine este responsabil pentru sistem,
- cum monitorizăm riscul,
- ce facem când ceva merge prost.
Nu este o frână. Este o centură de siguranță.
Cine răspunde pentru decizia AI?
Aceasta este una din cele mai dificile întrebări.
Să presupunem că un sistem AI recomandă respingerea unei cereri a unui client. Cine este responsabil pentru acea decizie? Programatorul? Furnizorul modelului? Compania care a implementat sistemul? Persoana care a aprobat recomandarea? Managerul responsabil de proces? Sau poate conducerea?
Răspunsul nu e întotdeauna simplu...
De aceea responsabilitatea trebuie definită înainte de implementarea sistemului, nu doar după ce apare o problemă.
În practică, organizația ar trebui să definească clar:
- cine este proprietarul procesului,
- cine este proprietarul sistemului,
- cine răspunde pentru date,
- cine răspunde pentru model,
- cine aprobă schimbările,
- cine monitorizează funcționarea,
- cine poate opri sistemul,
- cine decide în situație de urgență.
În cazul sistemelor AI complexe nu este suficient să spui: „A făcut-o inteligența artificială.”
AI nu este un subiect (entitate) responsabil pentru procesul de business. Responsabilitatea rămâne în sarcina oamenilor și a organizației.
AI Governance începe cu inventarierea
Unul din primii pași ar trebui să fie crearea unui AI Inventory, adică a unui registru al sistemelor și aplicațiilor AI folosite în organizație.
Sună banal? - În multe companii se poate dovedi surprinzător de dificil.
Angajații folosesc:
- ChatGPT,
- instrumente de generare a conținutului,
- AI în CRM-uri,
- instrumente de analiză a documentelor,
- asistenți pentru programatori,
- automatizări,
- agenți AI.
O parte din aceste soluții pot fi implementate oficial de companie. Altele pot fi folosite de angajați fără cunoștința formală a organizației.
Acest fenomen este adesea numit Shadow AI.
Shadow AI - când AI funcționează în afara controlului firmei
Shadow AI este echivalentul, pentru AI, al cunoscutului concept Shadow IT. Un angajat găsește un instrument care îl ajută să lucreze mai repede. Începe să îl folosească.
Nimeni nu verifică:
- ce date sunt transmise,
- unde sunt procesate,
- cine are acces la ele,
- cât timp sunt stocate,
- dacă informațiile pot fi folosite pentru a antrena modele.
Din perspectiva angajatului totul pare excelent. Din perspectiva organizației poate apărea un risc serios.
De aceea interzicerea completă a utilizării AI nu este întotdeauna soluția cea mai bună. O abordare mult mai bună este crearea unor reguli clare.
Angajatul ar trebui să știe:
- ce instrumente poate folosi,
- ce date nu pot fi transmise,
- când este necesară aprobarea,
- ce soluții sunt recomandate de firmă.
Mai bine creezi o cale sigură de utilizare a AI decât să pretinzi că angajații nu o vor folosi.
Datele - fundamentul unui AI responsabil
Nu poți vorbi despre governance fără a discuta despre date. Un sistem AI poate fi foarte bun.
Dar dacă datele sunt:
- eronate,
- neactualizate,
- incomplete,
- inconsistente,
- prost documentate,
atunci și rezultatele sistemului pot fi problematice.
În organizație ar trebui să existe reguli clare privind:
- sursele de date,
- calitatea datelor,
- accesul,
- stocarea,
- retentia,
- ștergerea,
- anonimizarea,
- pseudonimizarea,
- controlul utilizării datelor.
Protecția datelor personale are o importanță deosebită aici.
Nu orice informație pe care compania o deține ar trebui să ajungă într-un model AI.
Și chiar dacă poate fi procesată, trebuie să știm:
- de ce?
- pe ce temei?
- în ce mod?
- pentru cât timp?
- cine are acces la ea?
Din acest motiv implementarea AI ar trebui proiectată împreună de echipele tehnologice, de business, juridice și de securitate.
AI Act - de ce ar trebui companiile să îi acorde atenție?
În Uniunea Europeană dezvoltarea inteligenței artificiale este, de asemenea, obiectul reglementărilor.
Cel mai important exemplu este AI Act, adică regulamentul european privind inteligența artificială. Unul din elementele cheie ale acestui demers este clasificarea sistemelor AI în funcție de nivelul de risc.
În termeni simpli putem vorbi despre:
- sisteme care creează riscuri inacceptabile,
- sisteme cu risc ridicat,
- sisteme supuse unor obligații de transparență,
- sisteme cu risc limitat sau minim.
Aceasta nu înseamnă că fiecare companie trebuie să creeze un departament uriaș de compliance.
Înseamnă însă că organizațiile ar trebui să știe ce tipuri de sisteme AI folosesc și ce obligații pot deriva din asta.
Este bine să ne amintim că reglementările nu privesc doar modelul în sine. Contează și modul în care AI este folosit.
Același model poate fi folosit pentru a genera descrierea unui produs sau pentru a sprijini un proces care afectează drepturile omului. Tehnologia este aceeași. Riscul — complet diferit.
De aceea governance-ul ar trebui să analizeze în primul rând utilizarea sistemului, nu doar numele sau producătorul său.
Explainable AI - de ce sistemul ar trebui să poată explica deciziile?
Dacă AI ia o decizie care afectează business-ul sau o persoană, firește apare întrebarea: „De ce?”
De ce sistemul a considerat tranzacția suspectă?
De ce a respins documentul?
De ce a propus un anumit preț?
De ce a direcționat clientul către un anumit proces?
Aici intervine Explainable AI (XAI). Este un set de metode și abordări care ajută la înțelegerea modului în care modelul a ajuns la un anumit rezultat. Nu înseamnă întotdeauna posibilitatea de a arăta întregul proces intern al modelului.
Uneori este suficient să prezentăm:
- factorii cheie care au influențat rezultatul,
- datele folosite în analiză,
- nivelul de încredere,
- premisele principale,
- scenarii alternative.
Pentru un utilizator de business acest lucru este adesea mai important decât o descriere tehnică a modelului.
Logging - memoria sistemului AI
Dacă AI ia decizii, organizația ar trebui să poată reconstrui ce s-a întâmplat. De aceea logging-ul este atât de important.
În funcție de tipul sistemului, merită înregistrat:
- când a fost efectuată operațiunea,
- care model a fost folosit,
- ce versiune a modelului rula,
- ce date de intrare au fost folosite,
- ce rezultat a fost generat,
- ce decizie a fost luată,
- dacă un om a aprobat rezultatul,
- dacă decizia a fost schimbată,
- cine a făcut modificarea.
Astfel putem răspunde la întrebarea: „Ce s-a întâmplat exact în sistem?”
Fără logging adecvat, analiza unui incident poate fi foarte dificilă. Iar în sistemele autonome poate deveni chiar imposibilă.
Monitoring - AI nu este o implementare de tip „set and forget”
Acesta este unul dintre cele mai importante elemente ale întregii teze.
Modelul poate funcționa corect în ziua implementării. Nu înseamnă că va funcționa la fel de bine peste un an.
Se schimbă:
- datele,
- comportamentul utilizatorilor,
- condițiile pieței,
- produsele,
- procesele,
- legislația.
Poate să se schimbe și modul de funcționare al sistemului însuși. De aceea trebuie monitorizată nu doar infrastructura tehnică, ci și calitatea deciziilor.
În funcție de utilizare, merită urmărite:
- acuratețea,
- numărul de erori,
- nivelul de încredere,
- procentul deciziilor trimise la om,
- numărul intervențiilor umane,
- numărul reclamațiilor,
- discrepanțele între recomandarea AI și decizia expertului.
Dacă, brusc, oamenii încep să respingă 40% din recomandările AI în loc de 5% anterior, acesta poate fi un semnal că ceva s-a schimbat.
Modelul încă funcționează. Dar calitatea business-ului nu mai este neapărat aceeași.
Model Drift - când lumea se schimbă mai repede decât modelul
Unul din problemele importante este model drift, adică degradarea performanței modelului ca urmare a schimbărilor din date sau din mediul în care funcționează modelul.
Un exemplu?
Modelul prezice cererea pentru produse bazându-se pe date din ultimii cinci ani.
Dintr-o dată se schimbă comportamentul consumatorilor.
Apare un nou trend.
Se schimbă situația economică.
Modelul încă folosește tiparele istorice.
Problema este că realitatea nu mai arată la fel.
AI nu „știe” că realitatea s-a schimbat.
De aceea sistemul trebuie monitorizat, iar modelele evaluate periodic și — dacă este necesar — actualizate.
Guardrails - limite pe care AI nu le poate depăși
În partea anterioară am menționat guardrails. În contextul AI Governance importanța lor este și mai mare.
Guardrails pot defini:
- ce date poate folosi AI,
- ce acțiuni poate întreprinde,
- ce acțiuni nu poate întreprinde,
- ce valori poate modifica,
- când este necesară acceptarea umană,
- când sistemul trebuie oprit.
De exemplu, un agent AI poate avea acces la sistemul de comenzi. Poate verifica disponibilitatea produsului. Poate pregăti comanda. Dar nu poate aproba singur o achiziție peste 10.000 PLN (sau echivalent). Dacă suma depășește limita, sistemul transferă cazul la un om.
Acesta este un exemplu de frontieră de autonomie bine proiectată.
Kill Switch - sistemul trebuie să aibă butonul STOP
Sună banal. Dar este extrem de important.
Fiecare sistem autonom ar trebui să aibă un mecanism de oprire de urgență.
Dacă:
- modelul începe să genereze decizii eronate,
- sistemul efectuează operațiuni anormale,
- apare un incident de securitate,
- datele de intrare sunt incorecte,
organizația ar trebui să poată opri funcționarea sistemului. Nu mâine. Nu după ce a fost deschis un ticket la suport. Imediat!
În funcție de arhitectură, asta poate însemna:
- dezactivarea agentului,
- blocarea accesului la instrumente,
- oprirea workflow-ului,
- trecerea în mod manual,
- rollback la o versiune anterioară.
Autonomia fără posibilitatea opririi este foarte riscantă.
Incident Response pentru AI
Organizațiile au de mult proceduri pentru reacția la defecțiuni ale sistemelor.
Pentru AI avem nevoie, în plus, de scenarii referitoare la deciziile eronate ale modelelor.
Ce facem dacă:
- AI începe să genereze recomandări incorecte?
- Agentul execută acțiuni eronate?
- Modelul manifestă comportamente nedorite?
- Datele de intrare se dovedesc a fi greșite?
- Sistemul încalcă regulile stabilite?
Ar trebui să existe un proces clar: Detectare → oprire → analiză → corecție → restaurare → monitorizare
Acest lucru este foarte important în special pentru sistemele care operează autonom.
Cine ar trebui să răspundă pentru AI în organizație?
Nu există un răspuns universal.
În funcție de dimensiunea companiei pot fi implicați:
- consiliul de conducere,
- CTO,
- CIO,
- CISO,
- departamentul juridic,
- compliance,
- Data Protection Officer,
- proprietarii proceselor,
- echipele IT,
- data scientists,
- ingineri ML,
- product manageri,
- utilizatori de business.
Important este însă ca responsabilitatea să nu fie diluată.
„AI este responsabilitatea tuturor” în practică înseamnă adesea: „Nimeni nu este responsabil.”
De aceea fiecare inițiativă importantă de AI ar trebui să aibă un proprietar clar.
RACI pentru sistemele AI
Un instrument util poate fi modelul clasic RACI.
Îl folosești pentru a defini:
Responsible - cine execută sarcina?
Accountable - cine poartă responsabilitatea finală?
Consulted - cine trebuie consultat?
Informed - cine trebuie informat?
De exemplu, pentru un sistem AI care sprijină serviciul clienți:
- IT răspunde pentru infrastructură,
- echipa de date răspunde pentru date,
- proprietarul procesului răspunde pentru modul de utilizare a AI,
- compliance evaluează cerințele reglementare,
- business-ul aprobă soluția.
Astfel, în cazul unei probleme se știe cine trebuie să reacționeze.
AI Governance într-o companie mică
AI Governance nu înseamnă neapărat crearea unui comitet uriaș.
O companie mică poate începe cu câteva elemente simple:
1. Lista instrumentelor AI
Să știi ce folosim.
2. Reguli privind datele
Să știi ce nu are voie să fie trimis către instrumente externe.
3. Clasificarea riscului
Să definești ce aplicații sunt cu risc scăzut, mediu și mare.
4. Proprietar AI
Să desemnezi o persoană responsabilă pentru coordonare.
5. Reguli Human-in-the-Loop
Să definești când decizia necesită intervenția umană.
6. Monitoring
Să verifici dacă sistemul funcționează încă conform așteptărilor.
Asta e deja mult.
Cea mai importantă este conștientizarea.
AI Governance într-o organizație mare
Într-o firmă mare situația este mai complexă.
Pot fi necesare:
- AI Governance Board,
- registru al modelelor,
- clasificare a riscului,
- proces de aprobare a noilor aplicații,
- politică de date,
- monitorizarea modelelor,
- audituri,
- proceduri de incidente,
- controlul accesului,
- managementul furnizorilor AI,
- revizuiri periodice.
În organizațiile mari governance ar trebui, de asemenea, integrat cu procesele existente:
- IT Governance,
- Security Governance,
- Data Governance,
- Risk Management,
- Compliance.
AI nu funcționează în vid.
Devine un element al ecosistemului larg de management al organizației.
Cele mai frecvente greșeli în AI Governance
Greșeala 1 - governance apare doar după implementare
Mai întâi implementăm AI.
Apoi, târziu, ne întrebăm cine răspunde.
Ordinea ar trebui să fie inversă.
Greșeala 2 - governance se reduce la un document
Politica AI în sine nu rezolvă nimic.
Dacă nimeni nu o aplică, rămâne doar un document.
Greșeala 3 - responsabilitatea este atribuită exclusiv IT
AI afectează business-ul, dreptul, securitatea și oamenii.
Nu poate fi doar o problemă a departamentului tehnic.
Greșeala 4 - lipsa monitorizării
Modelul a fost implementat.
Toți au uitat de el.
Peste un an se dovedește că sistemul funcționează complet diferit față de început.
Greșeala 5 - lipsa posibilității de a opri AI
Dacă sistemul funcționează autonom, dar nimeni nu îl poate opri rapid, organizația nu controlează sistemul.
Checklist practic pentru AI Governance
Ar trebui organizația să aibă:
☐ registrul sistemelor AI folosite,
☐ un proprietar definit pentru fiecare sistem important,
☐ clasificarea nivelului de risc,
☐ reguli privind datele,
☐ politici de utilizare a AI,
☐ reguli privind Shadow AI,
☐ mecanisme de control al accesului,
☐ logging al acțiunilor sistemului,
☐ monitorizare a calității,
☐ procedură de răspuns la incidente,
☐ posibilitatea opririi sistemului,
☐ reguli Human-in-the-Loop,
☐ revizuiri periodice ale modelelor,
☐ evaluare a cerințelor reglementare,
☐ reguli clare de responsabilitate.
Dacă majoritatea răspunsurilor sunt „nu”, compania probabil nu are încă un AI Governance matur.
Glosar de termeni
AI Governance
Set de reguli, procese, responsabilități și mecanisme de control privind proiectarea, implementarea și utilizarea inteligenței artificiale.
Shadow AI
Utilizarea informală sau neautorizată de către angajați a instrumentelor AI în afara procesului oficial de guvernanță al organizației.
AI Inventory
Registrul sistemelor, modelelor și aplicațiilor AI folosite în organizație.
Model Drift
Degradarea performanței modelului ca urmare a schimbărilor în date sau în mediul în care funcționează.
Explainable AI (XAI)
Abordări și metode care permit o mai bună înțelegere a factorilor ce influențează rezultatele modelelor AI.
AI Audit
Evaluarea unui sistem AI din perspectiva funcționării, securității, conformității, calității datelor, riscului și îndeplinirii cerințelor specifice.
Guardrails
Limitări care definesc ce acțiuni poate lua sistemul AI și ce acțiuni nu poate lua.
Kill Switch
Mecanism care permite oprirea rapidă a sistemului sau limitarea funcționării acestuia în situații de urgență.
AI Incident
Eveniment legat de un sistem AI care poate conduce la erori, breșe de securitate, neconformități sau alte consecințe nedorite.
Cel mai important rezultat
Human-in-the-Loop ne spune: „Omul ar trebui să rămână parte a procesului.”
AI Governance merge un pas mai departe.
Spune: „Organizația trebuie să știe cum să controleze acest proces.”
Aceasta este o diferență fundamentală.
Putem construi cel mai avansat agent AI. Îi putem oferi acces la sisteme. Îi putem permite să planifice și să execute acțiuni.
Dar dacă nu știm:
- ce face,
- de ce o face,
- cine este responsabil pentru el,
- pe ce date funcționează,
- când începe să greșească,
- cum să-l oprim,
atunci nu am creat un sistem inteligent. Am creat un sistem pe care nu-l putem controla.
Și într-o lume cu agenți din ce în ce mai autonomi, această control poate deveni una dintre cele mai importante avantaje competitive ale organizației.
În ultima, a patra parte a seriei vom trece de la principii la arhitectură.
Vom arăta cum poate arăta un sistem AI proiectat cu gândul la securitate, control și responsabilitate - de la model și agent, prin stratul decizional și regulile de business, până la workflow, monitorizare, Human Override și mecanisme de urgență.
Pentru că, în final, cea mai importantă întrebare nu este: „Putem construi un agent AI autonom?”
Astăzi din ce în ce mai des putem.
Întrebarea este: „Putem construi un astfel de agent asupra căruia încă avem control?”
