W poprzedniej części naszej serii odpowiedzieliśmy na pytanie, kiedy AI może działać samodzielnie, a kiedy potrzebuje człowieka.
Pokazaliśmy, że poziom autonomii powinien zależeć między innymi od:
- ryzyka,
- kosztu błędu,
- odwracalności decyzji,
- wpływu na człowieka,
- jakości danych,
- możliwości monitorowania systemu.
Wiemy już również, że samo dodanie człowieka do procesu nie gwarantuje bezpieczeństwa.
Można przecież mieć pracownika zatwierdzającego decyzje AI, ale nie dać mu wystarczająco dużo czasu na ich analizę. Można wymagać zatwierdzenia, ale nie pokazywać, dlaczego system podjął określoną decyzję. Można stworzyć system, który działa poprawnie przez rok, a następnie zaczyna generować błędne wyniki, ponieważ zmieniły się dane, zachowania użytkowników lub warunki rynkowe.
Dlatego w pewnym momencie pojawia się pytanie znacznie większe niż: "Czy AI działa poprawnie?"
Brzmi ono: "Czy jako organizacja potrafimy kontrolować AI, którą wdrożyliśmy?"
I właśnie tym zajmuje się AI Governance.
Czym jest AI Governance?
AI Governance można najprościej określić jako system zasad, procesów, odpowiedzialności i mechanizmów kontroli dotyczących wykorzystywania sztucznej inteligencji w organizacji.
Nie jest to jeden dokument. Nie jest to jedna procedura. Nie jest to również wyłącznie kwestia prawna.
Dojrzałe AI Governance obejmuje wiele obszarów:
- strategię wykorzystania AI,
- bezpieczeństwo,
- ochronę danych,
- zarządzanie ryzykiem,
- zgodność regulacyjną,
- odpowiedzialność,
- monitorowanie modeli,
- kontrolę dostępu,
- audyt,
- zarządzanie zmianami,
- reagowanie na incydenty.
Można więc powiedzieć, że AI Governance odpowiada na pytanie: "Jak sprawić, żeby sztuczna inteligencja działała zgodnie z celami organizacji, obowiązującymi zasadami i akceptowalnym poziomem ryzyka?"
To szczególnie ważne w momencie, gdy AI przestaje być pojedynczym narzędziem używanym przez pracownika, a zaczyna stawać się elementem procesów biznesowych.
AI Governance to nie hamulec dla innowacji
Jednym z najczęstszych nieporozumień jest traktowanie governance jako biurokracji.
W takim podejściu pojawia się obawa: "Jeśli stworzymy zbyt wiele zasad, nikt nie będzie chciał wdrażać AI."
Problem polega na tym, że brak zasad również ma swoją cenę.
Wyobraźmy sobie firmę, w której:
- każdy pracownik może korzystać z dowolnego narzędzia AI,
- nikt nie wie, jakie dane trafiają do modeli,
- nie wiadomo, które procesy są zautomatyzowane,
- nie istnieje lista wykorzystywanych modeli,
- nikt nie monitoruje wyników,
- nikt nie odpowiada za błędy.
Na początku wszystko może działać świetnie. Aż do momentu, gdy wydarzy się coś nieprzewidzianego.
AI Governance nie powinno więc blokować AI. Powinno tworzyć bezpieczne ramy, w których AI może rozwijać się szybciej.
Dobrze zaprojektowane governance pozwala odpowiedzieć:
- co możemy robić,
- czego nie możemy robić,
- kto podejmuje decyzje,
- kto odpowiada za system,
- jak monitorujemy ryzyko,
- co robimy, gdy coś pójdzie nie tak.
To nie jest hamulec. To pas bezpieczeństwa.
Kto odpowiada za decyzję AI?
To jedno z najtrudniejszych pytań.
Załóżmy, że system AI rekomenduje odrzucenie wniosku klienta. Kto odpowiada za tę decyzję? Programista? Dostawca modelu? Firma, która wdrożyła system? Osoba, która zatwierdziła rekomendację? Manager odpowiedzialny za proces? A może zarząd?
Odpowiedź nie zawsze jest prosta...
Właśnie dlatego odpowiedzialność musi zostać określona przed wdrożeniem systemu, a nie dopiero po wystąpieniu problemu.
W praktyce organizacja powinna jasno określić:
- kto jest właścicielem procesu,
- kto jest właścicielem systemu,
- kto odpowiada za dane,
- kto odpowiada za model,
- kto zatwierdza zmiany,
- kto monitoruje działanie,
- kto może zatrzymać system,
- kto podejmuje decyzje w sytuacji awaryjnej.
W przypadku złożonych systemów AI nie wystarczy powiedzieć: "To zrobiła sztuczna inteligencja."
AI nie jest podmiotem odpowiedzialnym za proces biznesowy. Odpowiedzialność pozostaje po stronie ludzi i organizacji.
AI Governance zaczyna się od inwentaryzacji
Jednym z pierwszych kroków powinno być stworzenie AI Inventory, czyli rejestru systemów i zastosowań AI wykorzystywanych w organizacji.
Brzmi banalnie? - W wielu firmach może się okazać zaskakująco trudne.
Pracownicy korzystają z:
- ChatGPT,
- narzędzi do generowania treści,
- AI w systemach CRM,
- narzędzi do analizy dokumentów,
- asystentów programistycznych,
- automatyzacji,
- agentów AI.
Część z tych rozwiązań może być oficjalnie wdrożona przez firmę. Inne mogą być używane przez pracowników bez formalnej wiedzy organizacji.
To zjawisko często określa się mianem Shadow AI.
Shadow AI - kiedy AI działa poza kontrolą firmy
Shadow AI jest odpowiednikiem znanego wcześniej pojęcia Shadow IT. Pracownik znajduje narzędzie, które pomaga mu wykonywać pracę szybciej. Zaczyna z niego korzystać.
Nikt nie sprawdza:
- jakie dane są przesyłane,
- gdzie są przetwarzane,
- kto ma do nich dostęp,
- jak długo są przechowywane,
- czy informacje mogą być wykorzystane do trenowania modeli.
Z perspektywy pracownika wszystko wygląda świetnie. Z perspektywy organizacji może powstać poważne ryzyko.
Dlatego zakaz korzystania z AI nie zawsze jest dobrym rozwiązaniem. Znacznie lepszym podejściem jest stworzenie jasnych zasad.
Pracownik powinien wiedzieć:
- z jakich narzędzi może korzystać,
- jakich danych nie wolno przesyłać,
- kiedy wymagane jest zatwierdzenie,
- jakie rozwiązania są rekomendowane przez firmę.
Lepiej stworzyć bezpieczną ścieżkę korzystania z AI niż udawać, że pracownicy nie będą jej używać.
Dane - fundament odpowiedzialnego AI
Nie można mówić o governance bez rozmowy o danych. System AI może być bardzo dobry.
Ale jeżeli dane są:
- błędne,
- nieaktualne,
- niekompletne,
- niespójne,
- źle opisane,
to wyniki systemu również mogą być problematyczne.
W organizacji powinny więc istnieć jasne zasady dotyczące:
- źródeł danych,
- jakości danych,
- dostępu,
- przechowywania,
- retencji,
- usuwania,
- anonimizacji,
- pseudonimizacji,
- kontroli wykorzystania danych.
Szczególne znaczenie ma tutaj ochrona danych osobowych.
Nie każda informacja, którą firma posiada, powinna trafiać do modelu AI.
A nawet jeżeli może być przetwarzana, trzeba wiedzieć:
- po co?
- na jakiej podstawie?
- w jaki sposób?
- przez jaki czas?
- kto ma do niej dostęp?
To właśnie dlatego wdrożenie AI powinno być projektowane wspólnie przez zespoły technologiczne, biznesowe, prawne i bezpieczeństwa.
AI Act - dlaczego firmy powinny się nim interesować?
W Unii Europejskiej rozwój sztucznej inteligencji jest również przedmiotem regulacji.
Najważniejszym przykładem jest AI Act, czyli unijne rozporządzenie dotyczące sztucznej inteligencji. Jednym z kluczowych elementów tego podejścia jest klasyfikacja systemów AI według poziomu ryzyka.
W dużym uproszczeniu możemy mówić o:
- systemach stwarzających niedopuszczalne ryzyko,
- systemach wysokiego ryzyka,
- systemach podlegających określonym obowiązkom przejrzystości,
- systemach o ograniczonym lub minimalnym ryzyku.
Nie oznacza to, że każda firma musi tworzyć ogromny dział compliance.
Oznacza jednak, że organizacje powinny wiedzieć, jakiego rodzaju systemy AI wykorzystują i jakie obowiązki mogą się z tym wiązać.
Warto również pamiętać, że regulacje dotyczą nie tylko samego modelu. Znaczenie może mieć również sposób wykorzystania AI.
Ten sam model może być używany do generowania opisu produktu albo wspierania procesu, który wpływa na prawa człowieka. Technologia jest ta sama. Ryzyko - zupełnie inne.
Dlatego governance powinno analizować przede wszystkim zastosowanie systemu, a nie tylko jego nazwę czy producenta.
Explainable AI - dlaczego system powinien umieć się wytłumaczyć?
Jeżeli AI podejmuje decyzję wpływającą na biznes lub człowieka, naturalne staje się pytanie: "Dlaczego?"
Dlaczego system uznał transakcję za podejrzaną?
Dlaczego odrzucił dokument?
Dlaczego zaproponował konkretną cenę?
Dlaczego skierował klienta do określonego procesu?
Właśnie tutaj pojawia się Explainable AI (XAI). To zbiór metod i podejść pomagających zrozumieć, w jaki sposób model doszedł do określonego wyniku. Nie zawsze oznacza to możliwość pokazania całego wewnętrznego procesu działania modelu.
Czasami wystarczy przedstawienie:
- kluczowych czynników wpływających na wynik,
- danych wykorzystanych do analizy,
- poziomu pewności,
- najważniejszych przesłanek,
- alternatywnych scenariuszy.
Dla użytkownika biznesowego często jest to ważniejsze niż techniczny opis modelu.
Logging - pamięć systemu AI
Jeżeli AI podejmuje decyzje, organizacja powinna mieć możliwość odtworzenia tego, co się wydarzyło. Dlatego tak ważne jest logowanie.
W zależności od rodzaju systemu warto rejestrować:
- kiedy wykonano operację,
- jaki model został wykorzystany,
- jaka wersja modelu działała,
- jakie dane wejściowe wykorzystano,
- jaki wynik wygenerowano,
- jaka decyzja została podjęta,
- czy człowiek zatwierdził wynik,
- czy decyzja została zmieniona,
- kto dokonał zmiany.
To pozwala odpowiedzieć na pytanie: "Co dokładnie wydarzyło się w systemie?"
Bez odpowiedniego logowania analiza incydentu może być bardzo trudna. A w systemach autonomicznych może być wręcz niemożliwa.
Monitoring - AI nie jest wdrożeniem typu "ustaw i zapomnij"
To jeden z najważniejszych elementów całej układanki.
Model może działać poprawnie w dniu wdrożenia. Nie oznacza to, że będzie działał równie dobrze za rok.
Zmieniają się:
- dane,
- zachowania użytkowników,
- warunki rynkowe,
- produkty,
- procesy,
- prawo.
Może również zmienić się sposób działania samego systemu. Dlatego trzeba monitorować nie tylko infrastrukturę techniczną, ale również jakość decyzji.
W zależności od zastosowania warto obserwować:
- dokładność,
- liczbę błędów,
- poziom pewności,
- odsetek decyzji przekazywanych do człowieka,
- liczbę interwencji człowieka,
- liczbę reklamacji,
- rozbieżności między rekomendacją AI a decyzją eksperta.
Jeżeli nagle człowiek zaczyna odrzucać 40% rekomendacji AI zamiast wcześniejszych 5%, może to być sygnał, że coś się zmieniło.
Model nadal działa. Ale jego jakość biznesowa już niekoniecznie.
Model Drift - kiedy świat zmienia się szybciej niż model
Jednym z ważnych problemów jest model drift, czyli pogorszenie działania modelu w wyniku zmian w danych lub środowisku.
Przykład?
Model prognozuje popyt na produkty na podstawie danych z ostatnich pięciu lat.
Nagle zmieniają się zachowania konsumentów.
Pojawia się nowy trend.
Zmienia się sytuacja gospodarcza.
Model nadal korzysta z historycznych wzorców.
Problem w tym, że świat już nie wygląda tak samo.
AI nie "wie", że rzeczywistość się zmieniła.
Dlatego system musi być monitorowany, a modele okresowo oceniane i - jeśli to konieczne - aktualizowane.
Guardrails - granice, których AI nie może przekroczyć
W poprzedniej części wspominaliśmy o guardrails. W kontekście AI Governance ich znaczenie jest jeszcze większe.
Guardrails mogą określać:
- jakie dane AI może wykorzystywać,
- jakie działania może wykonywać,
- jakich działań nie może wykonywać,
- jakie wartości może zmieniać,
- kiedy wymagana jest akceptacja człowieka,
- kiedy system musi się zatrzymać.
Przykładowo agent AI może mieć dostęp do systemu zamówień. Może sprawdzić dostępność produktu. Może przygotować zamówienie. Ale nie może samodzielnie zatwierdzić zakupu powyżej 10 000 zł. Jeżeli kwota przekroczy limit, system przekazuje sprawę do człowieka.
To właśnie przykład dobrze zaprojektowanej granicy autonomii.
Kill Switch - system musi mieć przycisk STOP
Brzmi banalnie. Ale jest niezwykle ważne.
Każdy autonomiczny system powinien mieć mechanizm awaryjnego zatrzymania.
Jeżeli:
- model zaczyna generować błędne decyzje,
- system wykonuje nietypowe operacje,
- pojawia się incydent bezpieczeństwa,
- dane wejściowe są nieprawidłowe,
organizacja powinna móc zatrzymać działanie systemu. Nie jutro. Nie po napisaniu zgłoszenia do supportu. Tylko natychmiast!
W zależności od architektury może to oznaczać:
- wyłączenie agenta,
- zablokowanie dostępu do narzędzi,
- zatrzymanie workflow,
- przełączenie na tryb manualny,
- rollback do wcześniejszej wersji.
Autonomia bez możliwości zatrzymania jest bardzo ryzykowna.
Incident Response dla AI
Organizacje od lat mają procedury reagowania na awarie systemów.
W przypadku AI potrzebujemy dodatkowo scenariuszy dotyczących błędnych decyzji modeli.
Co robimy, jeśli:
- AI zacznie generować nieprawidłowe rekomendacje?
- Agent wykona błędne działania?
- Model zacznie wykazywać niepożądane zachowania?
- Dane wejściowe okażą się błędne?
- System naruszy ustalone zasady?
Powinien istnieć jasno określony proces: Wykrycie → zatrzymanie → analiza → korekta → przywrócenie → monitoring
To bardzo ważne szczególnie w systemach, które działają autonomicznie.
Kto powinien odpowiadać za AI w organizacji?
Nie ma jednej uniwersalnej odpowiedzi.
W zależności od wielkości firmy mogą uczestniczyć:
- zarząd,
- CTO,
- CIO,
- CISO,
- dział prawny,
- compliance,
- Data Protection Officer,
- właściciele procesów,
- zespoły IT,
- data scientists,
- inżynierowie ML,
- product managerowie,
- użytkownicy biznesowi.
Ważne jest jednak, aby odpowiedzialność nie została rozmyta.
"AI jest wspólne dla wszystkich" często oznacza w praktyce: "Nikt za nią nie odpowiada."
Dlatego każda istotna inicjatywa AI powinna mieć jasno określonego właściciela.
RACI dla systemów AI
Dobrym narzędziem może być klasyczny model RACI.
Pozwala określić:
Responsible - kto wykonuje zadanie?
Accountable - kto ponosi ostateczną odpowiedzialność?
Consulted - kto powinien zostać skonsultowany?
Informed - kto powinien zostać poinformowany?
Przykładowo dla systemu AI wspierającego obsługę klienta:
- IT odpowiada za infrastrukturę,
- data team za dane,
- właściciel procesu za sposób wykorzystania AI,
- compliance za ocenę wymagań regulacyjnych,
- biznes za akceptację rozwiązania.
Dzięki temu w sytuacji problemu wiadomo, kto powinien zareagować.
AI Governance w małej firmie
AI Governance nie musi oznaczać tworzenia wielkiego komitetu.
Mała firma może zacząć od kilku prostych elementów:
1. Lista narzędzi AI
Wiedzieć, z czego korzystamy.
2. Zasady dotyczące danych
Wiedzieć, czego nie wolno przesyłać do zewnętrznych narzędzi.
3. Klasyfikacja ryzyka
Określić, które zastosowania są niskiego, średniego i wysokiego ryzyka.
4. Właściciel AI
Wyznaczyć osobę odpowiedzialną za koordynację.
5. Zasady Human-in-the-Loop
Określić, kiedy decyzja wymaga człowieka.
6. Monitoring
Sprawdzać, czy system nadal działa zgodnie z założeniami.
To już bardzo dużo.
Najważniejsza jest świadomość.
AI Governance w dużej organizacji
W większej firmie sytuacja jest bardziej złożona.
Może być potrzebne:
- AI Governance Board,
- rejestr modeli,
- klasyfikacja ryzyka,
- proces zatwierdzania nowych zastosowań,
- polityka danych,
- monitoring modeli,
- audyty,
- procedury incydentów,
- kontrola dostępu,
- zarządzanie dostawcami AI,
- regularne przeglądy.
W dużych organizacjach governance powinno być również zintegrowane z istniejącymi procesami:
- IT Governance,
- Security Governance,
- Data Governance,
- Risk Management,
- Compliance.
AI nie funkcjonuje w próżni.
Staje się kolejnym elementem całego ekosystemu zarządzania organizacją.
Najczęstsze błędy w AI Governance
Błąd 1 - governance pojawia się dopiero po wdrożeniu
Najpierw wdrażamy AI.
Później zastanawiamy się, kto za nią odpowiada.
To odwrotna kolejność.
Błąd 2 - governance ogranicza się do dokumentu
Polityka AI sama w sobie niczego nie rozwiązuje.
Jeżeli nikt jej nie stosuje, pozostaje dokumentem.
Błąd 3 - odpowiedzialność zostaje przypisana wyłącznie IT
AI wpływa na biznes, prawo, bezpieczeństwo i ludzi.
Nie może być wyłącznie problemem działu technologicznego.
Błąd 4 - brak monitoringu
Model wdrożono.
Wszyscy zapomnieli.
Po roku okazuje się, że system działa zupełnie inaczej niż na początku.
Błąd 5 - brak możliwości zatrzymania AI
Jeżeli system działa autonomicznie, ale nikt nie może go szybko zatrzymać, organizacja nie kontroluje systemu.
Praktyczna checklista AI Governance
Czy organizacja powinna mieć:
☐ rejestr wykorzystywanych systemów AI,
☐ określonego właściciela każdego istotnego systemu,
☐ klasyfikację poziomu ryzyka,
☐ zasady dotyczące danych,
☐ politykę korzystania z AI,
☐ zasady dotyczące Shadow AI,
☐ mechanizmy kontroli dostępu,
☐ logowanie działań systemu,
☐ monitoring jakości,
☐ procedurę reagowania na incydenty,
☐ możliwość zatrzymania systemu,
☐ zasady Human-in-the-Loop,
☐ regularne przeglądy modeli,
☐ ocenę wymagań regulacyjnych,
☐ jasne zasady odpowiedzialności.
Jeżeli większość odpowiedzi brzmi "nie", firma prawdopodobnie nie ma jeszcze dojrzałego AI Governance.
Słowniczek pojęć
AI Governance
Zbiór zasad, procesów, odpowiedzialności i mechanizmów kontroli dotyczących projektowania, wdrażania i wykorzystywania sztucznej inteligencji.
Shadow AI
Nieformalne lub nieautoryzowane korzystanie przez pracowników z narzędzi AI poza oficjalnym procesem zarządzania organizacji.
AI Inventory
Rejestr systemów, modeli i zastosowań AI wykorzystywanych w organizacji.
Model Drift
Pogorszenie jakości działania modelu wynikające ze zmian w danych lub środowisku, w którym model funkcjonuje.
Explainable AI (XAI)
Podejście i metody umożliwiające lepsze zrozumienie czynników wpływających na wyniki modeli AI.
AI Audit
Ocena systemu AI pod kątem jego działania, bezpieczeństwa, zgodności, jakości danych, ryzyka i spełniania określonych wymagań.
Guardrails
Ograniczenia definiujące, jakie działania system AI może podejmować, a jakich nie może.
Kill Switch
Mechanizm umożliwiający szybkie zatrzymanie systemu lub ograniczenie jego działania w sytuacji awaryjnej.
AI Incident
Zdarzenie związane z systemem AI, które może prowadzić do błędów, naruszeń bezpieczeństwa, niezgodności lub innych niepożądanych konsekwencji.
Najważniejszy wniosek
Human-in-the-Loop mówi nam: "Człowiek powinien pozostać częścią procesu."
AI Governance idzie o krok dalej.
Mówi: "Organizacja musi wiedzieć, jak ten proces kontrolować."
To fundamentalna różnica.
Możemy stworzyć najbardziej zaawansowanego agenta AI. Możemy dać mu dostęp do systemów. Możemy pozwolić mu planować i wykonywać działania.
Ale jeżeli nie wiemy:
- co robi,
- dlaczego to robi,
- kto za niego odpowiada,
- na jakich danych działa,
- kiedy zaczyna się mylić,
- jak go zatrzymać,
to nie stworzyliśmy inteligentnego systemu. Stworzyliśmy system, którego nie potrafimy kontrolować.
A w świecie coraz bardziej autonomicznych agentów to właśnie kontrola może stać się jedną z najważniejszych przewag konkurencyjnych organizacji.
W ostatniej, czwartej części serii przejdziemy od zasad do architektury.
Pokażemy, jak może wyglądać system AI zaprojektowany z myślą o bezpieczeństwie, kontroli i odpowiedzialności - od modelu i agenta, przez warstwę decyzyjną i reguły biznesowe, aż po workflow, monitoring, Human Override i mechanizmy awaryjne.
Bo ostatecznie najważniejsze pytanie nie brzmi: "Czy potrafimy zbudować autonomicznego agenta AI?"
Dzisiaj coraz częściej potrafimy.
Pytanie brzmi: "Czy potrafimy zbudować takiego agenta, nad którym nadal mamy kontrolę?"
