In het vorige deel van onze serie beantwoordden we de vraag, wanneer AI zelfstandig kan handelen en wanneer het een mens nodig heeft.
We lieten zien dat het niveau van autonomie onder andere afhangt van:
- het risico,
- de foutkost,
- de herstelbaarheid van de beslissing,
- de impact op mensen,
- de kwaliteit van de data,
- de mogelijkheid om het systeem te monitoren.
We weten inmiddels ook dat het enkel toevoegen van een mens in het proces geen garantie biedt voor veiligheid.
Je kunt een medewerker hebben die AI-beslissingen goedkeurt, maar je geeft hem niet genoeg tijd om die te analyseren. Je kunt goedkeuring vereisen, maar niet laten zien waarom het systeem een bepaalde beslissing nam. Je kunt een systeem bouwen dat een jaar lang goed werkt en daarna foutieve resultaten begint te geven omdat de data, het gebruikersgedrag of de marktomstandigheden veranderden.
Daarom rijst op een gegeven moment een veel grotere vraag dan: "Werkt AI correct?"
Die vraag luidt: "Kunnen wij als organisatie AI die we hebben uitgerold onder controle houden?"
En precies dat is waar AI Governance over gaat.
Wat is AI Governance?
AI Governance kan eenvoudig worden omschreven als een systeem van regels, processen, verantwoordelijkheden en controlemechanismen met betrekking tot het gebruik van kunstmatige intelligentie binnen een organisatie.
Het is niet één document. Het is niet één procedure. Het is ook niet uitsluitend een juridische kwestie.
Volwassen AI Governance omvat veel gebieden:
- AI-strategie,
- veiligheid,
- gegevensbescherming,
- risicomanagement,
- regelgeving en compliance,
- verantwoordingsplicht,
- modelmonitoring,
- toegangscontrole,
- audit,
- change management,
- incident response.
Je kunt dus zeggen dat AI Governance antwoord geeft op de vraag: "Hoe zorgen we ervoor dat kunstmatige intelligentie handelt in lijn met de doelstellingen van de organisatie, geldende regels en een acceptabel risiconiveau?"
Dat is vooral belangrijk wanneer AI ophoudt een enkelvoudig hulpmiddel te zijn dat door een medewerker wordt gebruikt en begint een integraal onderdeel van bedrijfsprocessen te worden.
AI Governance is geen rem op innovatie
Een veelvoorkomend misverstand is governance te zien als bureaucratie.
Dan ontstaat de angst: "Als we te veel regels maken, wil niemand AI implementeren."
Het probleem is dat het ontbreken van regels ook zijn prijs heeft.
Stel je een bedrijf voor waarin:
- iedere medewerker elk AI-gereedschap kan gebruiken,
- niemand weet welke data naar modellen gaan,
- men niet weet welke processen geautomatiseerd zijn,
- er geen lijst van gebruikte modellen bestaat,
- niemand de uitkomsten monitort,
- niemand verantwoordelijk is voor fouten.
In het begin kan alles prima werken. Totdat er iets onverwachts gebeurt.
AI Governance zou AI dus niet moeten blokkeren. Het zou veilige kaders moeten creëren waarin AI sneller kan groeien.
Goed ontworpen governance geeft antwoord op:
- wat we kunnen doen,
- wat we niet kunnen doen,
- wie beslissingen neemt,
- wie verantwoordelijk is voor het systeem,
- hoe we risico monitoren,
- wat we doen als er iets misgaat.
Het is geen rem; het is een veiligheidsriem.
Wie is verantwoordelijk voor een AI-beslissing?
Dat is een van de moeilijkste vragen.
Stel dat een AI-systeem aanbeveelt een klantaanvraag af te wijzen. Wie draagt de verantwoordelijkheid? De programmeur? De modelleverancier? Het bedrijf dat het systeem implementeerde? De persoon die de aanbeveling goedkeurde? De manager verantwoordelijk voor het proces? Of misschien het bestuur?
Het antwoord is niet altijd eenvoudig...
Daarom moet verantwoordelijkheid voorafgaand aan de implementatie duidelijk worden vastgelegd, niet pas nadat er een probleem is opgetreden.
In de praktijk zou een organisatie duidelijk moeten definiëren:
- wie de eigenaar van het proces is,
- wie de eigenaar van het systeem is,
- wie verantwoordelijk is voor de data,
- wie verantwoordelijk is voor het model,
- wie wijzigingen goedkeurt,
- wie het functioneren monitort,
- wie het systeem kan stoppen,
- wie beslissingen neemt in noodsituaties.
Bij complexe AI-systemen volstaat het niet te zeggen: "Het deed de AI."
AI is geen entiteit die verantwoordelijk is voor een bedrijfsproces. De verantwoordelijkheid blijft bij mensen en de organisatie liggen.
AI Governance begint met inventarisatie
Een van de eerste stappen zou het opstellen van een AI-inventaris moeten zijn, een register van systemen en AI-toepassingen die in de organisatie worden gebruikt.
Klinkt simpel? In veel bedrijven kan het verrassend moeilijk blijken.
Medewerkers gebruiken onder andere:
- ChatGPT,
- tools voor contentgeneratie,
- AI in CRM-systemen,
- documentanalysetools,
- programmeersupport-assistenten,
- automatiseringen,
- AI-agenten.
Sommige van deze oplossingen kunnen officieel door het bedrijf zijn ingevoerd. Anderen worden door medewerkers gebruikt zonder formele kennis van de organisatie.
Dit fenomeen wordt vaak aangeduid als Shadow AI.
Shadow AI - wanneer AI buiten de controle van het bedrijf opereert
Shadow AI is het equivalent van het eerder bekende begrip Shadow IT. Een medewerker vindt een tool die hem helpt sneller te werken en begint die te gebruiken.
Niemand controleert:
- welke data worden verzonden,
- waar ze worden verwerkt,
- wie er toegang toe heeft,
- hoe lang ze worden bewaard,
- of de informatie gebruikt kan worden om modellen te trainen.
Voor de medewerker ziet alles er prima uit. Voor de organisatie kunnen er echter aanzienlijke risico's ontstaan.
Daarom is het verbieden van AI-gebruik niet altijd de beste oplossing. Een veel beter benadering is het opstellen van duidelijke regels.
Een medewerker moet weten:
- welke tools hij kan gebruiken,
- welke data niet mogen worden verzonden,
- wanneer goedkeuring vereist is,
- welke oplossingen door het bedrijf worden aanbevolen.
Beter een veilige route voor het gebruik van AI creëren dan doen alsof medewerkers het niet zullen gebruiken.
Data - de fundering van verantwoordelijke AI
Je kunt niet over governance praten zonder het over data te hebben. Een AI-systeem kan heel goed zijn.
Maar als de data:
- foutief zijn,
- verouderd zijn,
- onvolledig zijn,
- inconsistent zijn,
- slecht beschreven zijn,
kunnen de resultaten van het systeem ook problematisch zijn.
Een organisatie moet daarom duidelijke regels hebben over:
- de databronnen,
- de datakwaliteit,
- toegang,
- opslag,
- retentie,
- verwijdering,
- anonimisering,
- pseudonimisering,
- controle van datagebruik.
Bescherming van persoonsgegevens is hierbij bijzonder belangrijk.
Niet elke informatie die een bedrijf heeft, zou in een AI-model moeten worden gebruikt.
En zelfs als verwerking mogelijk is, moet je weten:
- waarom?
- op welke rechtsgrond?
- op welke manier?
- hoe lang?
- wie heeft toegang?
Daarom moet de implementatie van AI worden ontworpen in samenwerking met technische, zakelijke, juridische en security-teams.
AI Act - waarom zouden bedrijven hierin geïnteresseerd moeten zijn?
In de Europese Unie is de ontwikkeling van kunstmatige intelligentie ook onderwerp van regelgeving.
Het belangrijkste voorbeeld is de AI Act, de EU-regelgeving voor kunstmatige intelligentie. Een van de kernpunten is de classificatie van AI-systemen op basis van risiconiveau.
In grote lijnen kunnen we spreken over:
- systemen met onaanvaardbaar risico,
- systemen met hoog risico,
- systemen die bepaalde transparantieverplichtingen hebben,
- systemen met beperkt of minimaal risico.
Dat betekent niet dat elk bedrijf een enorme compliance-afdeling moet opzetten.
Het betekent wel dat organisaties moeten weten welke soorten AI-systemen ze gebruiken en welke verplichtingen daaraan verbonden kunnen zijn.
Houd ook in gedachten dat regelgeving niet alleen het model betreft. De wijze van gebruik van AI kan even belangrijk zijn.
Hetzelfde model kan worden gebruikt om een productbeschrijving te genereren of om een proces te ondersteunen dat mensenrechten raakt. De technologie is hetzelfde; het risico is totaal verschillend.
Daarom moet governance vooral kijken naar de toepassing van het systeem, niet alleen naar de naam of de leverancier.
Explainable AI - waarom moet een systeem zichzelf kunnen verklaren?
Als AI een beslissing neemt die impact heeft op het bedrijf of op mensen, ontstaat vanzelf de vraag: "Waarom?"
Waarom beschouwde het systeem een transactie als verdacht?
Waarom wees het een document af?
Waarom stelde het een specifieke prijs voor?
Waarom verwees het de klant naar een bepaald proces?
Hier komt Explainable AI (XAI) in beeld. Het is een verzameling methoden en benaderingen die helpen te begrijpen hoe een model tot een bepaalde uitkomst is gekomen. Dat betekent niet altijd dat je het volledige interne proces van het model kunt tonen.
Soms volstaat het om te presenteren:
- de belangrijkste factoren die de uitkomst beïnvloedden,
- de data die voor de analyse werden gebruikt,
- het betrouwbaarheidsniveau,
- de belangrijkste aannames,
- alternatieve scenario's.
Voor de zakelijke gebruiker is dit vaak belangrijker dan een technische beschrijving van het model.
Logging - het geheugen van het AI-systeem
Als AI beslissingen neemt, moet de organisatie kunnen reconstrueren wat er is gebeurd. Daarom is logging zo belangrijk.
Afhankelijk van het type systeem is het zinvol om te loggen:
- wanneer een operatie werd uitgevoerd,
- welk model is gebruikt,
- welke modelversie werkte,
- welke inputdata werden gebruikt,
- welke uitkomst is gegenereerd,
- welke beslissing is genomen,
- of een mens de uitkomst heeft goedgekeurd,
- of de beslissing is aangepast,
- wie de wijziging heeft gemaakt.
Dat stelt je in staat de vraag te beantwoorden: "Wat is er precies in het systeem gebeurd?"
Zonder adequate logging kan het analyseren van een incident erg moeilijk zijn. En in autonome systemen zelfs onmogelijk.
Monitoring - AI is geen "plaats en vergeet" implementatie
Dit is een van de belangrijkste onderdelen van het geheel.
Een model kan op de implementatiedag goed werken. Dat betekent niet dat het over een jaar nog even goed zal werken.
Er veranderen:
- data,
- het gedrag van gebruikers,
- marktcondities,
- producten,
- processen,
- wetgeving.
De werking van het systeem zelf kan ook veranderen. Daarom moet je niet alleen de technische infrastructuur monitoren, maar ook de kwaliteit van beslissingen.
Afhankelijk van de toepassing is het zinvol om te monitoren:
- nauwkeurigheid,
- aantal fouten,
- vertrouwensniveau,
- percentage beslissingen dat naar een mens wordt gestuurd,
- aantal menselijke interventies,
- aantal klachten,
- discrepanties tussen AI-aanbeveling en expertbeslissing.
Als plotseling mensen 40% van de AI-aanbevelingen gaan afwijzen in plaats van de gebruikelijke 5%, kan dat een signaal zijn dat er iets is veranderd.
Het model werkt nog steeds, maar de zakelijke kwaliteit ervan is mogelijk niet meer toereikend.
Model Drift - wanneer de wereld sneller verandert dan het model
Een belangrijk probleem is model drift, het verslechteren van modelprestaties door veranderingen in data of de omgeving.
Een voorbeeld?
Een model voorspelt productvraag op basis van de afgelopen vijf jaar data.
Plotseling veranderen consumentengedragingen.
Een nieuwe trend ontstaat.
De economische situatie verandert.
Het model blijft vertrouwen op historische patronen.
Het probleem is dat de werkelijkheid niet meer hetzelfde is.
AI "weet" niet dat de realiteit is veranderd.
Daarom moet het systeem worden gemonitord en moeten modellen periodiek worden beoordeeld en zo nodig geüpdatet.
Guardrails - grenzen die AI niet mag overschrijden
In het vorige deel noemden we al guardrails. Binnen AI Governance is hun belang nog groter.
Guardrails kunnen bepalen:
- welke data AI mag gebruiken,
- welke acties het mag uitvoeren,
- welke acties het niet mag uitvoeren,
- welke waarden het mag aanpassen,
- wanneer menselijke acceptatie vereist is,
- wanneer het systeem moet stoppen.
Bijvoorbeeld: een AI-agent kan toegang hebben tot het bestelsysteem. Hij kan beschikbaarheid controleren en een bestelling voorbereiden. Maar hij mag een aankoop boven €10.000 niet zelfstandig goedkeuren. Als het bedrag boven de limiet komt, stuurt het systeem het naar een mens.
Dit is een voorbeeld van goed ontworpen grenzen voor autonomie.
Kill Switch - het systeem moet een STOP-knop hebben
Klinkt voor de hand liggend, maar het is uiterst belangrijk.
Elk autonoom systeem moet een noodstopsignaal hebben.
Als:
- het model foutieve beslissingen begint te genereren,
- het systeem ongebruikelijke operaties uitvoert,
- er een security-incident plaatsvindt,
- de inputdata onjuist blijken,
moet de organisatie het systeem kunnen stoppen. Niet morgen. Niet na een supportticket. Direct!
Afhankelijk van de architectuur kan dat betekenen:
- het uitschakelen van een agent,
- het blokkeren van toegang tot tools,
- het stoppen van een workflow,
- overschakelen naar handmatige modus,
- rollback naar een eerdere versie.
Autonomie zonder mogelijkheid tot stoppen is erg riskant.
Incident Response voor AI
Organisaties hebben al jaren procedures voor het reageren op systeemstoringen.
Voor AI hebben we daarnaast scenario's nodig rond foutieve modelbeslissingen.
Wat doen we als:
- AI foutieve aanbevelingen begint te geven?
- een agent verkeerde handelingen uitvoert?
- een model ongewenst gedrag vertoont?
- de inputdata onjuist blijken?
- het systeem de vastgestelde regels overtreedt?
Er moet een duidelijk proces zijn: Detectie → stoppen → analyse → correctie → herstel → monitoring
Dit is vooral belangrijk bij systemen die autonoom opereren.
Wie moet er verantwoordelijk zijn voor AI in de organisatie?
Er is geen universeel antwoord.
Afhankelijk van de omvang van het bedrijf kunnen de volgende partijen betrokken zijn:
- het bestuur,
- CTO,
- CIO,
- CISO,
- juridische afdeling,
- compliance,
- Data Protection Officer,
- proces-eigenaren,
- IT-teams,
- data scientists,
- ML-engineers,
- productmanagers,
- zakelijke gebruikers.
Belangrijk is dat verantwoordelijkheid niet diffuus wordt.
"AI is van iedereen" betekent in de praktijk vaak: "Niemand is verantwoordelijk."
Daarom moet elke significante AI-initiatief een duidelijk aangewezen eigenaar hebben.
RACI voor AI-systemen
Een handig hulpmiddel kan het klassieke RACI-model zijn.
Het helpt bepalen:
Responsible - wie voert de taak uit?
Accountable - wie draagt de uiteindelijke verantwoordelijkheid?
Consulted - wie moet worden geraadpleegd?
Informed - wie moet worden geïnformeerd?
Bijvoorbeeld voor een AI-systeem dat de klantenservice ondersteunt:
- IT is verantwoordelijk voor de infrastructuur,
- het datateam voor de data,
- de proceseigenaar voor het gebruik van AI,
- compliance voor de beoordeling van regelgevingsvereisten,
- het businessteam voor de acceptatie van de oplossing.
Dankzij dit model weet je wie moet reageren als er iets misgaat.
AI Governance in een klein bedrijf
AI Governance hoeft geen groot comité te betekenen.
Een klein bedrijf kan beginnen met een paar eenvoudige elementen:
1. Lijst van AI-tools
Weten welke tools we gebruiken.
2. Regels voor data
Weten wat niet naar externe tools mag worden gestuurd.
3. Risicoclassificatie
Bepalen welke toepassingen laag, middel en hoog risico hebben.
4. AI-eigenaar
Iemand aanwijzen die coördineert.
5. Human-in-the-Loop regels
Bepalen wanneer een beslissing een mens vereist.
6. Monitoring
Controleren of het systeem nog volgens de aannames werkt.
Dat is al heel veel.
Het belangrijkste is bewustzijn.
AI Governance in een grote organisatie
In een groter bedrijf is de situatie complexer.
Misschien zijn nodig:
- een AI Governance Board,
- een modelregister,
- risicoclassificatie,
- een goedkeuringsproces voor nieuwe toepassingen,
- databeleid,
- modelmonitoring,
- audits,
- incidentprocedures,
- toegangscontrole,
- leveranciersbeheer,
- regelmatige reviews.
In grote organisaties moet governance ook geïntegreerd zijn met bestaande processen:
- IT Governance,
- Security Governance,
- Data Governance,
- Risk Management,
- Compliance.
AI opereert niet in een vacuüm.
Het wordt een onderdeel van het gehele organisatiemanagement-ecosysteem.
Veelgemaakte fouten in AI Governance
Fout 1 - governance verschijnt pas na implementatie
Eerst implementeren we AI.
Later vragen we ons af wie verantwoordelijk is.
Dat is de omgekeerde volgorde.
Fout 2 - governance beperkt zich tot een document
Een AI-beleid op papier lost niets op.
Als niemand het toepast, blijft het slechts een document.
Fout 3 - verantwoordelijkheid alleen bij IT leggen
AI raakt business, recht, security en mensen.
Het kan niet alleen een technologisch probleem van de IT-afdeling zijn.
Fout 4 - geen monitoring
Het model is uitgerold.
Iedereen vergeet het.
Een jaar later blijkt het systeem totaal anders te functioneren dan in het begin.
Fout 5 - geen mogelijkheid om AI te stoppen
Als een systeem autonoom werkt maar niemand het snel kan stoppen, controleert de organisatie het systeem niet.
Praktische checklist AI Governance
Moet de organisatie hebben:
☐ een register van gebruikte AI-systemen,
☐ een aangewezen eigenaar voor elk belangrijk systeem,
☐ classificatie van het risiconiveau,
☐ regels met betrekking tot data,
☐ een beleid voor AI-gebruik,
☐ regels rondom Shadow AI,
☐ toegangscontrolemechanismen,
☐ logging van systeemactiviteiten,
☐ monitoring van kwaliteit,
☐ een procedure voor incidentrespons,
☐ de mogelijkheid om het systeem te stoppen,
☐ Human-in-the-Loop-regels,
☐ regelmatige modelreviews,
☐ beoordeling van regelgevende vereisten,
☐ duidelijke verantwoordelijkheidregels.
Als de meeste antwoorden "nee" zijn, heeft het bedrijf waarschijnlijk nog geen volwassen AI Governance.
Woordenlijst
AI Governance
Een verzameling regels, processen, verantwoordelijkheden en controlemechanismen met betrekking tot het ontwerpen, implementeren en gebruiken van kunstmatige intelligentie.
Shadow AI
Informeel of niet-geautoriseerd gebruik van AI-tools door medewerkers buiten het officiële beheersproces van de organisatie.
AI Inventory
Een register van systemen, modellen en AI-toepassingen die in de organisatie worden gebruikt.
Model Drift
Verslechtering van de modelprestaties door veranderingen in data of de omgeving waarin het model opereert.
Explainable AI (XAI)
Benaderingen en methoden die beter inzicht geven in factoren die de uitkomsten van AI-modellen beïnvloeden.
AI Audit
Beoordeling van een AI-systeem op werking, veiligheid, compliance, datakwaliteit, risico's en het voldoen aan specifieke vereisten.
Guardrails
Beperkingen die definiëren welke acties een AI-systeem wel en niet mag uitvoeren.
Kill Switch
Een mechanisme om het systeem snel te stoppen of zijn werking te beperken in een noodsituatie.
AI Incident
Een gebeurtenis gerelateerd aan een AI-systeem die kan leiden tot fouten, beveiligingsinbreuken, non-compliance of andere ongewenste consequenties.
Belangrijkste conclusie
Human-in-the-Loop zegt ons: "Een mens moet deel blijven uitmaken van het proces."
AI Governance gaat een stap verder.
Het zegt: "De organisatie moet weten hoe dit proces te controleren."
Dat is een fundamenteel verschil.
We kunnen de meest geavanceerde AI-agent bouwen. We kunnen hem toegang geven tot systemen. We kunnen hem laten plannen en handelen.
Maar als we niet weten:
- wat hij doet,
- waarom hij dat doet,
- wie er verantwoordelijk is,
- op welke data hij werkt,
- wanneer hij begint fouten te maken,
- hoe we hem kunnen stoppen,
dan hebben we geen intelligent systeem gebouwd; we hebben een systeem gebouwd dat we niet kunnen beheersen.
En in een wereld van steeds autonomere agenten kan juist controle een van de belangrijkste concurrentievoordelen van een organisatie worden.
In het laatste, vierde deel van de serie gaan we van principes naar architectuur.
We laten zien hoe een AI-systeem ontworpen kan worden met veiligheid, controle en verantwoordelijkheid in gedachten - van model en agent, via de beslissingslaag en zakelijke regels, tot workflow, monitoring, Human Override en noodmechanismen.
Want uiteindelijk is de belangrijkste vraag niet: "Kunnen we een autonome AI-agent bouwen?"
Tegenwoordig kunnen we dat steeds vaker.
De vraag is: "Kunnen we zo'n agent bouwen waar we nog steeds controle over hebben?"
