I den forrige del af vores serie svarede vi på spørgsmålet, hvornår AI kan handle selvstændigt, og hvornår den har brug for et menneske.
Vi viste, at graden af autonomi blandt andet bør afhænge af:
- risikoen,
- omkostningerne ved en fejl,
- om beslutningen kan trækkes tilbage,
- indvirkningen på mennesker,
- datakvaliteten,
- mulighederne for at overvåge systemet.
Vi ved også allerede, at det at sætte et menneske ind i processen ikke i sig selv garanterer sikkerhed.
Man kan have en medarbejder, der godkender AI-beslutninger, men ikke give vedkommende tid nok til at analysere dem. Man kan kræve godkendelse, men undlade at vise, hvorfor systemet traf en bestemt beslutning. Man kan skabe et system, der fungerer korrekt i et år, og som derefter begynder at levere forkerte resultater, fordi dataene, brugernes adfærd eller markedsforholdene har ændret sig.
Derfor opstår på et tidspunkt et langt større spørgsmål end: "Fungerer AI korrekt?"
Det lyder snarere: "Kan vi som organisation kontrollere den AI, vi har implementeret?"
Og det er netop, hvad AI Governance handler om.
Hvad er AI Governance?
AI Governance kan enklest beskrives som et system af regler, processer, ansvar og kontrolmekanismer vedrørende brugen af kunstig intelligens i en organisation.
Det er ikke ét dokument. Det er ikke én procedure. Det er heller ikke kun et juridisk spørgsmål.
Moden AI Governance dækker mange områder:
- strategi for brug af AI,
- sikkerhed,
- databeskyttelse,
- risikostyring,
- overholdelse af regler og lovgivning,
- ansvarlighed,
- modelovervågning,
- adgangskontrol,
- revision,
- ændringsstyring,
- håndtering af hændelser.
Man kan derfor sige, at AI Governance svarer på spørgsmålet: "Hvordan sikrer vi, at kunstig intelligens virker i overensstemmelse med organisationens mål, gældende regler og et acceptabelt risikoniveau?"
Det er især vigtigt, når AI ikke længere er et enkelt værktøj, som en medarbejder bruger, men bliver en del af forretningsprocesserne.
AI Governance er ikke en brems for innovation
Et af de hyppigste misforståelser er at opfatte governance som bureaukrati.
I et sådant perspektiv opstår frygten: "Hvis vi laver for mange regler, vil ingen ønske at implementere AI."
Problemet er, at manglen på regler også har en pris.
Forestil dig en virksomhed, hvor:
- enhver medarbejder kan bruge ethvert AI-værktøj,
- ingen ved, hvilke data der sendes til modellerne,
- det er uklart, hvilke processer der er automatiseret,
- der findes ingen liste over anvendte modeller,
- ingen overvåger resultaterne,
- ingen er ansvarlig for fejl.
I starten kan alt godt fungere. Indtil noget uventet sker.
AI Governance bør derfor ikke blokere AI. Det bør skabe sikre rammer, hvor AI kan udvikle sig hurtigere.
Veludformet governance gør det muligt at besvare:
- hvad vi kan gøre,
- hvad vi ikke kan gøre,
- hvem træffer beslutninger,
- hvem er ansvarlig for systemet,
- hvordan vi overvåger risici,
- hvad vi gør, når noget går galt.
Det er ikke en brems. Det er et sikkerhedssele.
Hvem er ansvarlig for en AI-beslutning?
Det er et af de sværeste spørgsmål.
Antag, at et AI-system anbefaler at afvise en kundes ansøgning. Hvem er ansvarlig for den beslutning? Udvikleren? Modelleverandøren? Virksomheden, der implementerede systemet? Den person, der godkendte anbefalingen? Processchefen? Eller måske ledelsen?
Svaret er ikke altid enkelt...
Derfor skal ansvar fastlægges før systemet implementeres, ikke først efter et problem er opstået.
I praksis bør organisationen klart definere:
- hvem der ejer processen,
- hvem der ejer systemet,
- hvem er ansvarlig for data,
- hvem er ansvarlig for modellen,
- hvem godkender ændringer,
- hvem overvåger driften,
- hvem kan stoppe systemet,
- hvem træffer beslutninger i nødssituationer.
For komplekse AI-systemer er det ikke nok at sige: "Det var AI'en."
AI er ikke et juridisk ansvarligt subjekt for forretningsprocessen. Ansvaret forbliver hos mennesker og organisationen.
AI Governance begynder med inventar
Et af de første skridt bør være at oprette et AI-inventar, altså en registrering af AI-systemer og -anvendelser i organisationen.
Lyder det banalt? I mange virksomheder kan det vise sig at være overraskende svært.
Medarbejdere bruger blandt andet:
- ChatGPT,
- værktøjer til generering af indhold,
- AI-funktioner i CRM-systemer,
- dokumentanalyseværktøjer,
- programmeringsassistenter,
- automatisering,
- AI-agenter.
Nogle af disse løsninger kan være officielt implementeret af virksomheden. Andre kan blive brugt af medarbejdere uden formel viden i organisationen.
Dette fænomen kaldes ofte Shadow AI.
Shadow AI - når AI virker uden for virksomhedens kontrol
Shadow AI er analogt med det tidligere kendte begreb Shadow IT. En medarbejder finder et værktøj, der hjælper med at udføre arbejdet hurtigere. Vedkommende begynder at bruge det.
Ingen kontrollerer:
- hvilke data der sendes,
- hvor de behandles,
- hvem der har adgang til dem,
- hvor længe de gemmes,
- om oplysningerne kan bruges til at træne modeller.
For medarbejderen ser alt fint ud. For organisationen kan der opstå betydelige risici.
Derfor er et forbud mod AI-brug ikke altid den bedste løsning. En langt bedre tilgang er at etablere klare regler.
Medarbejderen bør vide:
- hvilke værktøjer de må bruge,
- hvilke data der ikke må sendes,
- hvornår godkendelse er nødvendig,
- hvilke løsninger virksomheden anbefaler.
Det er bedre at skabe en sikker vej for brug af AI end at lade som om, medarbejdere ikke vil bruge den.
Data - fundamentet for ansvarlig AI
Man kan ikke tale om governance uden at tale om data. Et AI-system kan være fremragende.
Men hvis data er:
- forkerte,
- forældede,
- ufulde,
- inkonsistente,
- dårligt beskrevet,
så kan systemets resultater også være problematiske.
Organisationen bør derfor have klare regler vedrørende:
- datakilder,
- datakvalitet,
- adgang,
- opbevaring,
- opbevaringsperiode,
- sletning,
- anonymisering,
- pseudonymisering,
- kontrol med dataanvendelse.
Beskyttelse af personoplysninger er særligt vigtigt her.
Ikke alle oplysninger, som virksomheden ejer, bør overføres til en AI-model.
Og selv når data må behandles, bør man vide:
- hvorfor?
- på hvilket grundlag?
- hvordan?
- i hvor lang tid?
- hvem har adgang?
Derfor bør implementering af AI designes i fællesskab af tekniske teams, forretningsenheder, juridiske og sikkerhedsteams.
AI Act - hvorfor bør virksomheder interessere sig?
I EU er udviklingen af kunstig intelligens også genstand for regulering.
Den vigtigste reference er AI Act, EU's forordning om kunstig intelligens. Et centralt element i denne tilgang er klassificeringen af AI-systemer efter risikoniveau.
Kort fortalt kan vi tale om:
- systemer, der udgør uacceptabel risiko,
- systemer med høj risiko,
- systemer, der er underlagt bestemte gennemsigtighedskrav,
- systemer med begrænset eller minimal risiko.
Det betyder ikke, at alle virksomheder skal oprette en stor compliance-afdeling.
Det betyder dog, at organisationer bør kende hvilke typer AI-systemer de bruger, og hvilke forpligtelser der kan følge med.
Det er også vigtigt at huske, at reguleringer ikke kun handler om selve modellen. Anvendelsen af AI kan også have betydning.
Den samme model kan bruges til at generere en produktbeskrivelse eller understøtte en proces, der påvirker menneskerettigheder. Teknologien er den samme. Risikoen er helt forskellig.
Derfor bør governance primært analysere hvordan systemet anvendes, ikke kun dets navn eller producent.
Explainable AI - hvorfor bør systemet kunne forklare sig?
Hvis AI træffer beslutninger, der påvirker forretning eller mennesker, bliver spørgsmålet naturligt: "Hvorfor?"
Hvorfor vurderede systemet en transaktion som mistænkelig?
Hvorfor afviste det et dokument?
Hvorfor foreslog det en bestemt pris?
Hvorfor henviste det en kunde til en bestemt proces?
Her kommer Explainable AI (XAI) ind i billedet. Det er et sæt metoder og tilgange, som hjælper med at forstå, hvordan modellen nåede et bestemt resultat. Det betyder ikke altid, at man kan vise hele den interne beslutningsproces i modellen.
Ofte er det nok at præsentere:
- de vigtigste faktorer, der påvirkede resultatet,
- de data, der blev brugt i analysen,
- niveauet af sikkerhed/konfidens,
- de vigtigste begrundelser,
- alternative scenarier.
For en forretningsbruger er dette ofte vigtigere end en teknisk beskrivelse af modellen.
Logging - systemets hukommelse
Hvis AI træffer beslutninger, bør organisationen kunne genskabe, hvad der skete. Derfor er logging så vigtigt.
Afhængigt af systemtypen bør man registrere eksempelvis:
- hvornår operationen blev udført,
- hvilken model der blev brugt,
- hvilken modelversion der kørte,
- hvilke inputdata der blev brugt,
- hvilket output der blev genereret,
- hvilken beslutning der blev truffet,
- om et menneske godkendte resultatet,
- om beslutningen blev ændret,
- hvem der foretog ændringen.
Det gør det muligt at besvare spørgsmålet: "Hvad skete der præcist i systemet?"
Uden passende logging kan en hændelsesanalyse blive meget vanskelig. I autonome systemer kan det endda være umuligt.
Overvågning - AI er ikke "sæt og glem"
Dette er et af de vigtigste elementer i hele puslespillet.
En model kan fungere korrekt på implementeringstidspunktet. Det betyder ikke, at den vil fungere lige så godt om et år.
Følgende ændrer sig:
- data,
- brugernes adfærd,
- markedsforhold,
- produkter,
- processer,
- lovgivning.
Selve systemets adfærd kan også ændre sig. Derfor må man overvåge ikke kun den tekniske infrastruktur, men også kvaliteten af beslutningerne.
Afhængigt af anvendelsen bør man observere:
- præcision,
- antal fejl,
- konfidensniveau,
- andelen af beslutninger eskaleret til menneske,
- antal menneskelige interventioner,
- antal klager,
- afvigelser mellem AI-anbefaling og ekspertbeslutning.
Hvis pludselig mennesker begynder at afvise 40% af AI-anbefalingerne i stedet for tidligere 5%, kan det være et signal om, at noget har ændret sig.
Modellen virker stadig. Men dens forretningsmæssige kvalitet gør måske ikke længere det.
Model Drift - når verden ændrer sig hurtigere end modellen
Et vigtigt problem er model drift, altså forringelse af modellens præstation som følge af ændringer i data eller i det miljø, hvor modellen anvendes.
Et eksempel?
En model forudsiger efterspørgsel baseret på de sidste fem års data.
Pludseligt ændrer forbrugernes adfærd sig.
En ny trend opstår.
Den økonomiske situation ændrer sig.
Modellen fortsætter med at bruge historiske mønstre.
Problemet er, at verden ikke længere ser ud som før.
AI "ved" ikke, at virkeligheden har ændret sig.
Derfor skal systemet overvåges, og modellerne bør periodisk vurderes og om nødvendigt opdateres.
Guardrails - grænser, AI ikke må overskride
I den forrige del nævnte vi guardrails. I forbindelse med AI Governance er deres betydning endnu større.
Guardrails kan definere blandt andet:
- hvilke data AI må bruge,
- hvilke handlinger den må udføre,
- hvilke handlinger den ikke må udføre,
- hvilke værdier den må ændre,
- hvornår menneskelig accept kræves,
- hvornår systemet skal stoppe.
For eksempel kan en AI-agent have adgang til ordresystemet. Den kan tjekke lagerstatus. Den kan forberede en ordre. Men den må ikke selv godkende et køb over 10.000 kr. Hvis beløbet overstiger grænsen, eskaleres sagen til et menneske.
Dette er et eksempel på en veldefineret grænse for autonomi.
Kill Switch - systemet skal have en STOP-knap
Det lyder banalt. Men det er yderst vigtigt.
Hvert autonomt system bør have en mekanisme til nødstop.
Hvis:
- modellen begynder at generere forkerte beslutninger,
- systemet udfører usædvanlige operationer,
- der opstår en sikkerhedshændelse,
- inputdata er forkerte,
så bør organisationen kunne stoppe systemets drift. Ikke i morgen. Ikke efter at have skrevet en supportticket. Men øjeblikkeligt!
Afhængigt af arkitektur kan det betyde:
- deaktivering af agenten,
- blokering af adgang til værktøjer,
- stop af workflow,
- skift til manuel drift,
- rollback til en tidligere version.
Autonomi uden mulighed for at stoppe er meget risikabelt.
Incident Response for AI
Organisationer har i årevis haft procedurer til håndtering af systemfejl.
For AI har vi brug for yderligere scenarier vedrørende forkerte modelbeslutninger.
Hvad gør vi, hvis:
- AI begynder at generere forkerte anbefalinger?
- En agent udfører forkerte handlinger?
- Modellen begynder at udvise uønsket adfærd?
- Inputdata viser sig at være forkerte?
- Systemet bryder de fastsatte regler?
Der bør være en klart defineret proces: Opdagelse → stop → analyse → korrektion → gendannelse → overvågning
Det er især vigtigt i systemer, der kører autonomt.
Hvem bør være ansvarlig for AI i organisationen?
Der findes ikke ét universelt svar.
Afhængigt af virksomhedens størrelse kan følgende være involveret:
- bestyrelsen,
- CTO,
- CIO,
- CISO,
- juridisk afdeling,
- compliance,
- Data Protection Officer,
- procesejere,
- IT-teams,
- data scientists,
- ML-ingeniører,
- produktchefer,
- forretningsbrugere.
Det er dog vigtigt, at ansvaret ikke bliver udvandet.
"AI er alles ansvar" betyder i praksis ofte: "Ingen har ansvar."
Derfor bør hver væsentlig AI-initiativer have en klart udpeget ejer.
RACI for AI-systemer
Et nyttigt værktøj kan være den klassiske RACI-model.
Den gør det muligt at definere:
Responsible - hvem udfører opgaven?
Accountable - hvem har det endelige ansvar?
Consulted - hvem bør konsulteres?
Informed - hvem bør informeres?
For eksempel for et AI-system, der understøtter kundeservice:
- IT er ansvarlig for infrastrukturen,
- data-teamet for dataene,
- procesejeren for måden AI'en bruges på,
- compliance for vurdering af regulatoriske krav,
- forretningen for godkendelse af løsningen.
Dermed ved man, hvem der skal reagere i en problemstilling.
AI Governance i en lille virksomhed
AI Governance behøver ikke at betyde oprettelsen af en stor komité.
En lille virksomhed kan starte med nogle enkle elementer:
1. Liste over AI-værktøjer
At vide, hvad der bliver brugt.
2. Regler for data
At vide, hvad der ikke må sendes til eksterne værktøjer.
3. Risikoklassificering
At afgøre, hvilke anvendelser der er lav, mellem- eller højrisiko.
4. AI-ejer
At udpege en person, der koordinerer.
5. Human-in-the-Loop-regler
At definere, hvornår en beslutning kræver et menneske.
6. Overvågning
At tjekke, om systemet stadig virker som forventet.
Det er allerede ret meget.
Det vigtigste er bevidsthed.
AI Governance i en større organisation
I en større virksomhed er situationen mere kompleks.
Der kan være behov for:
- et AI Governance Board,
- et register over modeller,
- risikoklassificering,
- en godkendelsesproces for nye anvendelser,
- datapolitik,
- modelovervågning,
- revisioner,
- hændelsesprocedurer,
- adgangskontrol,
- leverandørstyring for AI,
- regelmæssige gennemgange.
I store organisationer bør governance også integreres i eksisterende processer:
- IT Governance,
- Security Governance,
- Data Governance,
- Risk Management,
- Compliance.
AI fungerer ikke i et vakuum.
Det bliver et element i hele organisationens forvaltningsøkosystem.
Hyppige fejl i AI Governance
Fejl 1 - governance kommer først efter implementering
Først implementerer vi AI.
Senere overvejer vi, hvem der er ansvarlig.
Det er omvendt rækkefølge.
Fejl 2 - governance begrænser sig til et dokument
En AI-politik løser ikke noget af sig selv.
Hvis ingen anvender den, forbliver det blot et dokument.
Fejl 3 - ansvaret placeres udelukkende hos IT
AI påvirker forretning, jura, sikkerhed og mennesker.
Det kan ikke kun være et teknologiproblem.
Fejl 4 - mangel på overvågning
Modellen implementeres.
Alle glemmer den.
Efter et år viser det sig, at systemet fungerer helt anderledes end i starten.
Fejl 5 - ingen mulighed for at stoppe AI
Hvis systemet kører autonomt, men ingen kan stoppe det hurtigt, kontrollerer organisationen ikke systemet.
Praktisk tjekliste for AI Governance
Bør organisationen have:
☐ et register over anvendte AI-systemer,
☐ en klart defineret ejer for hvert væsentligt system,
☐ klassificering af risikoniveau,
☐ regler for data,
☐ politik for AI-brug,
☐ regler for Shadow AI,
☐ mekanismer for adgangskontrol,
☐ logning af systemets handlinger,
☐ overvågning af kvalitet,
☐ procedurer for hændelseshåndtering,
☐ mulighed for at stoppe systemet,
☐ regler for Human-in-the-Loop,
☐ regelmæssige modelgennemgange,
☐ vurdering af regulatoriske krav,
☐ klare regler for ansvar.
Hvis de fleste svar er "nej", har virksomheden sandsynligvis ikke moden AI Governance endnu.
Ordlisten
AI Governance
Et sæt regler, processer, ansvar og kontrolmekanismer vedrørende design, implementering og brug af kunstig intelligens.
Shadow AI
Uofficiel eller uautoriseret brug af AI-værktøjer af medarbejdere uden for organisationens officielle styringsproces.
AI Inventory
Et register over systemer, modeller og AI-anvendelser i organisationen.
Model Drift
Forringelse af modellens præstation som følge af ændringer i data eller miljøet, hvor modellen virker.
Explainable AI (XAI)
Tilgange og metoder, der muliggør bedre forståelse af faktorer, som påvirker AI-modellers resultater.
AI Audit
Vurdering af et AI-system med fokus på dets funktion, sikkerhed, overholdelse, datakvalitet, risici og opfyldelse af relevante krav.
Guardrails
Begrænsninger, der definerer, hvilke handlinger et AI-system må og ikke må udføre.
Kill Switch
En mekanisme, der muliggør hurtig standsning eller begrænsning af systemets drift i en nødsituation.
AI Incident
En hændelse relateret til et AI-system, som kan føre til fejl, sikkerhedsbrud, manglende overholdelse eller andre uønskede konsekvenser.
Den vigtigste konklusion
Human-in-the-Loop siger til os: "Mennesket bør forblive en del af processen."
AI Governance går et skridt videre.
Den siger: "Organisationen skal vide, hvordan den kontrollerer den proces."
Det er en fundamental forskel.
Vi kan bygge den mest avancerede AI-agent. Vi kan give den adgang til systemer. Vi kan lade den planlægge og udføre handlinger.
Men hvis vi ikke ved:
- hvad den gør,
- hvorfor den gør det,
- hvem der er ansvarlig,
- hvilke data den bruger,
- hvornår den begynder at tage fejl,
- hvordan man stopper den,
så har vi ikke skabt et intelligent system. Vi har skabt et system, vi ikke kan kontrollere.
Og i en verden med stadigt mere autonome agenter kan netop kontrol blive en af organisationers vigtigste konkurrencefordele.
I den sidste, fjerde del af serien går vi fra principper til arkitektur.
Vi viser, hvordan et AI-system kan designes med omtanke for sikkerhed, kontrol og ansvarlighed - fra model og agent, gennem beslutningslag og forretningsregler, til workflow, overvågning, Human Override og nødmekanismer.
For i sidste ende er det ikke vigtigste spørgsmål: "Kan vi bygge en autonom AI-agent?"
I dag kan vi det oftere og oftere.
Spørgsmålet er: "Kan vi bygge en sådan agent, som vi stadig har kontrol over?"
