I første del af vores serie forklarede vi, hvad Human-in-the-Loop er, og hvorfor udviklingen af kunstig intelligens ikke betyder, at mennesket bør forsvinde fra beslutningsprocessen.
Vi gennemgik tre grundlæggende samarbejdsmodeller:
- Human-in-the-Loop - mennesket deltager aktivt i beslutningsprocessen,
- Human-on-the-Loop - AI virker selvstændigt, men mennesket overvåger systemet,
- Human-out-of-the-Loop - systemet arbejder autonomt, uden løbende menneskelig indgriben.
Nu kommer det vigtigste spørgsmål: Hvordan ved man, hvilken model man skal vælge?
For her begynder den reelle udfordring.
Det er ikke nok at sige: "Denne beslutning er enkel, så lad os overlade den til AI."
Ej heller: "Denne beslutning er vigtig, så et menneske skal altid godkende den."
Virkeligheden er mere kompleks.
En god AI-arkitektur bør blandt andet tage højde for:
- risikoniveau,
- omkostninger ved fejl,
- beslutningens reversibilitet,
- indvirkning på mennesker,
- datatilgængelighed,
- mulighed for at forklare anbefalinger,
- hyppighed af beslutningstagning,
- mulighed for effektiv overvågning af systemet.
Først en analyse af disse elementer gør det muligt at bestemme, hvor meget autonomi vi sikkert kan give AI.
Vigtigste regel: automatiser ikke beslutninger, du ikke kan kontrollere
Implementering af AI starter ofte med spørgsmålet: "Hvad kan vi automatisere?"
I en moden organisation bør spørgsmålet lyde: "Hvad kan vi automatisere og stadig effektivt kontrollere?"
Det er en afgørende forskel.
Vi kan jo bygge et system, som automatisk træffer tusindvis af beslutninger om dagen. Teknisk kan det fungere perfekt.
Men hvis ingen ved:
- hvorfor det traf en given beslutning,
- hvilke data det baserede sig på,
- hvornår det begynder at lave fejl,
- hvem der kan stoppe systemet,
- hvem der er ansvarlig for konsekvenserne,
så har vi ikke moden automatisering. Vi har automatisk generering af risiko.
Fire spørgsmål, du bør stille før automatisering af en beslutning
Før du overgiver en beslutning til et AI-system, er det værd at gennemføre en enkel analyse.
1. Hvad sker der, hvis AI tager fejl?
Det er det grundlæggende spørgsmål.
Ikke alle fejl har samme konsekvenser.
Hvis AI forkert klassificerer et nyhedsbrev, vil der sandsynligvis ikke ske noget alvorligt. Hvis den forkert identificerer et forsøg på svindel, kan det føre til økonomiske tab. Hvis den vurderer en patients helbred forkert, kan konsekvenserne være langt mere alvorlige.
Derfor bør autonominiveauet være proportionalt med de potentielle konsekvenser af en fejl.
2. Kan beslutningen nemt trækkes tilbage?
Det er en af de vigtigste, men ofte oversete parametre.
Forestil dig to tilfælde.
AI ændrer automatisk rækkefølgen af produkter i en webshop. Fejlen kan opdages og rulles tilbage. Risikoen er relativt lille.
Nu et andet eksempel.
AI sletter automatisk en brugers konto og fjerner alle deres data. Sådan en beslutning kan være langt sværere at vende.
Endnu en situation: AI sender automatisk en opsigelse til en kunde. Her er konsekvenserne endnu mere alvorlige.
Derfor bør beslutningens reversibilitet være et af de grundlæggende kriterier i designet af AI-systemer.
3. Påvirker beslutningen direkte et menneske?
Hvis AI optimerer ruten for en varevogn, kan risikoniveauet være relativt lavt.
Men hvis systemet vurderer en jobkandidat, bevilger et lån eller analyserer adgang til en bestemt tjeneste, ser situationen helt anderledes ud.
Beslutninger, der berører mennesker, kræver særlig omtanke. Ikke kun af etiske årsager. Også på grund af regler, organisatorisk ansvar og risiko for diskrimination.
I sådanne områder bør et menneske ikke blot være "det sidste klik". Det bør have reel mulighed for at anfægte systemets anbefaling.
4. Kan et menneske effektivt overvåge systemet?
Dette spørgsmål er mere snedigt, end det ser ud.
Forestil dig et system, der genererer 50.000 anbefalinger om dagen. Formelt kan et menneske godkende dem alle. Praktisk er det umuligt. Efter et stykke tid begynder medarbejderen at godkende automatisk.
Det fører til et fænomen kaldet automation bias - tendensen til at stole for meget på systemets anbefalinger og antage, at de er korrekte.
Mennesket er stadig "i løkken", men i praksis mister det sin kontrolfunktion og bliver blot en operatør af knappen "Godkend".
Det er ikke ægte Human-in-the-Loop.
Model til vurdering af beslutningsrisiko
I praksis kan man bruge en simpel vurderingsmodel.
Hver beslutning analyseres ud fra fem parametre:
1. Sandsynlighed for fejl
Hvor ofte kan systemet tage fejl?
2. Omfang af konsekvenser
Hvor alvorlig vil fejlen være?
3. Reversibilitet
Kan beslutningen hurtigt trækkes tilbage?
4. Indvirkning på mennesker
Gælder beslutningen direkte rettigheder, økonomi, helbred eller sikkerhed for personer?
5. Overvågningsmulighed
Kan et menneske effektivt overvåge processen?
Jo højere risikoniveau, desto større behov for menneskelig deltagelse. Det betyder dog ikke, at enhver højrisikobeslutning skal træffes manuelt. Det betyder, at systemet bør have korrekt designede kontrolmekanismer.
Niveau 1 - direkte automatisering
Det er de simpleste beslutninger.
Eksempler:
- sortering af beskeder,
- klassificering af dokumenter,
- generering af sammenfatninger,
- anbefaling af produkter,
- tildeling af sager til kategorier.
AI kan arbejde autonomt. Mennesket behøver ikke godkende hver beslutning. Systemet bør dog overvåges.
Det er en model tæt på Human-on-the-Loop.
Niveau 2 - AI anbefaler, mennesket godkender
Her analyserer AI data og præsenterer et forslag.
Mennesket træffer beslutningen.
Eksempler:
- anbefaling af rabatbeløb,
- forslag til svar på en reklamation,
- anbefaling af servicetiltag,
- vurdering af transaktionsrisiko,
- forslag til prioritet af en sag.
Det er klassisk Human-in-the-Loop.
Modellen fungerer godt, hvor AI kan fremskynde analysen betydeligt, men beslutningen kræver menneskelig erfaring.
Niveau 3 - AI handler selvstændigt, men med mulighed for indgriben
Systemet træffer beslutningen automatisk. Mennesket kan dog stoppe eller ændre den.
Et eksempel kan være automatisk blokering af mistænkelige transaktioner. Systemet opdager et afvigende mønster og blokerer operationen. Hvis kunden klager, kan en medarbejder verificere beslutningen.
I denne model er følgende afgørende:
- overvågning,
- alarmer,
- mulighed for manuel indgriben,
- logning af beslutninger,
- nødmekanismer.
Niveau 4 - fuld autonomi
AI arbejder uden løbende menneskelig involvering.
Denne model bør reserveres til processer, der er:
- repetitive,
- veluddefinerede,
- lavrisiko,
- lette at overvåge,
- mulige at rulle tilbage.
Et eksempel kunne være automatisk skalering af skylressourcer i infrastrukturen.
Systemet opdager øget belastning. Det starter ekstra ressourcer. Efter trafikken falder, slukker det dem. Ingen behøver at godkende hver enkelt beslutning.
Hvis systemet dog begynder at generere uventede omkostninger, bør der være en mekanisme til at begrænse dets aktivitet.
Autonomi bør aldrig betyde mangel på kontrol.
Eksempel 1 - e-handel
Forestil dig en netbutik.
AI analyserer:
- købshistorik,
- brugeradfærd,
- sæsonudsving,
- konkurrentpriser,
- tilgængelighed af produkter.
Den kan anbefale produkter til kunden. Det er en relativt sikker proces.
Systemet kan fungere autonomt. Men hvad hvis AI selv skal sætte priser? Så bliver situationen kompliceret.
Dynamisk prisfastsættelse kan automatiseres, men bør fungere inden for bestemte grænser.
Systemet kan have:
- en mindstepris,
- en maksimumpris,
- maksimal prisændring pr. dag,
- regler for kampagner.
Hvis AI vil overskride bestemte grænser, kan beslutningen overføres til et menneske.
Det er et eksempel på guardrails, altså sikkerhedsbegrænsninger for systemets handlinger.
Eksempel 2 - rekruttering
AI analyserer kandidaters CV'er.
Den kan:
- udtrække erfaring,
- strukturere oplysninger,
- matche kompetencer med krav.
Det kan markant fremskynde rekrutteringsarbejdet.
Men beslutningen: "Vi afviser denne kandidat." er af en helt anden karakter.
Hvis systemet træffer den automatisk, kan det forstærke fejl, der findes i historiske data.
Derfor kan menneskelig deltagelse være vital i HR-processer. AI kan støtte rekruttereren, men bør ikke automatisk bedømme en persons værdi baseret på usikre data.
Eksempel 3 - logistik
Et AI-system planlægger leverancer.
Det analyserer:
- afstande,
- trafikpropper,
- vejr,
- tilgængelighed af chauffører,
- arbejdstid,
- brændstofomkostninger.
Det kan optimere ruter selvstændigt.
Men hvad hvis systemet vælger en billigere rute, som ikke tager højde for lokale restriktioner? Eller hvis det optimerer leveringstiden på bekostning af chaufførernes belastning?
Derfor bør systemet arbejde inden for klart definerede forretningsregler.
AI optimerer. Organisationen definerer grænser. Mennesket griber ind, når systemet bevæger sig uden for sikre rammer.
Eksempel 4 - bankvæsen
AI kan opdage anomalier i transaktioner.
Hvis systemet registrerer en usædvanlig operation, kan det automatisk markere den.
Men hvad så?
Der er forskellige scenarier:
- kun alarm til en medarbejder,
- midlertidig standsning af transaktionen,
- automatisk blokering,
- blokering krævende yderligere verifikation.
Valget afhænger af risikoniveauet.
Ved en mistænkelig transaktion af lavt beløb kan automatisering være passende. Ved mere komplekse tilfælde kan en ekspertanalyse være nødvendig.
Derfor bør AI-systemer have mekanismer til escalation, altså overførsel til et menneske, når usikkerhed eller risiko overstiger en given tærskel.
Confidence score - ved AI, hvornår den er usikker?
En interessant mekanisme er brugen af et sikkerhedsniveau.
Systemet kan vurdere: "Min anbefaling har høj sandsynlighed for at være korrekt."
I så fald kan handlingen udføres automatisk.
Hvis systemet dog vurderer sin anbefaling som usikker, kan processen overgives til et menneske.
For eksempel:
Confidence score > 95% Automatisk udførelse.
Confidence score 70-95% Anbefaling til mennesket.
Confidence score < 70% Obligatorisk ekspertverifikation.
Man skal dog være forsigtig.
Confidence score er ikke automatisk bevis for sandhed. Modellen kan være overbevist og alligevel tage fejl. Derfor bør sikkerhedsniveauet være et element i vurderingen, men ikke det eneste beslutningskriterium.
Den største fare: mennesket, der holder op med at tjekke AI
Man kan designe et system med Human-in-the-Loop.
Man kan tilføje en knap: "Godkend AI-beslutning."
Man kan ansætte et menneske til kontrol.
Og alligevel skabe et system, der er farligt.
Hvorfor? Fordi mennesket kan begynde at have mere tillid til AI end til sin egen erfaring.
Hvis systemet fungerer korrekt i 1.000 tilfælde, begynder mennesket at lade være med at analysere det 1.001. Det er naturligt.
Derfor bør et godt system ikke kun kræve godkendelse. Det bør også give mennesket passende kontekst.
For eksempel:
- hvorfor AI tog netop denne beslutning,
- hvilke data den brugte,
- hvilke alternativer den overvejede,
- hvad niveauet af usikkerhed er,
- hvad der kan ske efter beslutningen udføres.
Så er mennesket ikke blot en "sikkerhedsbremse".
Det bliver en reel partner for systemet.
Human-in-the-Loop kan ikke være fiktivt
Det er en af de vigtigste designprincipper for AI-systemer.
Hvis et menneske skal kontrollere AI, må det have:
- tilstrækkelig viden,
- nok tid,
- adgang til data,
- mulighed for at anfægte anbefalingen,
- mulighed for at stoppe processen,
- klar ansvarlighed.
Hvis medarbejderen kun kan klikke "Godkend" eller "Afvis", men ikke kontrollere, hvorfor AI tog beslutningen, er deres rolle stærkt begrænset.
Endnu værre er det, hvis systemet arbejder så hurtigt, at mennesket ikke kan følge med analysen. Formelt har vi Human-in-the-Loop. Praktisk har vi automatisering med et menneskerolle, der er dekoration.
Praktisk tjekliste - kan denne beslutning overgives til AI?
Før automatisering er det godt at besvare følgende spørgsmål:
☐ Er beslutningen gentagelig?
☐ Har vi tilstrækkeligt gode data?
☐ Kan vi identificere, hvornår AI tager fejl?
☐ Er fejlen acceptabel?
☐ Kan beslutningen trækkes tilbage?
☐ Påvirker beslutningen direkte mennesker?
☐ Findes klare forretningsregler?
☐ Kan systemet overvåges?
☐ Kan et menneske stoppe AI's handling?
☐ Er det klart, hvem der bærer ansvaret?
☐ Kan beslutningen forklares?
☐ Har mennesket nok tid og viden til effektivt at overvåge systemet?
Jo flere svar der er "nej", desto mere forsigtig bør man være med automatisering.
Ordlisten
Automation Bias
Menneskets tendens til at have for stor tillid til automatiske systems anbefalinger og acceptere dem som korrekte uden passende verifikation.
Guardrails
Begrænsninger og sikkerhedsmechanismer, der bestemmer, hvad et AI-system kan og ikke kan gøre.
Confidence Score
Et mål for modellens selvtillid i forhold til et resultat eller en anbefaling. Det bør ikke forveksles med en garanti for korrekthed.
Escalation
En mekanisme til at overføre en sag til et menneske, når systemet opdager højt risiko-, usikkerheds- eller en situation uden for fastsatte regler.
Human Override
Mulighed for manuelt at erstatte en beslutning eller handling foretaget af AI-systemet.
Decision Reversibility
Beslutningens reversibilitet, altså evnen til at rulle dens virkninger tilbage uden væsentlige konsekvenser.
High-impact decision
En beslutning, der kan have væsentlig indvirkning på en persons liv, rettigheder, muligheder eller økonomiske situation. I sådanne tilfælde er kravene til overvågning og ansvar særligt vigtige.
Den vigtigste konklusion
Ikke alle beslutninger bør automatiseres, men ikke alle beslutninger kræver heller et menneske ved computeren, som godkender hver enkelt handling.
Det virkelige mål med at designe AI-systemer er ikke at vælge mellem: "mennesket beslutter" og "AI beslutter".
Målet er at skabe en passende samarbejdsmodel.
AI bør handle autonomt, hvor risikoen er lav. Den bør anbefale løsninger, hvor menneskelig erfaring er nødvendig. Den bør standse og bede om hjælp, hvor konsekvenserne af en fejl er for alvorlige. Og mennesket bør altid kunne overtage kontrollen, når situationen rækker ud over det forudsete scenarie.
Et godt designet AI-system er ikke det, der træffer flest beslutninger selvstændigt. Det er det system, der korrekt kan genkende, hvornår det skal beslutte, hvornår det skal anbefale, og hvornår det skal sige: "Denne gang har jeg brug for et menneske".
I næste del går vi fra enkeltafgørelsen til hele organisationens niveau.
For selv det bedst designede AI-system kan blive et problem, hvis virksomheden ikke ved, hvem der er ansvarlig for det, hvem der overvåger det, og hvad man skal gøre, når det begynder at opføre sig anderledes end forventet.
I næste del vil vi tage fat på AI Governance — hvordan man opbygger regler, ansvar og kontrolmekanismer for kunstig intelligens i organisationen.
