Nella prima parte della nostra serie abbiamo spiegato cos'è l'Human-in-the-Loop e perché lo sviluppo dell'intelligenza artificiale non significa che l'essere umano debba scomparire dal processo decisionale.
Abbiamo visto tre modelli base di collaborazione:
- Human-in-the-Loop - l'essere umano partecipa attivamente al processo decisionale,
- Human-on-the-Loop - l'IA agisce autonomamente, ma l'essere umano supervisiona il sistema,
- Human-out-of-the-Loop - il sistema agisce in modo autonomo, senza interventi umani continui.
Ora è il momento della domanda più importante: Come si capisce quale modello scegliere?
Perché è proprio qui che inizia la vera sfida.
Non basta dire: "Questa decisione è semplice, quindi affidiamola all'IA."
Né: "Questa decisione è importante, quindi deve sempre essere approvata da un essere umano."
La realtà è più complessa.
Una buona architettura di un sistema di IA dovrebbe tenere in considerazione, tra l'altro:
- il livello di rischio,
- il costo dell'errore,
- la reversibilità della decisione,
- l'impatto sulla persona,
- la disponibilità dei dati,
- la possibilità di spiegare la raccomandazione,
- la frequenza delle decisioni,
- la possibilità di supervisionare efficacemente il sistema.
Solo l'analisi di questi elementi permette di determinare quanta autonomia possiamo trasferire in modo sicuro all'IA.
Principio più importante: non automatizzare decisioni che non sai controllare
L'implementazione dell'IA spesso inizia con la domanda: "Cosa possiamo automatizzare?"
In un'organizzazione matura la domanda dovrebbe essere: "Cosa possiamo automatizzare e continuare a controllare efficacemente?"
Questa è la differenza fondamentale.
Possiamo infatti costruire un sistema che prende automaticamente migliaia di decisioni al giorno. Tecnicamente può funzionare perfettamente.
Ma se nessuno sa:
- perché ha preso una decisione specifica,
- su quali dati si è basato,
- quando inizia a fare errori,
- chi può fermare il sistema,
- chi è responsabile delle conseguenze,
non abbiamo una maturità nell'automatizzazione. Abbiamo generazione automatica di rischio.
Quattro domande da porsi prima di automatizzare una decisione
Prima di affidare una decisione a un sistema IA vale la pena effettuare una semplice analisi.
1. Cosa succede se l'IA sbaglia?
Questa è la domanda fondamentale.
Non tutti gli errori hanno le stesse conseguenze.
Se l'IA classifica male una newsletter, probabilmente non succede nulla di grave. Se non riconosce correttamente un tentativo di frode, può causare una perdita finanziaria. Se valuta erroneamente lo stato di salute di un paziente, le conseguenze possono essere molto più serie.
Per questo il livello di autonomia dovrebbe essere proporzionale alle potenziali conseguenze dell'errore.
2. La decisione è facilmente reversibile?
Questo è uno dei parametri più importanti, e spesso trascurati.
Immaginiamo due casi.
L'IA cambia automaticamente l'ordine di visualizzazione dei prodotti in un negozio online. L'errore può essere rilevato e annullato. Il rischio è relativamente basso.
Ora un altro esempio.
L'IA cancella automaticamente un account utente e elimina tutti i suoi dati. Una decisione del genere può essere molto più difficile da invertire.
Un altro scenario: l'IA invia automaticamente al cliente la comunicazione di rescissione di un contratto. Le conseguenze sono ancora più serie.
Perciò la reversibilità della decisione dovrebbe essere uno dei criteri fondamentali nella progettazione dei sistemi di IA.
3. La decisione influisce direttamente sulle persone?
Se l'IA ottimizza il percorso di un furgone per consegne, il livello di rischio può essere relativamente basso.
Se invece il sistema valuta un candidato per un lavoro, concede un credito o analizza l'accesso a un servizio specifico, la situazione è completamente diversa.
Le decisioni che riguardano le persone richiedono particolare cautela. Non solo per ragioni etiche. Anche per normative, responsabilità organizzativa e rischio di discriminazione.
In questi ambiti l'essere umano può non essere solo il "clic finale". Deve avere la reale possibilità di mettere in discussione la raccomandazione del sistema.
4. L'essere umano può supervisionare efficacemente il sistema?
Questa domanda è più insidiosa di quello che sembra.
Immaginiamo un sistema che genera 50.000 raccomandazioni al giorno. Formalmente un essere umano può approvarle tutte. Praticamente è impossibile. Dopo un po' l'operatore inizierà ad accettare automaticamente le decisioni.
Si crea allora il fenomeno chiamato automation bias - la tendenza a fidarsi eccessivamente delle raccomandazioni del sistema e a considerarle automaticamente corrette.
L'essere umano è ancora "in the loop". Ma nella realtà smette di svolgere la funzione di controllo. Diventa solo un operatore del pulsante "Approva".
Quello non è un vero Human-in-the-Loop.
Modello di valutazione del rischio della decisione
In pratica è possibile applicare un semplice modello di valutazione.
Ogni decisione la analizziamo rispetto a cinque parametri:
1. Probabilità di errore
Quanto spesso il sistema può sbagliare?
2. Scala delle conseguenze
Quanto sarà grave l'errore?
3. Reversibilità
La decisione può essere rapidamente annullata?
4. Impatto sulle persone
La decisione riguarda direttamente diritti, finanze, salute o sicurezza delle persone?
5. Possibilità di supervisione
L'essere umano è in grado di monitorare efficacemente il processo?
Più alto è il livello di rischio, maggiore è la necessità della partecipazione umana. Questo non significa però che ogni decisione ad alto rischio debba essere presa manualmente. Significa che il sistema deve avere meccanismi di controllo adeguati.
Livello 1 - automazione diretta
Queste sono le decisioni più semplici.
Esempi:
- ordinamento dei messaggi,
- classificazione dei documenti,
- generazione di riassunti,
- raccomandazione di prodotti,
- assegnazione delle segnalazioni a categorie.
L'IA può agire in modo autonomo. L'essere umano non deve approvare ogni decisione. Il sistema però dovrebbe essere monitorato.
Questo modello è vicino al Human-on-the-Loop.
Livello 2 - l'IA raccomanda, l'umano approva
Qui l'IA analizza i dati e presenta una proposta.
L'essere umano prende la decisione.
Esempi:
- raccomandazione dell'ammontare di uno sconto,
- proposta di risposta a un reclamo,
- raccomandazione di interventi di assistenza,
- valutazione del rischio di una transazione,
- proposta della priorità di una segnalazione.
Questo è il classico Human-in-the-Loop.
Il modello funziona molto bene dove l'IA può velocizzare molto l'analisi, ma la decisione richiede l'esperienza umana.
Livello 3 - l'IA agisce autonomamente, ma con possibilità di intervento
Il sistema prende la decisione automaticamente. L'essere umano può però arrestarla o modificarla.
Un esempio può essere il blocco automatico di transazioni sospette. Il sistema rileva un pattern insolito e blocca l'operazione. Se il cliente segnala un problema, l'operatore può verificare la decisione.
In questo modello sono fondamentali:
- monitoraggio,
- alert,
- possibilità di intervento manuale,
- log delle decisioni,
- meccanismi di emergenza.
Livello 4 - piena autonomia
L'IA agisce senza il coinvolgimento umano continuo.
Questo modello dovrebbe essere riservato a processi:
- ripetitivi,
- ben definiti,
- a basso rischio,
- facilmente monitorabili,
- reversibili.
Un esempio può essere lo scaling automatico delle risorse cloud. Il sistema rileva un aumento del carico, avvia risorse aggiuntive e poi le spegne. Nessuno deve approvare ogni singola decisione.
Tuttavia se il sistema comincia a generare costi imprevisti, deve esistere un meccanismo per limitarne l'azione.
L'autonomia non dovrebbe mai significare assenza di controllo.
Esempio 1 - e-commerce
Immaginiamo un negozio online.
L'IA analizza:
- la storia degli acquisti,
- il comportamento dell'utente,
- la stagionalità,
- i prezzi della concorrenza,
- la disponibilità dei prodotti.
Può raccomandare prodotti al cliente. È un processo relativamente sicuro.
Il sistema può funzionare in modo autonomo. Ma cosa succede se l'IA deve fissare i prezzi da sola? Qui la situazione si complica.
Il dynamic pricing può essere automatizzato, ma deve operare entro limiti definiti.
Il sistema può avere:
- un prezzo minimo,
- un prezzo massimo,
- una variazione massima giornaliera del prezzo,
- regole relative alle promozioni.
Se l'IA vuole superare certi limiti, la decisione può essere trasferita a un essere umano.
Questo è un esempio di guardrails, cioè vincoli che proteggono il funzionamento del sistema.
Esempio 2 - reclutamento
L'IA analizza i CV dei candidati.
Può:
- estrarre l'esperienza,
- ordinare le informazioni,
- allineare competenze e requisiti.
Questo può accelerare molto il lavoro del recruiter.
Ma la decisione: "Respingiamo questo candidato." è di natura completamente diversa.
Se il sistema la prende automaticamente, può perpetuare errori presenti nei dati storici.
Perciò nei processi HR la partecipazione umana può essere fondamentale. L'IA può supportare il recruiter. Non dovrebbe decidere automaticamente sul valore di una persona basandosi su dati imperfetti.
Esempio 3 - logistica
Un sistema di IA pianifica le consegne.
Analizza:
- distanze,
- traffico,
- meteo,
- disponibilità autisti,
- ore di lavoro,
- costi del carburante.
Può ottimizzare autonomamente i percorsi.
Ma cosa succede se il sistema sceglie un percorso più economico che non rispetta limitazioni locali? O se ottimizza i tempi di consegna a scapito di un eccessivo carico sugli autisti?
Per questo il sistema dovrebbe operare entro regole di business definite.
L'IA ottimizza. L'organizzazione definisce i limiti. L'essere umano interviene quando il sistema esce dall'ambito sicuro.
Esempio 4 - banca
L'IA può rilevare anomalie nelle transazioni.
Se il sistema individua un'operazione atipica, può segnalarla automaticamente.
Ma poi cosa succede?
Sono possibili diversi scenari:
- solo un alert per l'operatore,
- sospensione temporanea della transazione,
- blocco automatico,
- blocco che richiede verifica aggiuntiva.
La scelta dipende dal livello di rischio.
Per una transazione sospetta di piccolo importo si può optare per l'automatizzazione. Per casi più complessi può servire l'analisi di un esperto.
Per questo motivo i sistemi IA dovrebbero avere meccanismi di escalation, cioè il trasferimento della pratica a un essere umano quando il livello di incertezza o di rischio supera una soglia definita.
Confidence score - l'IA sa quando non è sicura?
Uno dei meccanismi più interessanti è l'uso del livello di confidenza.
Il sistema può valutare: "La mia raccomandazione ha alta probabilità di correttezza."
In quel caso l'azione può essere eseguita automaticamente.
Se però il sistema valuta la propria raccomandazione come incerta, il processo può essere passato a un essere umano.
Ad esempio:
Confidence score > 95% Esecuzione automatica.
Confidence score 70-95% Raccomandazione per l'umano.
Confidence score < 70% Verifica obbligatoria da parte di un esperto.
Occorre però mantenere cautela.
Il confidence score non è automaticamente una prova di veridicità. Il modello può essere molto sicuro di sé e contemporaneamente sbagliarsi. Perciò il livello di confidenza dovrebbe essere uno degli elementi nella valutazione, non l'unico criterio di decisione.
La minaccia più grande: l'essere umano che ha smesso di controllare l'IA
Si può progettare un sistema con Human-in-the-Loop.
Si può aggiungere un pulsante: "Approva la decisione dell'IA."
Si può assumere una persona per il controllo.
Eppure si può creare un sistema pericoloso.
Perché? - Perché l'essere umano può iniziare a fidarsi dell'IA più che della propria esperienza.
Se il sistema funziona correttamente per 1.000 casi, la persona smetterà di esaminare attentamente il caso 1.001. È naturale.
Perciò un buon sistema non deve solo richiedere l'approvazione. Deve anche fornire all'umano il contesto adeguato.
Ad esempio:
- perché l'IA ha preso quella decisione,
- quali dati ha considerato,
- quali alternative ha valutato,
- qual è il livello di incertezza,
- cosa potrebbe succedere dopo l'esecuzione della decisione.
Allora l'essere umano non è solo un "freno di sicurezza".
Diventa un partner reale del sistema.
Human-in-the-Loop non può essere finto
Questa è una delle regole più importanti nella progettazione dei sistemi di IA.
Se l'essere umano deve controllare l'IA, deve avere:
- conoscenze sufficienti,
- tempo adeguato,
- accesso ai dati,
- possibilità di mettere in discussione la raccomandazione,
- possibilità di fermare il processo,
- responsabilità chiara.
Se l'operatore può solo cliccare "Approva" o "Rifiuta", ma non può verificare perché l'IA ha preso quella decisione, il suo ruolo è fortemente limitato.
Peggio ancora se il sistema funziona così velocemente che la persona non riesce a tenere il passo con l'analisi. Allora formalmente abbiamo un Human-in-the-Loop. Praticamente abbiamo un'automatizzazione con un essere umano che svolge un ruolo decorativo.
Checklist pratica - questa decisione si può affidare all'IA?
Prima dell'automatizzazione è utile rispondere alle seguenti domande:
☐ La decisione è ripetibile?
☐ Abbiamo dati sufficientemente buoni?
☐ Sappiamo come rilevare quando l'IA sbaglia?
☐ L'errore è accettabile?
☐ La decisione è reversibile?
☐ La decisione influisce direttamente sulle persone?
☐ Esistono regole di business chiare?
☐ Il sistema è monitorabile?
☐ L'umano può fermare l'azione dell'IA?
☐ È chiaro chi è responsabile?
☐ La decisione può essere spiegata?
☐ L'essere umano ha abbastanza tempo e competenze per supervisionare efficacemente il sistema?
Più risposte sono "no", più bisogna essere cauti nell'automatizzare.
Glossario
Automation Bias
Tendenza dell'essere umano a fidarsi eccessivamente delle raccomandazioni di un sistema automatico e a considerarle corrette senza adeguata verifica.
Guardrails
Vincoli e meccanismi di protezione che definiscono cosa un sistema IA può o non può fare.
Confidence Score
Indicatore che esprime il livello di confidenza del modello rispetto a un risultato o una raccomandazione. Non va confuso con una garanzia di correttezza.
Escalation
Meccanismo che trasferisce il caso a un essere umano quando il sistema rileva alto rischio, incertezza o una situazione fuori dalle regole stabilite.
Human Override
Possibilità di sostituire manualmente una decisione o un'azione presa dal sistema IA.
Decision Reversibility
Reversibilità della decisione, cioè la possibilità di annullarne gli effetti senza conseguenze significative.
High-impact decision
Decisione che può avere un impatto significativo sulla vita, i diritti, le opportunità o la situazione economica di una persona. In questi casi i requisiti di supervisione e responsabilità sono particolarmente stringenti.
Conclusione più importante
Non tutte le decisioni dovrebbero essere automatizzate, ma nemmeno tutte richiedono un essere umano seduto al computer che approvi ogni singola operazione.
Il vero obiettivo nella progettazione dei sistemi di IA non è scegliere tra: "l'essere umano decide" e "l'IA decide".
L'obiettivo è creare un modello di collaborazione adeguato.
L'IA dovrebbe agire autonomamente dove il rischio è basso. Dovrebbe raccomandare soluzioni dove è necessaria l'esperienza umana. Dovrebbe fermarsi e chiedere aiuto dove le conseguenze di un errore sono troppo gravi. E l'essere umano dovrebbe sempre poter riprendere il controllo quando la situazione esce da uno scenario previsto.
Un sistema di IA ben progettato non è quello che prende il maggior numero possibile di decisioni in autonomia. È quello che sa riconoscere correttamente quando deve decidere da solo, quando presentare una raccomandazione e quando dire: "Questa volta ho bisogno di un essere umano".
Nella prossima parte passeremo dal livello della singola decisione a quello dell'intera organizzazione.
Perché anche il sistema di IA meglio progettato può diventare un problema se l'azienda non sa chi ne è responsabile, chi lo controlla e cosa fare quando inizia a comportarsi in modo diverso da quanto previsto.
Nella prossima parte ci occuperemo di AI Governance - ossia di come costruire regole, responsabilità e meccanismi di controllo sull'intelligenza artificiale in azienda.
