Na primeira parte da nossa série explicámos o que é Human-in-the-Loop e porque o desenvolvimento da inteligência artificial não significa que o humano deva desaparecer do processo decisório.
Apresentámos três modelos básicos de colaboração:
- Human-in-the-Loop - o humano participa ativamente no processo decisório,
- Human-on-the-Loop - a IA atua de forma autónoma, mas o humano supervisiona o sistema,
- Human-out-of-the-Loop - o sistema opera autonomamente, sem intervenção humana contínua.
Agora vem a pergunta mais importante: Como saber qual modelo escolher?
Porque é justamente aqui que começa o verdadeiro desafio.
Não basta dizer: "Esta decisão é simples, então deixemo-la para a IA."
Nem: "Esta decisão é importante, logo deve ser sempre aprovada por um humano."
A realidade é mais complexa.
Uma boa arquitetura de sistema de IA deve levar em conta, entre outros:
- nível de risco,
- custo do erro,
- reversibilidade da decisão,
- impacto sobre as pessoas,
- disponibilidade de dados,
- possibilidade de explicar as recomendações,
- frequência das decisões,
- capacidade de supervisão efetiva do sistema.
Só a análise desses elementos permite determinar quanta autonomia podemos com segurança confiar à IA.
Regra mais importante: não automatize decisões que não consegue controlar
A implementação da IA muitas vezes começa com a pergunta: "O que podemos automatizar?"
Numa organização madura a pergunta deve ser: "O que podemos automatizar e ainda controlar efetivamente?"
Essa é a diferença essencial.
Podemos, certamente, construir um sistema que tome automaticamente milhares de decisões por dia. Tecnicamente pode funcionar perfeitamente.
Mas se ninguém souber:
- por que tomou uma decisão concreta,
- em que dados se baseou,
- quando começa a cometer erros,
- quem pode parar o sistema,
- quem é responsável pelas consequências,
não temos uma automação madura. Temos geração automática de risco.
Quatro perguntas a fazer antes de automatizar uma decisão
Antes de delegar uma decisão a um sistema de IA vale fazer uma análise simples.
1. O que acontece se a IA errar?
É a pergunta fundamental.
Nem todo erro tem as mesmas consequências.
Se a IA classificar mal um newsletter, provavelmente nada grave acontecerá. Se identificar mal uma tentativa de fraude, pode haver perda financeira. Se avaliar incorretamente o estado de saúde de um paciente, as consequências podem ser muito mais sérias.
Por isso o nível de autonomia deve ser proporcional aos potenciais efeitos do erro.
2. A decisão pode ser facilmente revertida?
Esse é um dos parâmetros mais importantes e frequentemente negligenciados.
Imaginemos dois casos.
A IA altera automaticamente a ordem de exibição de produtos numa loja online. O erro pode ser detectado e revertido. O risco é relativamente pequeno.
Agora outro exemplo.
A IA exclui automaticamente uma conta de usuário e apaga todos os seus dados. Essa decisão pode ser muito mais difícil de reverter.
Outra situação: a IA envia automaticamente ao cliente a rescisão de um contrato. Aqui as consequências são ainda mais sérias.
Por isso a reversibilidade da decisão deve ser um dos critérios básicos no desenho de sistemas de IA.
3. A decisão afeta diretamente pessoas?
Se a IA otimiza a rota de uma van de entregas, o nível de risco pode ser relativamente baixo.
Mas se o sistema avalia um candidato a emprego, concede crédito ou analisa o acesso a um serviço, a situação muda completamente.
Decisões que dizem respeito a pessoas exigem cuidado especial. Não só por razões éticas. Também por causa de regulamentos, responsabilidade da organização e risco de discriminação.
Nessas áreas o humano não pode ser apenas o "último clique". Deve ter capacidade real de contestar a recomendação do sistema.
4. O humano consegue supervisionar o sistema efetivamente?
Essa pergunta é mais traiçoeira do que parece.
Imaginemos um sistema que gera 50.000 recomendações por dia. Formalmente um humano pode aprová-las todas. Na prática isso é impossível. Ao fim de algum tempo o trabalhador começará a aceitar decisões automaticamente.
Surge então o fenômeno chamado automation bias
O humano continua "na cadeia", mas na realidade deixa de exercer a função de controle. Torna-se apenas um operador do botão "Aprovar". Isso não é um verdadeiro Human-in-the-Loop. Na prática pode-se usar um modelo simples de avaliação. Cada decisão é analisada segundo cinco parâmetros: 1. Probabilidade de erro Com que frequência o sistema pode falhar? 2. Escala das consequências Quão grave será o erro? 3. Reversibilidade A decisão pode ser rapidamente revertida? 4. Impacto sobre pessoas A decisão afeta diretamente direitos, finanças, saúde ou segurança de alguém? 5. Possibilidade de supervisão O humano consegue monitorar o processo de forma efetiva? Quanto maior o nível de risco, maior a necessidade de participação humana. Isso não significa, porém, que toda decisão de alto risco deva ser tomada manualmente. Significa que o sistema deve ter mecanismos de controle adequados. São as decisões mais simples. Exemplos: A IA pode operar autonomamente. O humano não precisa aprovar cada decisão. O sistema deve, no entanto, ser monitorado. Este modelo aproxima-se do Human-on-the-Loop. Aqui a IA analisa os dados e apresenta uma proposta. O humano toma a decisão. Exemplos: É o clássico Human-in-the-Loop. Este modelo funciona bem onde a IA pode acelerar muito a análise, mas a decisão requer experiência humana. O sistema toma a decisão automaticamente. O humano pode, no entanto, detê-la ou alterá-la. Um exemplo é o bloqueio automático de transações suspeitas. O sistema deteta um padrão atípico e bloqueia a operação. Se o cliente contestar, um operador pode rever a decisão. Neste modelo são cruciais: A IA opera sem participação humana contínua. Este modelo deve ser reservado para processos: Um exemplo é o escalonamento automático de recursos na cloud. O sistema deteta aumento de carga. Liga recursos adicionais. Após a queda de tráfego desliga-os. Ninguém precisa aprovar cada decisão individual. Se, contudo, o sistema começar a gerar custos inesperados, deve haver um mecanismo para limitar sua atividade. Autonomia nunca deve significar ausência de controle. Imagine uma loja online. A IA analisa: Pode recomendar produtos ao cliente. Esse processo é relativamente seguro. O sistema pode operar autonomamente. Mas e se a IA for responsável por definir preços por conta própria? Aí complica-se. O dynamic pricing pode ser automatizado, mas deve operar dentro de limites definidos. O sistema pode ter: Se a IA quiser ultrapassar certos limites, a decisão pode ser encaminhada a um humano. Este é um exemplo de guardrails, ou limitações que protegem o funcionamento do sistema. A IA analisa os CVs dos candidatos. Pode: Isso pode acelerar muito o trabalho do recrutador. Mas a decisão: "Rejeitamos este candidato." é de outra natureza. Se o sistema tomar essa decisão automaticamente, pode perpetuar erros presentes nos dados históricos. Por isso nos processos de RH a participação humana pode ser fundamental. A IA pode apoiar o recrutador, mas não deve decidir automaticamente sobre o valor de uma pessoa com base em dados incompletos. Um sistema de IA planeja entregas. Analisa: Pode otimizar a rota autonomamente. Mas e se o sistema escolher a rota mais barata sem considerar restrições locais? Ou otimizar o tempo de entrega à custa de sobrecarregar demais os motoristas? Por isso o sistema deve operar dentro de regras de negócio definidas. A IA otimiza. A organização define limites. O humano intervém quando o sistema sai do intervalo seguro. A IA pode detetar anomalias em transações. Se o sistema identificar uma operação atípica pode marcá-la automaticamente. E depois? Há vários cenários possíveis: A escolha depende do nível de risco. Para uma transação suspeita de baixo valor pode aplicar-se automação. Para casos mais complexos pode ser necessária análise de um especialista. Por isso os sistemas de IA devem ter mecanismos de escalonamento (escalation), isto é, encaminhar o caso a um humano quando o nível de incerteza ou risco ultrapassa um limiar definido. Um mecanismo interessante é usar o nível de confiança. O sistema pode avaliar: "A minha recomendação tem alta probabilidade de estar correta." Nesse caso a ação pode ser executada automaticamente. Se o sistema considerar a sua recomendação incerta, o processo pode ser encaminhado a um humano. Por exemplo: Confidence score > 95% Execução automática. Confidence score 70-95% Recomendação para humano. Confidence score < 70% Verificação obrigatória por especialista. No entanto, é preciso cautela. O confidence score não é prova automática de veracidade. O modelo pode estar muito confiante e simultaneamente errado. Por isso o nível de confiança deve ser um dos elementos da avaliação, não o único critério de decisão. Pode-se projetar um sistema com Human-in-the-Loop. Pode-se adicionar um botão: "Aprovar decisão da IA." Pode-se contratar alguém para controlar. E ainda assim criar um sistema perigoso. Por quê? Porque o humano pode começar a confiar mais na IA do que na sua própria experiência. Se o sistema funciona correctamente em mil casos, o humano deixa de analisar o 1001.º com detalhe. É natural. Por isso um bom sistema não deve apenas exigir aprovação. Deve também fornecer ao humano o contexto adequado. Por exemplo: Assim o humano não é apenas um "freio de segurança". Torna-se um verdadeiro parceiro do sistema. Esta é uma das regras mais importantes no desenho de sistemas de IA. Se o humano deve controlar a IA, precisa ter: Se o colaborador só pode clicar em "Aprovar" ou "Rejeitar", mas não tem como verificar por que a IA tomou determinada decisão, o seu papel fica muito limitado. Pior ainda se o sistema funciona tão rápido que o humano não consegue acompanhar a análise. Então formalmente temos Human-in-the-Loop. Na prática temos automação com um humano desempenhando um papel decorativo. Antes da automação vale responder às seguintes perguntas: ☐ A decisão é repetitiva? ☐ Temos dados suficientemente bons? ☐ Conseguimos identificar quando a IA erra? ☐ O erro é aceitável? ☐ A decisão pode ser revertida? ☐ A decisão afeta diretamente pessoas? ☐ Existem regras de negócio claras? ☐ O sistema pode ser monitorado? ☐ O humano consegue parar a IA? ☐ Está claro quem assume a responsabilidade? ☐ A decisão pode ser explicada? ☐ O humano tem tempo e conhecimento suficientes para supervisionar efetivamente? Quanto mais respostas forem "não", mais cautelosa deve ser a abordagem à automação. Automation Bias Guardrails Confidence Score Escalation Human Override Decision Reversibility High-impact decision Nem toda decisão deve ser automatizada, mas nem toda decisão necessita também de um humano sentado ao computador aprovando cada operação individual. O verdadeiro objetivo no desenho de sistemas de IA não é escolher entre: "o humano decide" e "a IA decide". O objetivo é criar um modelo adequado de colaboração. A IA deve atuar autonomamente onde o risco é baixo. Deve recomendar soluções onde é necessária a experiência humana. Deve parar e pedir ajuda onde as consequências do erro são graves. E o humano deve sempre poder assumir o controlo quando a situação ultrapassar o cenário previsto. Um sistema de IA bem desenhado não é aquele que toma mais decisões autonomamente. É aquele que sabe reconhecer quando deve tomar a decisão, quando apresentar uma recomendação e quando dizer: "Desta vez preciso de um humano". Na próxima parte passaremos do nível da decisão individual para o nível da organização. Porque mesmo o melhor sistema de IA pode tornar-se problemático se a empresa não souber quem é responsável por ele, quem o controla e o que fazer quando começa a agir de forma diferente do previsto. Na próxima parte trataremos de AI Governance - como construir regras, responsabilidades e mecanismos de controlo sobre a inteligência artificial na organização.
Modelo de avaliação de risco da decisão
Nível 1 - automação direta
Nível 2 - IA recomenda, humano aprova
Nível 3 - IA atua autonomamente, mas com possibilidade de intervenção
Nível 4 - autonomia total
Exemplo 1 - e-commerce
Exemplo 2 - recrutamento
Exemplo 3 - logística
Exemplo 4 - banca
Confidence score - a IA sabe quando não tem certeza?
Maior perigo: o humano que deixou de verificar a IA
Human-in-the-Loop não pode ser ficção
Checklist prática - posso delegar esta decisão à IA?
Glossário de termos
Tendência do humano a confiar excessivamente nas recomendações de um sistema automático e tratá-las como corretas sem verificação adequada.
Limites e mecanismos de proteção que definem o que um sistema de IA pode e não pode fazer.
Indicador que representa o nível de confiança do modelo sobre um resultado ou recomendação. Não deve ser confundido com garantia de correção.
Mecanismo de encaminhamento para um humano quando o sistema detecta alto nível de risco, incerteza ou uma situação fora das regras definidas.
Possibilidade de substituir manualmente uma decisão ou ação tomada pelo sistema de IA.
Reversibilidade da decisão, ou seja, a capacidade de anular seus efeitos sem consequências significativas.
Decisão que pode ter impacto significativo na vida, direitos, oportunidades ou situação econômica de uma pessoa. Nesses casos os requisitos de supervisão e responsabilidade são especialmente importantes.
Conclusão mais importante
