En la primera parte de nuestra serie explicamos qué es Human-in-the-Loop y por qué el desarrollo de la inteligencia artificial no significa que el humano deba desaparecer del proceso de toma de decisiones.
Conocimos tres modelos básicos de colaboración:
- Human-in-the-Loop - el humano participa activamente en el proceso de decisión,
- Human-on-the-Loop - la IA actúa de forma autónoma, pero el humano supervisa el sistema,
- Human-out-of-the-Loop - el sistema opera de forma autónoma, sin intervención humana continua.
Ahora llega la pregunta más importante: ¿Cómo saber qué modelo elegir?
Porque aquí es donde empieza el verdadero desafío.
No basta con decir: "Esta decisión es simple, así que la dejemos a la IA."
Ni: "Esta decisión es importante, así que siempre debe ser aprobada por un humano."
La realidad es más compleja.
Una buena arquitectura de un sistema de IA debe tener en cuenta, entre otras cosas:
- nivel de riesgo,
- coste del error,
- posibilidad de revertir la decisión,
- impacto sobre las personas,
- disponibilidad de datos,
- posibilidad de explicar las recomendaciones,
- frecuencia de toma de decisiones,
- capacidad de supervisar eficazmente el sistema.
Solo el análisis de estos elementos permite determinar cuánta autonomía podemos conceder a la IA con seguridad.
Principio más importante: no automatices decisiones que no puedas controlar
La implantación de IA suele comenzar con la pregunta: "¿Qué podemos automatizar?"
En una organización madura la pregunta debería ser: "¿Qué podemos automatizar y seguir controlando eficazmente?"
Esa es la diferencia clave.
Podemos, por ejemplo, crear un sistema que toma miles de decisiones al día automáticamente. Técnicamente puede funcionar muy bien.
Pero si nadie sabe:
- por qué tomó una decisión concreta,
- en qué datos se basó,
- cuándo empieza a cometer errores,
- quién puede detener el sistema,
- quién es responsable de las consecuencias,
no estamos ante una automatización madura. Estamos ante una generación automática de riesgo.
Cuatro preguntas que conviene hacerse antes de automatizar una decisión
Antes de delegar una decisión al sistema de IA conviene hacer un análisis sencillo.
1. ¿Qué ocurre si la IA se equivoca?
Es la pregunta básica.
No todos los errores tienen las mismas consecuencias.
Si la IA clasifica mal un boletín, probablemente no pasará nada grave. Si identifica erróneamente un intento de fraude, puede producirse una pérdida financiera. Si evalúa mal la salud de un paciente, las consecuencias pueden ser mucho más graves.
Por eso el nivel de autonomía debe ser proporcional a las posibles consecuencias del error.
2. ¿Se puede revertir fácilmente la decisión?
Es uno de los parámetros más importantes y a menudo olvidados.
Imaginemos dos casos.
La IA cambia automáticamente el orden de aparición de productos en una tienda online. El error puede detectarse y revertirse. El riesgo es relativamente bajo.
Ahora otro ejemplo.
La IA elimina automáticamente una cuenta de usuario y borra todos sus datos. Esa decisión puede ser mucho más difícil de revertir.
Otro caso: la IA envía automáticamente una notificación de cancelación de contrato al cliente. Aquí las consecuencias son aún más serias.
Por eso la reversibilidad de la decisión debe ser uno de los criterios básicos al diseñar sistemas de IA.
3. ¿La decisión afecta directamente a una persona?
Si la IA optimiza la ruta de un vehículo de reparto, el nivel de riesgo puede ser relativamente bajo.
Pero si el sistema evalúa a un candidato a un puesto, concede un crédito o determina el acceso a un servicio determinado, la situación es completamente distinta.
Las decisiones que afectan a personas requieren especial cautela. No solo por ética. También por la regulación, la responsabilidad de la organización y el riesgo de discriminación.
En esos ámbitos el humano puede no ser solo el "último clic". Debe tener la posibilidad real de cuestionar la recomendación del sistema.
4. ¿Puede el humano supervisar eficazmente el sistema?
Esta pregunta es más engañosa de lo que parece.
Imaginemos un sistema que genera 50.000 recomendaciones al día. Formalmente un humano podría aprobarlas todas. En la práctica eso es imposible. Con el tiempo el trabajador empezará a aprobar decisiones automáticamente.
Surge entonces el fenómeno llamado automation bias: la tendencia a confiar excesivamente en las recomendaciones del sistema y tratarlas como intrínsecamente correctas.
El humano sigue estando "en el bucle", pero en realidad deja de ejercer la función de control. Se convierte solo en un operador del botón "Aceptar".
Eso no es un verdadero Human-in-the-Loop.
Modelo de evaluación de riesgo de decisiones
En la práctica se puede aplicar un modelo sencillo de evaluación.
Cada decisión la analizamos según cinco parámetros:
1. Probabilidad de error
¿Con qué frecuencia puede equivocarse el sistema?
2. Escala de las consecuencias
¿Qué gravedad tendrá el error?
3. Reversibilidad
¿Se puede revertir la decisión rápidamente?
4. Impacto sobre las personas
¿La decisión afecta directamente a derechos, finanzas, salud o seguridad de las personas?
5. Capacidad de supervisión
¿Puede el humano monitorizar eficazmente el proceso?
Cuanto mayor sea el nivel de riesgo, mayor será la necesidad de intervención humana. Eso no significa que toda decisión de alto riesgo deba tomarse manualmente. Significa que el sistema debe disponer de mecanismos de control adecuados.
Nivel 1 - automatización directa
Son las decisiones más sencillas.
Ejemplos:
- ordenación de mensajes,
- clasificación de documentos,
- generación de resúmenes,
- recomendación de productos,
- asignación de incidencias a categorías.
La IA puede actuar de forma autónoma. El humano no necesita aprobar cada decisión. Sin embargo, el sistema debe ser monitorizado.
Este modelo se asemeja a Human-on-the-Loop.
Nivel 2 - la IA recomienda, el humano aprueba
Aquí la IA analiza los datos y propone una acción.
El humano toma la decisión.
Ejemplos:
- recomendación del importe de un descuento,
- propuesta de respuesta a una reclamación,
- recomendación de acciones de mantenimiento,
- evaluación del riesgo de una transacción,
- propuesta de prioridad de una incidencia.
Es el clásico Human-in-the-Loop.
El modelo funciona bien cuando la IA puede acelerar mucho el análisis, pero la decisión requiere la experiencia humana.
Nivel 3 - la IA actúa sola, pero con posibilidad de intervención
El sistema toma la decisión automáticamente. Sin embargo, un humano puede detenerla o modificarla.
Un ejemplo es el bloqueo automático de transacciones sospechosas. El sistema detecta un patrón anómalo y bloquea la operación. Si el cliente reporta un problema, un empleado puede revisar la decisión.
En este modelo son clave:
- monitorización,
- alertas,
- posibilidad de intervención manual,
- registro de decisiones,
- mecanismos de emergencia.
Nivel 4 - autonomía completa
La IA opera sin la intervención humana continua.
Este modelo debería reservarse para procesos:
- repetitivos,
- bien definidos,
- de bajo riesgo,
- fáciles de monitorizar,
- reversibles.
Un ejemplo sería el escalado automático de recursos de infraestructura en la nube.
El sistema detecta mayor carga, arranca recursos adicionales y, tras la caída del tráfico, los apaga. Nadie tiene que aprobar cada decisión individual.
Pero si el sistema empieza a generar costes imprevistos, debería existir un mecanismo que limite su acción.
La autonomía nunca debe significar ausencia de control.
Ejemplo 1 - comercio electrónico
Imaginemos una tienda online.
La IA analiza:
- historial de compras,
- comportamiento del usuario,
- estacionalidad,
- precios de la competencia,
- disponibilidad de productos.
Puede recomendar productos al cliente. Es un proceso relativamente seguro.
El sistema puede operar de forma autónoma. Pero ¿y si la IA debe fijar los precios por sí sola? Aquí la situación se complica.
La fijación dinámica de precios puede automatizarse, pero debe hacerlo dentro de ciertos límites.
El sistema puede tener:
- un precio mínimo,
- un precio máximo,
- un cambio máximo de precio por día,
- reglas sobre promociones.
Si la IA quiere sobrepasar ciertos límites, la decisión puede remitirse a un humano.
Es un ejemplo de guardrails, es decir, restricciones que protegen el funcionamiento del sistema.
Ejemplo 2 - selección de personal
La IA analiza los CV de los candidatos.
Puede:
- extraer la experiencia,
- ordenar la información,
- emparejar competencias con requisitos.
Eso puede acelerar mucho el trabajo del reclutador.
Pero la decisión: "Rechazamos a este candidato." es de otra naturaleza.
Si el sistema la toma automáticamente, puede perpetuar sesgos presentes en los datos históricos.
Por eso en procesos de RR. HH. la intervención humana puede ser fundamental. La IA puede apoyar al reclutador, pero no debería decidir automáticamente sobre el valor de una persona basándose en datos incompletos.
Ejemplo 3 - logística
Un sistema de IA planifica las entregas.
Analiza:
- distancias,
- tráfico,
- clima,
- disponibilidad de conductores,
- horarios de trabajo,
- costes de combustible.
Puede optimizar rutas por sí misma.
Pero, ¿qué pasa si el sistema elige una ruta más económica que no respeta restricciones locales? ¿O si optimiza el tiempo de entrega a costa de sobrecargar a los conductores?
Por eso el sistema debería operar dentro de reglas de negocio definidas.
La IA optimiza. La organización define los límites. El humano interviene cuando el sistema sale del rango seguro.
Ejemplo 4 - banca
La IA puede detectar anomalías en transacciones.
Si el sistema detecta una operación inusual, puede marcarla automáticamente.
¿Y después?
Son posibles distintos escenarios:
- solo una alerta para el empleado,
- suspensión temporal de la transacción,
- bloqueo automático,
- bloqueo que requiere verificación adicional.
La elección depende del nivel de riesgo.
Para una transacción sospechosa de pequeña cuantía puede aplicarse automatización. En casos más complejos puede necesitarse la revisión por un experto.
Por eso los sistemas de IA deben incluir mecanismos de escalado, es decir, remitir el caso a un humano cuando el nivel de incertidumbre o riesgo supera cierto umbral.
Puntuación de confianza - ¿la IA sabe cuándo no está segura?
Uno de los mecanismos interesantes es usar el nivel de confianza.
El sistema puede evaluar: "Mi recomendación tiene alta probabilidad de ser correcta."
Entonces la acción puede ejecutarse automáticamente.
Si, en cambio, el sistema valora su recomendación como incierta, el proceso puede derivarse a un humano.
Por ejemplo:
Puntuación de confianza > 95% Ejecutar automáticamente.
Puntuación de confianza 70-95% Recomendación para un humano.
Puntuación de confianza < 70% Verificación obligatoria por un experto.
Hay que mantener cautela.
La puntuación de confianza no es automáticamente prueba de veracidad. Un modelo puede estar muy seguro y, aun así, estar equivocado. Por eso la confianza debe ser uno de los elementos de evaluación, no el único criterio de decisión.
La mayor amenaza: el humano que deja de revisar la IA
Se puede diseñar un sistema con Human-in-the-Loop.
Se puede añadir un botón: "Aprobar la decisión de la IA."
Se puede contratar a una persona para controlarlo.
Y aun así crear un sistema peligroso.
¿Por qué? — Porque el humano puede llegar a confiar en la IA más que en su propia experiencia.
Si el sistema funciona correctamente durante 1000 casos, el humano deja de analizar detenidamente el caso 1001. Es natural.
Por eso un buen sistema no debe limitarse a pedir aprobación. Debe proporcionar al humano el contexto necesario.
Por ejemplo:
- por qué la IA tomó esa decisión,
- qué datos tuvo en cuenta,
- qué alternativas consideró,
- cuál es el nivel de incertidumbre,
- qué puede pasar después de ejecutar la decisión.
Así el humano no es solo un "freno de seguridad".
Se convierte en un verdadero socio del sistema.
Human-in-the-Loop no puede ser una ficción
Es una de las reglas más importantes en el diseño de sistemas de IA.
Si el humano debe controlar la IA, debe contar con:
- conocimiento suficiente,
- tiempo adecuado,
- acceso a los datos,
- posibilidad de cuestionar la recomendación,
- capacidad de detener el proceso,
- responsabilidades claras.
Si el trabajador solo puede hacer clic en "Aceptar" o "Rechazar" pero no puede comprobar por qué la IA tomó la decisión, su papel queda muy limitado.
Peor aún si el sistema funciona tan rápido que el humano no puede seguir el análisis. Entonces formalmente existe Human-in-the-Loop, pero en la práctica tenemos una automatización con un humano de adorno.
Checklist práctica - ¿se puede delegar esta decisión a la IA?
Antes de automatizar conviene responder a las siguientes preguntas:
☐ ¿La decisión es repetible?
☐ ¿Tenemos datos suficientemente buenos?
☐ ¿Sabemos detectar cuándo la IA se equivoca?
☐ ¿Es aceptable el error?
☐ ¿Se puede revertir la decisión?
☐ ¿La decisión afecta directamente a una persona?
☐ ¿Existen reglas de negocio claras?
☐ ¿Se puede monitorizar el sistema?
☐ ¿Puede el humano detener la acción de la IA?
☐ ¿Se sabe quién asume la responsabilidad?
☐ ¿Se puede explicar la decisión?
☐ ¿El humano dispone de suficiente tiempo y conocimiento para supervisar eficazmente el sistema?
Cuantas más respuestas sean "no", más cautela conviene al abordar la automatización.
Glosario de términos
Automation Bias
Tendencia del humano a confiar excesivamente en las recomendaciones del sistema automático y tratarlas como correctas sin una verificación adecuada.
Guardrails
Limitaciones y mecanismos de protección que definen lo que un sistema de IA puede y no puede hacer.
Confidence Score
Indicador que expresa el nivel de confianza del modelo respecto a un resultado o recomendación. No debe confundirse con una garantía de corrección.
Escalation
Mecanismo para remitir un caso a un humano cuando el sistema detecta alto riesgo, incertidumbre o una situación fuera de las reglas establecidas.
Human Override
Capacidad de sustituir manualmente una decisión o acción tomada por el sistema de IA.
Decision Reversibility
Reversibilidad de la decisión, es decir, la posibilidad de deshacer sus efectos sin consecuencias importantes.
High-impact decision
Decisión que puede tener un impacto importante en la vida, derechos, oportunidades o situación económica de una persona. En estos casos son especialmente relevantes los requisitos de supervisión y responsabilidad.
Conclusión más importante
No toda decisión debe ser automatizada, pero tampoco toda decisión requiere un humano sentado frente al ordenador aprobando cada operación individual.
El verdadero objetivo del diseño de sistemas de IA no es elegir entre: "decide el humano" y "decide la IA".
El objetivo es crear un modelo adecuado de colaboración.
La IA debe actuar sola donde el riesgo es bajo. Debe recomendar soluciones donde se necesita la experiencia humana. Debe detenerse y pedir ayuda donde las consecuencias del error son demasiado graves. Y el humano debe poder siempre tomar el control cuando la situación exceda el escenario previsto.
Un sistema de IA bien diseñado no es el que toma más decisiones por sí solo. Es el que sabe reconocer adecuadamente cuándo debe tomar una decisión, cuándo presentar una recomendación y cuándo decir: "Esta vez necesito a un humano".
En la siguiente parte pasaremos del nivel de una decisión individual al nivel de toda la organización.
Porque incluso el sistema de IA mejor diseñado puede convertirse en un problema si la empresa no sabe quién es responsable de él, quién lo supervisa y qué hacer cuando empieza a actuar de forma distinta a la prevista.
En la próxima parte trataremos AI Governance: cómo construir reglas, responsabilidades y mecanismos de control sobre la inteligencia artificial en la organización.
