Riesgos y controlesEsencialConcepto técnico
Sesgo de automatización
Automation bias · También: exceso de confianza en la máquina
Qué significa
Tendencia humana a confiar en exceso en las recomendaciones de un sistema automatizado, incluso cuando hay señales de que se equivoca, y a dar menos peso al propio criterio o a otra información disponible. Se acentúa con el cansancio, la prisa o la apariencia de precisión técnica.
Un ejemplo
Ejemplo ilustrativo: un navegador indica girar hacia una calle cortada y el conductor obedece pese a ver la señal de prohibido. En el trabajo ocurre algo parecido al aceptar sin revisar un resumen generado por IA.
Por qué importa
Puede anular la supervisión humana. Formación, tiempo de revisión y mostrar el grado de incertidumbre ayudan a contrarrestarlo.
Distinción útil
El sesgo de automatización es un sesgo de las personas usuarias; el sesgo algorítmico es un sesgo de los resultados del sistema.
Fuentes
- Machine Learning Glossary(se abre en una pestaña nueva)Google for Developers — Entrada «automation bias»
- Reglamento (UE) 2024/1689 de Inteligencia Artificial(se abre en una pestaña nueva)Unión Europea (EUR-Lex) — Artículo 14, apartado 4, letra b