Riesgos y controlesEsencialConcepto técnico
Sesgo algorítmico
Algorithmic bias · También: sesgo en IA, AI bias, sesgo
Qué significa
Error sistemático por el que un sistema de IA produce resultados que favorecen o perjudican de forma injusta a ciertos grupos de personas. Puede originarse en datos poco representativos, en decisiones de diseño, en la forma de medir el éxito o en el contexto en que se usa el sistema.
Un ejemplo
Ejemplo ilustrativo: una herramienta de preselección aprende de contrataciones pasadas en las que casi no había mujeres en puestos técnicos y, sin que nadie lo pretenda, puntúa peor sus candidaturas.
Por qué importa
Puede reproducir discriminaciones a gran escala y de forma poco visible. Exige revisar datos, medir resultados por grupos y corregir.
Distinción útil
El sesgo algorítmico está en el sistema; el sesgo de automatización está en cómo las personas confían en el sistema.
Fuentes
- AI Risk Management Framework (AI RMF 1.0, NIST AI 100-1)(se abre en una pestaña nueva)NIST — Sección 3.7 «Fair – with Harmful Bias Managed»
- Recomendación sobre la ética de la inteligencia artificial (2021)(se abre en una pestaña nueva)UNESCO — Valor y principio de equidad y no discriminación