Sesgo algorítmico
Tendencia de un sistema de IA a producir resultados sistemáticamente injustos o desequilibrados para ciertos grupos de personas, normalmente heredados de los datos o del diseño.
Explicado fácil
Un modelo aprende de datos creados por personas, con su historia y sus desigualdades. Si esos datos reflejan prejuicios o dejan a ciertos grupos poco representados, el modelo los reproduce y, a veces, los amplifica.
Una analogía
Es como aprender un idioma solo escuchando a una región concreta: tu acento y tu vocabulario reflejarán a esa región y entenderás peor a quien hable distinto.
Un ejemplo
Un estudio de 2018 (Gender Shades) evaluó sistemas comerciales de reconocimiento facial y encontró errores notablemente mayores en mujeres de piel oscura que en hombres de piel clara. Otro caso conocido es el de sistemas de selección de personal entrenados con currículos históricos de sectores dominados por hombres, que penalizaban a las candidatas.
Cómo funciona (nivel técnico)
Las fuentes del sesgo son múltiples: datos poco representativos o con prejuicios históricos, etiquetas subjetivas, variables proxy (el código postal como sustituto de la etnia), la definición del objetivo y el contexto de uso. Medirlo exige elegir una noción de equidad (paridad demográfica, igualdad de oportunidades, calibración…), y varias de ellas son matemáticamente incompatibles entre sí, de modo que no existe un único “modelo justo”. Se mitiga con datos más representativos, auditorías por subgrupos, ajustes durante el entrenamiento, evaluación continua y supervisión humana.
Errores comunes
- Pensar que un algoritmo es objetivo por ser matemático.
- Creer que basta con quitar la variable sensible (género, etnia): otras variables correlacionadas pueden reintroducirla.
- Tratarlo como un problema puramente técnico, cuando implica decisiones sociales sobre qué es justo.