Comprender el sesgo y la equidad en la IA

Cómo el sesgo entra en los sistemas de IA

La fórmula básica

Sesgo dentro → Sesgo fuera. La IA aprende de los datos. Si los datos están sesgados, los resultados estarán sesgados. Sin mala intención. Sin conciencia. A gran escala.

Los tres tipos principales

Tipo 1 — Sesgo de datos

Los datos de entrenamiento reflejan el mundo como era, no como debería ser.

Ejemplo Amazon: Diez años de datos históricos de contratación de un sector dominado por hombres. El modelo aprende: se prefieren candidatos masculinos. Los currículums con la palabra "mujeres" son devaluados. Resultado: Sesgo sistémico sin intención de programación.

Señales de reconocimiento: Un grupo aparece con menos frecuencia o de manera negativa en los datos de entrenamiento.

Tipo 2 — Sesgo de proxy

El modelo utiliza variables indirectas como proxy para características protegidas.

Ejemplo de puntuación crediticia: El código postal correlaciona con el nivel de ingresos → correlaciona con el origen → correlaciona con la etnicidad. El modelo discrimina por etnicidad, sin utilizar la variable directamente.

Señales de reconocimiento: Una variable "debería" ser neutral, pero produce sistemáticamente resultados desiguales.

Tipo 3 — Bucle de retroalimentación

La salida de la IA se convierte en la nueva entrada — y refuerza patrones existentes.

Ejemplo de policía predictiva: La IA predice más criminalidad en el distrito A → más policía allí → más arrestos allí → nuevos datos confirman la predicción → la IA se vuelve más segura en su evaluación. El bucle de refuerzo gira.

Por qué el sesgo es tan difícil de detectar

Continuar: Detectar y actuar sobre el sesgo →

Reconocer el sesgo — y actuar correctamente

El método más importante: Analizar la distribución de resultados

No se requiere conocimiento de Machine Learning. Solo una pregunta:

"¿Existen diferencias sistemáticas en los resultados entre grupos comparables?"

Práctico:

1. Exportar los resultados del sistema de AI
2. Dividir por grupos (género, edad, origen, código postal)
3. Comparar tasas: tasas de rechazo, tasas de aprobación, puntuaciones

Si se observan diferencias que no pueden explicarse por factores legítimos: Sospecha de sesgo.

Señales de advertencia — estos patrones deben alertarlo

El procedimiento correcto ante sospecha de sesgo

1. INMEDIATAMENTE: Retirar el sistema del proceso crítico
   (no: observar, no: esperar un parche)

2. DOCUMENTAR: ¿Qué se observó? ¿Desde cuándo? ¿Qué grupos están afectados?

3. ANALIZAR: Causa raíz — ¿Datos de entrenamiento? ¿Variable proxy? ¿Bucle de retroalimentación?

4. DECIDIR: ¿Reentrenamiento, ajuste del modelo o reemplazo del sistema?

5. PROBAR: Prueba de sesgo con casos de prueba estructurados antes de la reactivación

6. DOCUMENTAR: Medidas, resultados, responsables

Lo que exige la ley

Conclusión: La verificación de sesgos no es opcional. Es legalmente obligatoria — para sistemas de alto riesgo a partir de agosto de 2026.

Caso práctico: La herramienta de reclutamiento

Situación: Después de 6 meses, se observa que un sistema de reclutamiento basado en AI evalúa sistemáticamente peor a los candidatos de ciertos códigos postales. El código postal no es un criterio oficial de selección.

¿Qué ocurrió aquí? Sesgo de proxy: Código postal → Escuelas → Estatus socioeconómico → Origen. El modelo discrimina indirectamente, sin "saberlo".

Procedimiento correcto:

• Pausar inmediatamente la herramienta — no esperar al análisis
• Revisar todas las decisiones tomadas desde su implementación
• Análisis de causa raíz: ¿Qué variable actúa como proxy?
• Reentrenamiento sin código postal y características correlacionadas
• Antes de la reactivación: prueba estructurada de sesgo con conjunto de datos de prueba

Procedimiento incorrecto: "Eliminamos el código postal de los datos de entrada." Esto resuelve el síntoma. Las características correlacionadas (nombre de la escuela, nombre de la calle, pertenencia a asociaciones) continúan transportando el mismo proxy.

Volver: Cómo surge el sesgo | Iniciar evaluación →