Sesgo Algorítmico, Caja Negra y Responsabilidad
¿Quién responde cuando el código discrimina?
1. Sesgos Históricos
De la discriminación invisible en RRHH a la justicia penal.
2. La Caja Negra
Opacidad algorítmica, XAI y el derecho a la explicación.
3. Juicio Simulado
Caso real COMPAS: debate de roles, evidencias y veredicto.
El Disparador Inicial
Elegí tu postura para votar:
Debate: ¿A quién le reclamás?
Fundamentá tu voto y respondé a lo que escriben los otros grupos.
Amazon Recruiting AI
Cuando el algoritmo aprende patrones de éxito del pasado.
⚠️ Desenlace: El proyecto fue cancelado internamente en 2018 al no poder garantizar neutralidad de género.
Algoritmo COMPAS (Northpointe)
Predicción de reincidencia criminal utilizada por jueces en EE.UU.
🔍 Investigación ProPublica (2016): El software nunca incluyó la variable "raza", pero la reconstruyó a través de variables sustitutas (código postal, historial familiar).
Gender Shades (Buolamwini & Gebru)
Auditoría sobre sistemas comerciales de reconocimiento facial (IBM, Microsoft, Face++).
Idea Fuerza
aprende a escalar y automatizar el sesgo que ya estaba en la historia humana y en los datos."
MIT Moral Machine
Decisiones morales automatizadas: cuando no hay salida neutral.
1. Votación en Vivo
8 a 10 escenarios extremos de vehículos autónomos.
2. El Dilema
¿Salvar pasajeros o peatones? ¿Jóvenes o ancianos?
3. Comparación
¿Occidente o el grupo Oriental?
Instrucciones: MIT Moral Machine
- Ingresen desde el navegador a: moralmachine.net
- Votaremos en vivo a mano alzada / chat cada uno de los dilemas proyectados.
- Pregunta clave: ¿Qué criterio inconsciente estamos priorizando en cada clic?
El Espejo Global: Variaciones Culturales
Cluster Occidental
Fuerte preferencia por salvar a jóvenes frente a ancianos y a un mayor número de individuos.
Cluster Oriental
Mayor respeto y prioridad de protección a adultos mayores y peatones cumplidores.
Debate: ¿Qué criterio priorizaste sin darte cuenta?
Contá qué elegiste en Moral Machine y discutí los criterios de los demás.
El Problema de la "Caja Negra"
Opacidad en modelos neuronales profundos.
XAI y Derecho a la Explicación
XAI (Explainable AI)
Técnicas diseñadas para auditar y volver comprensibles las decisiones complejas.
Marco Legal (GDPR / EU AI Act)
Exigencia de supervisión humana y derecho a defensa frente a decisiones de alto riesgo.
Tribunal Ético: Caso COMPAS
Simulación de Juicio Oral a un Sistema de IA de Alto Riesgo
Hecho a juzgar: El uso de COMPAS generó disparidades raciales sistemáticas, duplicando falsos positivos en personas negras y manteniendo prisión preventiva injusta.
Roles del Tribunal
| Rol | Integrantes | Misión Principal |
|---|---|---|
| 1. Acusación | 4 Alumnos | Demostrar daño y discriminación indirecta. |
| 2. Def. Ingenieros | 4 Alumnos | Neutralidad matemática y límites del dataset. |
| 3. Def. Empresa | 4 Alumnos | Herramienta de asistencia; decide el juez. |
| 4. Jueces | 4 Alumnos | Interrogar y redactar la sentencia técnica. |
| 5. Jurado | 4 Alumnos | Veredicto ciudadano fundamentado. |
Sala de tu Equipo
Elegí tu equipo y coordinen ahí adentro: reparto de roles, argumentos, preguntas para el cruce. Cada sala es un foro aparte.
Estructura y Tiempos del Debate
Fase 1: Alegatos (6 min)
2 min por parte (Acusación, Ingenieros, Empresa).
Fase 2: Jurado (8 min)
Interrogatorio sobre impacto social y transparencia.
Fase 3: Jueces (8 min)
Interrogatorio técnico y legal.
Fase 4: Réplica (13 min)
Confrontación directa cruzada.
Sala del Tribunal: cruce entre equipos
Objeciones, preguntas y réplicas por escrito mientras corre el juicio.
Ficha Interactiva: Dictamen de tu Equipo
Dictámenes de los Equipos
Cada equipo publica su veredicto desde la ficha. Leelos y comentá los ajenos.
Síntesis Integradora
La caja negra dificulta detectarlo a tiempo.
Y la responsabilidad ética y legal sigue siendo un territorio en disputa que nos toca regular."
Cierre: una idea que te llevás
Una conclusión, una duda que te queda abierta.