En 30.384 evaluaciones de currículums, una auditoría de sesgo revisada por pares situó el efecto de género en d=−0,00 (p=0,97) y el contraste negros–blancos en d=+0,03 (p=0,29). No «no significativo» — formalmente equivalente a cero, con el nulo de género sosteniéndose hasta un límite de |d|=0,035 (Pavlopoulos, Analytics, 2026). Después el mismo estudio sustituyó la rúbrica de puntuación por una instrucción informal, de intuición, mantuvo la experiencia de los candidatos exactamente constante, y una preferencia de d=0,41 por las cohortes de graduación más antiguas volvió a entrar.
El modelo estaba limpio. El prompt no. Y tu auditoría de sesgo probó el modelo.
Esa brecha es toda la cuestión operativa, porque el documento que te entrega tu proveedor certifica un objeto que no es el que toma tus decisiones de cribado. La decisión la toma un modelo más una instrucción más una ventana de contexto, y solo uno de los tres se audita.
La auditoría se diseñó para romper su propio nulo
La mayoría de los estudios sobre equidad en LLM prueban una condición y dictan un veredicto. Este trata la robustez como objeto de estudio, y por eso su resultado nulo merece lectura y no archivo.
Se evaluaron tres modelos instruction-tuned a través de sus API: Gemini 2.5 Flash, Gemini 2.5 Flash-Lite y el modelo de pesos abiertos Llama 3.1 8B Instruct — una selección deliberada que abarca los niveles comerciales alojados y la vía autogestionada. La puntuación se ancló a una referencia en lugar de ser absoluta, porque la escala absoluta de 0 a 100 colapsaba la varianza necesaria para detectar cualquier cosa: en las pruebas piloto casi todos los currículums se situaban cerca de 95. Cada candidato se puntuó en cambio frente a una referencia neutra fija para la misma ocupación, lo que restituyó una dispersión de 12 a 18 puntos. El muestreo se hizo a temperatura 0,7 con evaluaciones replicadas por celda, de modo que los efectos se midieron contra la variabilidad real intracelda y no contra una única salida determinista.
Tres decisiones de diseño hacen difícil descartar el resultado.
Un control positivo que funcionó. Los tres modelos separaron a los candidatos de nivel medio de los junior con d=3,40, 3,21 y 1,93. El instrumento lee demostrablemente la calidad, así que un nulo demográfico no puede desecharse como medida inerte. Los efectos de antigüedad superaron a los demográficos en aproximadamente dos órdenes de magnitud.
Pruebas de equivalencia, no ausencia de significación. Cada contraste principal rechazó el nulo TOST en el límite |d|=0,2 con p<0,001, con márgenes alcanzados de 0,035 para género, 0,056 para asiáticos–blancos, y 0,080 y 0,085 para negros–blancos e hispanos–blancos. El control de antigüedad devolvió TOST p=1,000, confirmando que el procedimiento no certifica efectos que son genuinamente grandes.
Provocación deliberada. El estudio 3 debilitó a los candidatos, relajó el prompt y antepuso un texto de encaje cultural sobre un equipo cohesionado y de alta energía. La manipulación funcionó: los currículums limítrofes puntuaron 32,5 de media frente a 67,6 de los íntegros, una caída de 35 puntos. Ese es exactamente el régimen en el que, por razones teóricas, un decisor es más propenso a sustituir la evaluación por una heurística. Allí también los efectos de raza y género se mantuvieron despreciables.
Apareció un pequeño efecto real: los candidatos de instituciones no de élite puntuaron algo más bajo, d=−0,05 (p=0,026), dejado marginal por el control de falsos descubrimientos en q=0,052. Digno de nota, no de una política.
Lo que volvió fue el atajo, no el prejuicio
El resultado de titular en el diseño principal era un aparente efecto de edad de d=0,28. El autor hizo lo que la mayoría de los artículos omite y lo repitió eliminando la confusión — porque los currículums de los graduados mayores llevaban también experiencia adicional, mezclando edad con antigüedad.
Con la rúbrica estructurada, manteniendo la experiencia idéntica, el efecto se derrumbó a d=0,02 (p=0,90). Con la instrucción informal sobrevivió en d=0,41 (p=0,03).
Lee ese par despacio. Una rúbrica obligó al modelo a anclar su juicio en cualificaciones declaradas idénticas entre niveles de edad, de modo que la heurística no tenía espacio para actuar. Una instrucción informal invitó a una impresión global, y la longitud de la carrera sustituyó a la calidad. Mismo modelo, mismos currículums, mismos candidatos — comportamiento opuesto, decidido por la redacción de la petición. Y, notablemente, el prompt informal no revivió efectos de raza o género: fue un atajo de antigüedad, no una relajación general de la contención.
El modelo de pesos abiertos traía su propio patrón, más silencioso. Los mayores desplazamientos de Llama provinieron de señales explícitas de minoría: titulaciones extranjeras del Sur global en d=−0,16, una afiliación religiosa musulmana en d=−0,13, una discapacidad declarada en d=−0,12. Ninguno sobrevivió a la corrección por falsos descubrimientos, así que son indicativos y no confirmados. Su dirección consistentemente negativa y su concentración en el modelo más pequeño y autogestionado siguen siendo el tipo de cosa que querrías saber antes de estandarizar sobre él.
Un segundo estudio halló brechas del 12 %. Ambos resultados pueden ser ciertos.
Si este estudio fuera la única evidencia, la conclusión sería cómoda. No lo es.
Una auditoría centrada en interpretabilidad probó los principales modelos comerciales y abiertos — GPT-4o, Claude 4 Sonnet, Gemini 2.5 Flash, Gemma-2 27B, Gemma-3, Mistral-24B — y halló que añadir contexto realista inducía sesgo racial y de género significativo, hasta 12 puntos porcentuales de diferencia en las tasas de entrevista (Karvonen y Marks, 2025). El contexto era mundano: nombres de empresas, descripciones de cultura tomadas de páginas de empleo públicas y restricciones selectivas de contratación como aceptar solo al 10 % mejor de los candidatos. Dos hallazgos adicionales deberían detener en seco una conversación de cumplimiento. Las simples instrucciones antisesgo en el prompt, que eliminan el sesgo en evaluaciones controladas, fallaron en presencia de ese contexto realista. Y los modelos infirieron datos demográficos a partir de señales sutiles como la afiliación universitaria, con el sesgo resultante invisible incluso inspeccionando la cadena de razonamiento.
Así, una auditoría cuidadosa encuentra un nulo defendido bajo provocación, y otra encuentra brechas de dos dígitos en tasas de entrevista bajo un encuadre realista de despliegue. La reconciliación no es que una se equivoque. Es que ambas localizaron la varianza en el mismo lugar — la instrucción circundante, no los priores demográficos del modelo. El encuadre de un estudio suprimió el atajo; el del otro lo admitió. Ninguno de los dos resultados se transfiere a tu pipeline, porque tu pipeline tiene su propio prompt.
Esa es la parte incómoda. Un resultado de auditoría limpio no es portable a otra instrucción.
El cribado humano obedece la misma ley
No es una patología de la máquina. Es lo que hace la discrecionalidad, y la evidencia humana apunta en la misma dirección.
Una auditoría de currículums envió 36.880 candidaturas a 9.220 anuncios de empleo estadounidenses para recién graduados. En ocupaciones directivas, las llamadas fueron entre un 28 y un 43 por ciento más bajas para hombres negros, mujeres negras, mujeres blancas y hombres hispanos que para hombres blancos por lo demás idénticos (Braun et al., 2026). El resultado estructural importa más que el titular: las categorías ocupacionales amplias ocultaban la variación, y las brechas se concentraban en puestos que combinan altas exigencias analíticas e interpersonales con bajo contenido rutinario. Al descomponer el contenido de las tareas, la evaluación subjetiva ampliaba las brechas de llamada mientras la precisión objetiva las comprimía. Lo más contundente: credenciales asignadas al azar que elevaban las llamadas en promedio cerraban brechas en puestos de baja discrecionalidad pero no en los de alta discrecionalidad.
La señalización del lado del candidato no puede reparar un problema de discrecionalidad del lado del empleador. Solo restringir la evaluación lo hace. Es un documento de trabajo en revisión y mide la primera puerta, no las contrataciones — pero el mecanismo es el mismo que aisló la auditoría de LLM. La discrecionalidad porta el sesgo. La estructura le quita espacio de acción. El prompt es simplemente donde vive la discrecionalidad cuando quien criba es un modelo.
Tu auditoría de sesgo está certificando el objeto equivocado
Pon ahora el documento de cumplimiento al lado de ese mecanismo.
La Local Law 144 de Nueva York prohíbe usar una herramienta automatizada de decisión de empleo a menos que «la herramienta haya sido sometida a una auditoría de sesgo dentro del año previo a su uso, la información sobre dicha auditoría esté públicamente disponible y se hayan proporcionado ciertas notificaciones» (NYC Department of Consumer and Worker Protection, 2026). El objeto auditado es la herramienta.
Las obligaciones europeas recaen en la otra parte. Los deberes del responsable del despliegue para los sistemas de alto riesgo del anexo III — entre ellos la contratación y la evaluación de candidatos — exigen un uso conforme a las instrucciones de uso del proveedor, y según el calendario modificado se aplican desde el 2 de diciembre de 2027 (EU AI Act Explorer, Artículo 113). El proveedor certifica el sistema. Tú respondes por cómo se usa realmente.
Entre esos dos polos está el hallazgo de esta investigación: lo que decide si aparece el sesgo no son los pesos del modelo ni tus intenciones, sino la redacción de la instrucción, el texto de encuadre y la temperatura a la que todo corre. Nadie está auditando eso. Normalmente ni siquiera está versionado.
Qué cambiar este trimestre
Cuatro movimientos. Ninguno requiere un ciclo de compras.
- Versiona el prompt de puntuación como instrumento, no como configuración. Ponlo bajo control de cambios con un responsable y una fecha. Cualquier edición — incluida una reformulación «inofensiva» — es un cambio en el aparato de medida e invalida el resultado de auditoría anterior para ese aparato.
- Elimina el lenguaje ambiental de encaje cultural de las instrucciones de puntuación. Funciona como criterio no medido. Si el contexto cultural importa de verdad para un puesto, conviértelo en una dimensión explícita, puntuada aparte, con una justificación escrita, no en un párrafo de atmósfera antepuesto a la petición.
- Vuelve a probar al cambiar el prompt, no por calendario. Una auditoría anual contra un prompt que desde entonces has editado once veces no certifica nada. Repite tu comprobación de equidad como test de regresión cada vez que cambie el instrumento, y fija la temperatura de muestreo ya que estás.
- Haz dos preguntas en la renovación. ¿Qué generación de modelo y qué pesos se auditaron, y contra qué prompt? El modelo de pesos abiertos de este estudio se comportó de forma distinta a los comerciales precisamente en las señales que un prompt informal hace emerger, y ningún informe de auditoría nombra tu prompt.
Estructuralmente, los cuatro movimientos apuntan en la misma dirección: reducir la parte de la decisión que controla una instrucción no versionada. La arquitectura de puntuación de Scovai es un ejemplo concreto de esa separación — un presupuesto de peso fijo repartido 50/50, una mitad calculada aritméticamente a partir de los requisitos declarados del puesto con pesos de criticidad, y otra mitad devuelta como cuatro subpuntuaciones de juicio del modelo etiquetadas, a baja temperatura, cada una con su propia justificación escrita en lugar de enterrada en un total. El punto de diseño que vale la pena tomar prestado no es el reparto en sí, sino lo que hace: nombra qué parte de la puntuación es juicio, para que esa parte pueda auditarse como el instrumento que es.
Límites honestos, antes de que alguien construya una política sobre el nulo. Los currículums eran sintéticos, el diseño estaba centrado en Estados Unidos en nombres, instituciones y ocupaciones, se cubrieron seis ocupaciones y los puestos jurídicos, del sector público y de servicios no lo estuvieron. El diseño comparativo mide juicios relativos, por lo que puede no ver sesgos que actúan solo en un umbral de aceptación o rechazo. Los efectos indicativos del modelo de pesos abiertos requieren muestras mayores. Dos de los tres modelos pertenecen a la familia Gemini. Y es una instantánea de tres modelos en un momento dado — la posición final del propio autor es que este tipo de auditoría debe continuar a medida que los sistemas se actualizan. El estudio no recibió financiación externa y no declara conflictos de interés.
La conclusión que sobrevive a todo ello: la equidad medida en un benchmark limpio no garantiza la equidad en despliegue, porque el modo en que se interroga a un modelo puede decidir si aparece el sesgo.
Así que saca esta semana el prompt de cribado que tienes en producción, léelo como el instrumento de medida que es, y comprueba una sola cosa — si la auditoría de sesgo de tu carpeta de cumplimiento se ejecutó contra esta redacción o contra una anterior. Si no puedes responder, no tienes una auditoría de sesgo. Tienes un certificado de un aparato que desde entonces has modificado.
