Em 30.384 avaliações de currículos, uma auditoria de viés revista por pares colocou o efeito de género em d=−0,00 (p=0,97) e o contraste negros–brancos em d=+0,03 (p=0,29). Não «não significativo» — formalmente equivalente a zero, com a hipótese nula de género a manter-se até um limite de |d|=0,035 (Pavlopoulos, Analytics, 2026). Depois o mesmo estudo substituiu a grelha de pontuação por uma instrução informal, de intuição, manteve a experiência dos candidatos exatamente constante, e uma preferência de d=0,41 pelas coortes de licenciatura mais antigas voltou a entrar.
O modelo estava limpo. O prompt não. E a sua auditoria de viés testou o modelo.
Essa diferença é toda a história operacional, porque o documento que o fornecedor lhe entrega certifica um objeto que não é aquele que toma as suas decisões de triagem. A decisão é tomada por um modelo mais uma instrução mais uma janela de contexto, e apenas um dos três é auditado.
A auditoria foi construída para derrubar a sua própria hipótese nula
A maioria dos estudos sobre equidade em LLM testa uma condição e emite um veredicto. Este trata a robustez como objeto de estudo, e é por isso que o seu resultado nulo merece leitura em vez de arquivo.
Três modelos instruction-tuned foram avaliados através das respetivas API: Gemini 2.5 Flash, Gemini 2.5 Flash-Lite e o modelo open-weight Llama 3.1 8B Instruct — uma escolha deliberada que cobre os níveis comerciais alojados e o caminho auto-hospedado. A pontuação foi ancorada numa referência em vez de absoluta, porque a escala absoluta de 0 a 100 colapsava a variância necessária para detetar qualquer coisa: nos ensaios piloto quase todos os currículos ficavam perto de 95. Cada candidato foi então pontuado contra uma referência neutra fixa para a mesma ocupação, o que restituiu uma dispersão de 12 a 18 pontos. A amostragem correu a temperatura 0,7 com avaliações replicadas por célula, pelo que os efeitos foram medidos contra a variabilidade real dentro da célula e não contra uma única saída determinista.
Três escolhas de desenho tornam o resultado difícil de descartar.
Um controlo positivo que funcionou. Os três modelos separaram candidatos de nível intermédio dos junior em d=3,40, 3,21 e 1,93. O instrumento lê demonstravelmente qualidade, logo uma hipótese nula demográfica não pode ser desvalorizada como medida inerte. Os efeitos de senioridade excederam os demográficos em cerca de duas ordens de magnitude.
Testes de equivalência, não ausência de significância. Cada contraste central rejeitou a nula TOST no limite |d|=0,2 com p<0,001, com margens alcançadas de 0,035 para género, 0,056 para asiáticos–brancos, e 0,080 e 0,085 para negros–brancos e hispânicos–brancos. O controlo de senioridade devolveu TOST p=1,000, confirmando que o procedimento não certifica efeitos genuinamente grandes.
Provocação deliberada. O Estudo 3 enfraqueceu os candidatos, relaxou o prompt e antepôs linguagem de culture fit sobre uma equipa unida e de alta energia. A manipulação pegou: os currículos limítrofes pontuaram 32,5 em média contra 67,6 dos íntegros, uma queda de 35 pontos. É exatamente o regime em que, por razões teóricas, um decisor é mais propenso a substituir a avaliação por uma heurística. Também aí os efeitos de raça e género permaneceram negligenciáveis.
Surgiu um pequeno efeito real: candidatos de instituições não de elite pontuaram ligeiramente abaixo, d=−0,05 (p=0,026), deixado marginal pelo controlo de falsas descobertas em q=0,052. Digno de nota, não de política.
O que voltou foi o atalho, não o preconceito
O resultado de destaque no desenho principal era um aparente efeito de idade de d=0,28. O autor fez o que a maioria dos artigos omite e repetiu-o removendo a confusão — porque os currículos dos licenciados mais velhos traziam também experiência adicional, misturando idade com antiguidade.
Com a grelha estruturada, mantendo a experiência idêntica, o efeito desabou para d=0,02 (p=0,90). Com a instrução informal sobreviveu em d=0,41 (p=0,03).
Leia esse par devagar. Uma grelha obrigou o modelo a ancorar o juízo em qualificações declaradas idênticas entre níveis de idade, pelo que a heurística não tinha espaço para agir. Uma instrução informal convidou a uma impressão global, e a extensão da carreira substituiu a qualidade. Mesmo modelo, mesmos currículos, mesmos candidatos — comportamento oposto, decidido pela formulação do pedido. E, notavelmente, o prompt informal não reanimou efeitos de raça ou género: foi um atalho de senioridade, não um relaxamento geral da contenção.
O modelo open-weight trazia o seu próprio padrão, mais silencioso. Os maiores desvios do Llama vieram de sinais explícitos de minoria: habilitações estrangeiras do Sul global em d=−0,16, uma filiação religiosa muçulmana em d=−0,13, uma incapacidade declarada em d=−0,12. Nenhum sobreviveu à correção para falsas descobertas, pelo que são indicativos e não confirmados. A direção consistentemente negativa e a concentração no modelo mais pequeno e auto-hospedado continuam a ser o tipo de coisa que se quer saber antes de padronizar sobre ele.
Um segundo estudo encontrou diferenças de 12 %. Ambos os resultados podem ser verdadeiros.
Se este estudo fosse a única evidência, a conclusão seria confortável. Não é.
Uma auditoria centrada na interpretabilidade testou os principais modelos comerciais e abertos — GPT-4o, Claude 4 Sonnet, Gemini 2.5 Flash, Gemma-2 27B, Gemma-3, Mistral-24B — e descobriu que acrescentar contexto realista induzia viés racial e de género significativo, até 12 pontos percentuais de diferença nas taxas de convocação para entrevista (Karvonen e Marks, 2025). O contexto era banal: nomes de empresas, descrições de cultura retiradas de páginas de carreiras públicas e restrições seletivas de contratação como aceitar apenas os 10 % melhores candidatos. Dois resultados adicionais deveriam travar uma conversa de compliance. As simples instruções antiviés no prompt, que eliminam o viés em avaliações controladas, falharam na presença desse contexto realista. E os modelos inferiram dados demográficos a partir de sinais subtis como a filiação universitária, com o viés resultante invisível mesmo inspecionando a cadeia de raciocínio.
Assim, uma auditoria cuidadosa encontra uma nula defendida sob provocação, e outra encontra diferenças de dois dígitos nas taxas de entrevista sob enquadramento realista de implementação. A reconciliação não é que uma esteja errada. É que ambas localizaram a variância no mesmo lugar — a instrução circundante, não os priores demográficos do modelo. O enquadramento de um estudo suprimiu o atalho; o do outro admitiu-o. Nenhum dos resultados se transfere para a sua pipeline, porque a sua pipeline tem o seu próprio prompt.
É essa a parte incómoda. Um resultado de auditoria limpo não é portável para outra instrução.
A triagem humana obedece à mesma lei
Não é uma patologia da máquina. É o que a discricionariedade faz, e a evidência humana aponta na mesma direção.
Uma auditoria de currículos enviou 36.880 candidaturas para 9.220 anúncios de emprego norte-americanos dirigidos a recém-licenciados. Em ocupações de gestão, as convocações foram 28 a 43 por cento mais baixas para homens negros, mulheres negras, mulheres brancas e homens hispânicos do que para homens brancos em tudo o resto idênticos (Braun et al., 2026). O resultado estrutural importa mais do que o título: as categorias ocupacionais amplas ocultavam a variação, e as diferenças concentravam-se em funções que combinam elevadas exigências analíticas e interpessoais com baixo conteúdo rotineiro. Decompondo o conteúdo das tarefas, a avaliação subjetiva alargava as diferenças de convocação enquanto a precisão objetiva as comprimia. Mais incisivo ainda: credenciais atribuídas aleatoriamente que aumentavam as convocações em média fechavam diferenças em funções de baixa discricionariedade mas não nas de alta discricionariedade.
A sinalização do lado do candidato não repara um problema de discricionariedade do lado do empregador. Só restringir a avaliação o faz. É um working paper em revisão e mede o primeiro portão, não as contratações — mas o mecanismo é o mesmo que a auditoria de LLM isolou. A discricionariedade transporta o viés. A estrutura retira-lhe espaço de ação. O prompt é simplesmente onde vive a discricionariedade quando quem triar é um modelo.
A sua auditoria de viés está a certificar o objeto errado
Coloque agora o documento de compliance ao lado desse mecanismo.
A Local Law 144 de Nova Iorque proíbe o uso de uma ferramenta automatizada de decisão de emprego a menos que «a ferramenta tenha sido submetida a uma auditoria de viés no prazo de um ano antes do seu uso, a informação sobre a auditoria de viés esteja publicamente disponível e tenham sido fornecidas determinadas notificações» (NYC Department of Consumer and Worker Protection, 2026). O objeto auditado é a ferramenta.
As obrigações europeias recaem sobre a outra parte. Os deveres do responsável pela implementação para sistemas de alto risco do Anexo III — entre eles a contratação e a avaliação de candidatos — exigem uso conforme às instruções de utilização do fornecedor e, segundo o calendário alterado, aplicam-se a partir de 2 de dezembro de 2027 (EU AI Act Explorer, Artigo 113). O fornecedor certifica o sistema. A responsabilidade sobre como é efetivamente usado é sua.
Entre esses dois polos está o achado desta investigação: o que decide se o viés aparece não são os pesos do modelo nem as suas intenções, mas a formulação da instrução, o texto de enquadramento e a temperatura a que tudo corre. Ninguém está a auditar isso. Normalmente nem está versionado.
O que mudar neste trimestre
Quatro movimentos. Nenhum exige um ciclo de compras.
- Versione o prompt de pontuação como instrumento, não como configuração. Coloque-o sob controlo de alterações com um responsável e uma data. Qualquer edição — incluindo uma reformulação «inofensiva» — é uma alteração ao aparelho de medição e invalida o resultado de auditoria anterior para esse aparelho.
- Elimine a linguagem ambiente de culture fit das instruções de pontuação. Funciona como critério não medido. Se o contexto cultural conta realmente para uma função, torne-o uma dimensão explícita, pontuada em separado, com justificação escrita, e não um parágrafo de atmosfera anteposto ao pedido.
- Volte a testar quando o prompt muda, não por calendário. Uma auditoria anual contra um prompt que desde então editou onze vezes não certifica nada. Repita a verificação de equidade como teste de regressão sempre que o instrumento muda, e fixe a temperatura de amostragem enquanto o faz.
- Faça duas perguntas na renovação. Que geração de modelo e que pesos foram auditados, e contra que prompt? O modelo open-weight deste estudo comportou-se de forma diferente dos comerciais exatamente nos sinais que um prompt informal faz emergir, e nenhum relatório de auditoria nomeia o seu prompt.
Estruturalmente, os quatro movimentos apontam na mesma direção: reduzir a parte da decisão controlada por uma instrução não versionada. A arquitetura de pontuação da Scovai é um exemplo concreto dessa separação — um orçamento de peso fixo dividido 50/50, metade calculada aritmeticamente a partir dos requisitos declarados da função com pesos de criticidade, metade devolvida como quatro subpontuações de juízo do modelo etiquetadas, a baixa temperatura, cada uma com a sua própria justificação escrita em vez de enterrada num total. O ponto de desenho que vale a pena aproveitar não é a divisão em si, mas o que ela faz: nomeia que parte da pontuação é juízo, para que essa parte possa ser auditada como o instrumento que é.
Limites honestos, antes que alguém construa política sobre a nula. Os currículos eram sintéticos, o desenho era centrado nos Estados Unidos em nomes, instituições e ocupações, foram cobertas seis ocupações e as funções jurídicas, do setor público e de serviços não o foram. O desenho comparativo mede juízos relativos, pelo que pode não ver vieses que agem apenas num limiar de aceitação ou rejeição. Os efeitos indicativos do modelo open-weight precisam de amostras maiores. Dois dos três modelos pertencem à família Gemini. E é um instantâneo de três modelos num momento — a posição final do próprio autor é que este tipo de auditoria tem de continuar à medida que os sistemas são atualizados. O estudo não recebeu financiamento externo e não declara conflitos de interesses.
A conclusão que sobrevive a tudo isto: a equidade medida num benchmark limpo não garante equidade em produção, porque a forma como um modelo é interrogado pode decidir se o viés aparece.
Então retire esta semana o prompt de triagem que tem em produção, leia-o como o instrumento de medição que é, e verifique uma só coisa — se a auditoria de viés na sua pasta de compliance foi executada contra esta formulação ou contra uma anterior. Se não souber responder, não tem uma auditoria de viés. Tem um certificado de um aparelho que entretanto modificou.
