Su 30.384 valutazioni di curriculum, un bias audit sottoposto a revisione tra pari ha collocato l'effetto di genere a d=−0,00 (p=0,97) e il contrasto Neri–Bianchi a d=+0,03 (p=0,29). Non "non significativo" — formalmente equivalente a zero, con il nullo di genere che tiene fino a un limite di |d|=0,035 (Pavlopoulos, Analytics, 2026). Poi lo stesso studio ha sostituito la griglia di valutazione con un'istruzione informale, a istinto, ha tenuto l'esperienza dei candidati esattamente costante, e una preferenza d=0,41 per le coorti di laurea più vecchie è rientrata dalla finestra.
Il modello era pulito. Il prompt no. E il tuo bias audit ha testato il modello.
Quello scarto è tutta la questione operativa, perché il documento che il fornitore ti consegna certifica un oggetto che non è quello che prende le tue decisioni di screening. La decisione è presa da un modello più un'istruzione più una finestra di contesto, e solo uno dei tre viene auditato.
L'audit è stato costruito per far cadere il proprio nullo
La maggior parte degli studi sull'equità degli LLM testa una condizione e pronuncia un verdetto. Questo tratta la robustezza come oggetto di studio, ed è per questo che il suo risultato nullo vale una lettura invece dell'archiviazione.
Tre modelli instruction-tuned sono stati valutati tramite le rispettive API: Gemini 2.5 Flash, Gemini 2.5 Flash-Lite e il modello open-weight Llama 3.1 8B Instruct — una scelta deliberata che copre i livelli commerciali in hosting e il percorso self-hosted. Il punteggio era ancorato a un riferimento invece che assoluto, perché la scala assoluta 0–100 azzerava la varianza necessaria a rilevare qualunque cosa: nelle prove pilota quasi ogni curriculum si attestava intorno a 95. Ogni candidato è stato invece valutato contro un riferimento neutro fisso per la stessa occupazione, cosa che ha ripristinato una dispersione di 12–18 punti. Il campionamento è avvenuto a temperatura 0,7 con valutazioni replicate per cella, così gli effetti sono stati misurati contro la reale variabilità interna alla cella e non contro un singolo output deterministico.
Tre scelte di disegno rendono il risultato difficile da liquidare.
Un controllo positivo che ha funzionato. Tutti e tre i modelli hanno separato i candidati mid-level dai junior con d=3,40, 3,21 e 1,93. Lo strumento legge dimostrabilmente la qualità, quindi un nullo demografico non può essere archiviato come misura inerte. Gli effetti di seniority hanno superato quelli demografici di circa due ordini di grandezza.
Test di equivalenza, non assenza di significatività. Ogni contrasto principale ha rifiutato il nullo TOST al limite |d|=0,2 con p<0,001, con margini raggiunti di 0,035 per il genere, 0,056 per Asiatici–Bianchi e 0,080 e 0,085 per Neri–Bianchi e Ispanici–Bianchi. Il controllo di seniority ha restituito TOST p=1,000, confermando che la procedura non certifica effetti che sono genuinamente grandi.
Provocazione deliberata. Lo Studio 3 ha indebolito i candidati, ammorbidito il prompt e aggiunto in testa un testo di culture fit su un team coeso e ad alta energia. La manipolazione ha morso: i curriculum borderline hanno ottenuto in media 32,5 contro 67,6 di quelli integri, un calo di 35 punti. È esattamente il regime in cui, su basi teoriche, un decisore è più propenso a sostituire un'euristica a una valutazione. Anche lì gli effetti di razza e genere sono rimasti trascurabili.
È emerso un piccolo effetto reale: i candidati provenienti da istituzioni non d'élite hanno ottenuto punteggi leggermente più bassi, d=−0,05 (p=0,026), lasciato marginale dal controllo del false discovery a q=0,052. Da annotare, non da trasformare in policy.
Ciò che è tornato era la scorciatoia, non il pregiudizio
Il risultato di prima linea nel disegno principale era un apparente effetto età di d=0,28. L'autore ha fatto la cosa che la maggior parte dei paper salta e lo ha rieseguito eliminando la confusione — perché i curriculum dei laureati più anziani portavano anche esperienza aggiuntiva, confondendo età e anzianità.
Con la griglia strutturata, a esperienza identica, l'effetto è crollato a d=0,02 (p=0,90). Con l'istruzione informale è sopravvissuto a d=0,41 (p=0,03).
Leggi quella coppia lentamente. Una griglia ha costretto il modello ad ancorare il giudizio a qualifiche dichiarate identiche tra i livelli di età, così l'euristica non aveva spazio per agire. Un'istruzione informale ha invitato a un'impressione olistica, e la lunghezza della carriera ha fatto da proxy per la qualità. Stesso modello, stessi curriculum, stessi candidati — comportamento opposto, deciso dal modo in cui è formulata la richiesta. E in particolare il prompt informale non ha fatto riemergere effetti di razza o genere: era una scorciatoia sulla seniority, non un allentamento generale del vincolo.
Il modello open-weight portava con sé un pattern più silenzioso. Gli scostamenti maggiori di Llama venivano da segnali espliciti di minoranza: titoli di studio esteri dal Sud globale a d=−0,16, un'affiliazione religiosa musulmana a d=−0,13, una disabilità dichiarata a d=−0,12. Nessuno è sopravvissuto alla correzione per false discovery, quindi sono indicativi e non confermati. La direzione costantemente negativa e la concentrazione nel modello più piccolo e self-hosted restano comunque il tipo di cosa che vorresti sapere prima di standardizzare su quel modello.
Un secondo studio ha trovato divari del 12%. Entrambi i risultati possono essere veri.
Se questo studio fosse l'unica evidenza, la conclusione sarebbe comoda. Non lo è.
Un audit orientato all'interpretabilità ha testato i principali modelli commerciali e aperti — GPT-4o, Claude 4 Sonnet, Gemini 2.5 Flash, Gemma-2 27B, Gemma-3, Mistral-24B — e ha trovato che l'aggiunta di contesto realistico induceva bias razziale e di genere significativo, fino a 12 punti percentuali di differenza nei tassi di convocazione a colloquio (Karvonen e Marks, 2025). Il contesto era banale: nomi di aziende, descrizioni della cultura prese da pagine careers pubbliche e vincoli selettivi di assunzione come accettare solo il 10% migliore dei candidati. Due ulteriori risultati dovrebbero fermare di colpo una conversazione di compliance. Le semplici istruzioni anti-bias nel prompt, che eliminano il bias nelle valutazioni controllate, hanno smesso di funzionare in presenza di quel contesto realistico. E i modelli hanno inferito dati demografici da segnali sottili come l'affiliazione universitaria, con il bias risultante invisibile anche ispezionando la catena di ragionamento.
Quindi un audit accurato trova un nullo difeso sotto provocazione, e un altro trova divari a due cifre nei tassi di colloquio sotto un inquadramento realistico di deployment. La riconciliazione non è che uno dei due sbagli. È che entrambi hanno localizzato la varianza nello stesso punto — l'istruzione circostante, non i priori demografici del modello. L'inquadramento di uno studio ha soppresso la scorciatoia; quello dell'altro l'ha ammessa. Nessuno dei due risultati si trasferisce alla tua pipeline, perché la tua pipeline ha il suo prompt.
Questa è la parte scomoda. Un risultato di audit pulito non è portabile su un'istruzione diversa.
Lo screening umano segue la stessa legge
Non è una patologia della macchina. È ciò che fa la discrezionalità, e l'evidenza sugli esseri umani punta nella stessa direzione.
Un audit sui curriculum ha inviato 36.880 candidature a 9.220 annunci di lavoro statunitensi per neolaureati. Nelle occupazioni manageriali le convocazioni sono risultate dal 28 al 43 percento più basse per uomini neri, donne nere, donne bianche e uomini ispanici rispetto a uomini bianchi per il resto identici (Braun et al., 2026). Il risultato strutturale conta più del titolo: le categorie occupazionali ampie nascondevano la variazione, e i divari si concentravano nei lavori che combinano alte richieste analitiche e interpersonali con basso contenuto di routine. Scomponendo il contenuto dei compiti, la valutazione soggettiva allargava i divari di convocazione mentre la precisione oggettiva li comprimeva. Soprattutto, le credenziali assegnate casualmente che alzavano le convocazioni in media chiudevano i divari nei lavori a bassa discrezionalità ma non in quelli ad alta discrezionalità.
La segnalazione dal lato candidato non può riparare un problema di discrezionalità dal lato datore di lavoro. Solo vincolare la valutazione lo fa. È un working paper in revisione e misura il primo cancello e non le assunzioni — ma il meccanismo è lo stesso che l'audit sugli LLM ha isolato. La discrezionalità porta il bias. La struttura le toglie spazio d'azione. Il prompt è semplicemente il luogo in cui vive la discrezionalità quando chi filtra è un modello.
Il tuo bias audit sta certificando l'oggetto sbagliato
Ora metti il documento di compliance accanto a quel meccanismo.
La Local Law 144 di New York vieta l'uso di uno strumento automatizzato di decisione sull'impiego a meno che "lo strumento sia stato sottoposto a un bias audit entro un anno dall'uso dello strumento, le informazioni sul bias audit siano pubblicamente disponibili e siano state fornite determinate comunicazioni" (NYC Department of Consumer and Worker Protection, 2026). L'oggetto auditato è lo strumento.
Gli obblighi europei ricadono sull'altra parte. I doveri del deployer per i sistemi ad alto rischio dell'Allegato III — tra cui assunzione e valutazione dei candidati — richiedono l'uso conforme alle istruzioni per l'uso del fornitore, e secondo il calendario modificato si applicano dal 2 dicembre 2027 (EU AI Act Explorer, Articolo 113). Il fornitore certifica il sistema. Tu sei responsabile di come viene effettivamente usato.
Tra quei due poli sta il risultato di questa ricerca: ciò che decide se il bias compare non sono i pesi del modello né le tue intenzioni, ma la formulazione dell'istruzione, il testo di inquadramento e la temperatura a cui tutto gira. Nessuno sta auditando quello. Di solito non è nemmeno versionato.
Cosa cambiare questo trimestre
Quattro mosse. Nessuna richiede un ciclo di procurement.
- Versiona il prompt di scoring come strumento, non come configurazione. Mettilo sotto change control con un titolare e una data. Qualunque modifica — inclusa una riformulazione "innocua" — è una modifica al dispositivo di misura e invalida il precedente risultato di audit per quel dispositivo.
- Elimina il linguaggio ambientale di culture fit dalle istruzioni di scoring. Funziona come criterio non misurato. Se il contesto culturale conta davvero per un ruolo, rendilo una dimensione esplicita e valutata separatamente con una motivazione scritta, non un paragrafo di atmosfera anteposto alla richiesta.
- Ri-testa al cambio di prompt, non a calendario. Un audit annuale contro un prompt che da allora hai modificato undici volte non certifica nulla. Riesegui la verifica di equità come test di regressione ogni volta che lo strumento cambia, e fissa la temperatura di campionamento già che ci sei.
- Fai due domande al rinnovo. Quale generazione del modello e quali pesi sono stati auditati, e contro quale prompt? Il modello open-weight di questo studio si è comportato diversamente da quelli commerciali esattamente sui segnali che un prompt informale fa emergere, e nessun report di audit nomina il tuo prompt.
Strutturalmente tutte e quattro le mosse puntano nella stessa direzione: ridurre la quota di decisione controllata da un'istruzione non versionata. L'architettura di scoring di Scovai è un esempio concreto di quella separazione — un budget di peso fisso diviso 50/50, metà calcolata aritmeticamente dai requisiti dichiarati del ruolo con pesi di criticità, metà restituita come quattro subscore di giudizio del modello etichettati, a bassa temperatura, ciascuno con la propria motivazione scritta invece di essere sepolto in un totale. Il punto di disegno da prendere in prestito non è la divisione in sé ma ciò che fa: nomina quale parte del punteggio è giudizio, così che quella parte possa essere auditata come lo strumento che è.
Limiti onesti, prima che qualcuno costruisca una policy sul nullo. I curriculum erano sintetici, il disegno era centrato sugli Stati Uniti per nomi, istituzioni e occupazioni, sono state coperte sei occupazioni e i ruoli legali, del settore pubblico e dei servizi non lo erano. Il disegno comparativo misura giudizi relativi, quindi potrebbe non vedere bias che agiscono solo su una soglia di accettazione o rifiuto. Gli effetti indicativi sul modello open-weight richiedono campioni più ampi. Due dei tre modelli appartengono alla famiglia Gemini. Ed è un'istantanea di tre modelli in un dato momento — la posizione conclusiva dell'autore stesso è che questo tipo di audit deve continuare man mano che i sistemi vengono aggiornati. Lo studio non ha ricevuto finanziamenti esterni e dichiara nessun conflitto di interessi.
La conclusione che sopravvive a tutto questo: l'equità misurata su un benchmark pulito non garantisce l'equità in deployment, perché il modo in cui un modello viene interrogato può decidere se il bias compare.
Quindi estrai questa settimana il prompt di screening che hai in produzione, leggilo per lo strumento di misura che è, e verifica una cosa sola — se il bias audit nella tua cartella di compliance è stato eseguito contro questa formulazione o contro una precedente. Se non sai rispondere, non hai un bias audit. Hai un certificato per un dispositivo che da allora hai modificato.
