30.384 özgeçmiş değerlendirmesi boyunca, hakem denetiminden geçmiş bir önyargı denetimi cinsiyet etkisini d=−0,00 (p=0,97), Siyah–Beyaz karşıtlığını ise d=+0,03 (p=0,29) olarak konumlandırdı. "Anlamlı değil" değil — biçimsel olarak sıfıra eşdeğer; cinsiyete ilişkin sıfır hipotezi |d|=0,035 sınırına kadar ayakta kalıyor (Pavlopoulos, Analytics, 2026). Sonra aynı çalışma puanlama cetvelini gelişigüzel, sezgiye dayalı bir yönergeyle değiştirdi, adayların deneyimini tam olarak sabit tuttu ve daha eski mezuniyet kohortlarına yönelik d=0,41'lik bir tercih pencereden geri girdi.
Model temizdi. Prompt değildi. Ve sizin önyargı denetiminiz modeli test etti.
Bu fark operasyonel hikâyenin tamamıdır, çünkü tedarikçinizin size verdiği belge, eleme kararlarınızı veren nesne olmayan bir nesneyi belgeliyor. Karar bir model artı bir yönerge artı bir bağlam penceresi tarafından verilir ve bu üçünden yalnızca biri denetlenir.
Denetim, kendi sıfır sonucunu kırmak üzere kurulmuştu
LLM adalet çalışmalarının çoğu tek bir koşulu test edip hüküm verir. Bu çalışma sağlamlığı araştırma nesnesi olarak ele alıyor; sıfır sonucunun dosyalanmak değil okunmak hak etmesinin nedeni de budur.
Üç yönerge-ayarlı model kendi API'leri üzerinden değerlendirildi: Gemini 2.5 Flash, Gemini 2.5 Flash-Lite ve açık ağırlıklı Llama 3.1 8B Instruct — barındırılan ticari katmanlar ile kendi kendine barındırma yolunu kapsayan kasıtlı bir yayılım. Puanlama mutlak değil referans-çıpalıydı, çünkü mutlak 0–100 ölçeği herhangi bir şeyi saptamak için gereken varyansı çökertiyordu: pilot koşularda neredeyse her özgeçmiş 95 civarına yerleşiyordu. Her aday bunun yerine aynı meslek için sabit, nötr bir referansa karşı puanlandı; bu da 12 ile 18 puan arasında bir dağılımı geri getirdi. Örnekleme 0,7 sıcaklıkta ve her hücrede yinelenen değerlendirmelerle yapıldı; böylece etkiler tek bir deterministik çıktıya değil, hücre içi gerçek değişkenliğe karşı ölçüldü.
Üç tasarım tercihi sonucu elle itmeyi zorlaştırıyor.
İşe yarayan bir pozitif kontrol. Üç model de orta düzey adayları junior adaylardan d=3,40, 3,21 ve 1,93 ile ayırdı. Araç kanıtlanabilir biçimde niteliği okuyor; dolayısıyla demografik bir sıfır sonucu "ölü ölçüm" diye bir kenara atılamaz. Kıdem etkileri demografik etkileri yaklaşık iki büyüklük mertebesi aştı.
Eşdeğerlik testleri, anlamlılığın yokluğu değil. Her temel karşıtlık |d|=0,2 sınırında TOST sıfır hipotezini p<0,001 ile reddetti; ulaşılan marjlar cinsiyet için 0,035, Asyalı–Beyaz için 0,056, Siyah–Beyaz ve Hispanik–Beyaz için 0,080 ve 0,085'ti. Kıdem kontrolü TOST p=1,000 döndürdü ve prosedürün gerçekten büyük olan etkileri belgelemediğini doğruladı.
Kasıtlı provokasyon. 3. Çalışma adayları zayıflattı, prompt'u gevşetti ve kenetlenmiş, yüksek enerjili bir ekibe dair kültürel uyum dilini metnin başına ekledi. Manipülasyon tuttu: sınırdaki özgeçmişler ortalama 32,5, sağlam olanlar 67,6 aldı; 35 puanlık bir düşüş. Bu, teorik gerekçelerle, bir karar vericinin değerlendirme yerine sezgisel kısayol koyma olasılığının en yüksek olduğu rejimdir. Orada da ırk ve cinsiyet etkileri ihmal edilebilir kaldı.
Küçük bir gerçek etki görüldü: elit olmayan kurumlardan gelen adaylar bir miktar daha düşük puan aldı, d=−0,05 (p=0,026); yanlış keşif kontrolü bunu q=0,052'de sınırda bıraktı. Not etmeye değer, politika kurmaya değmez.
Geri gelen şey kısayoldu, önyargı değil
Ana tasarımdaki manşet sonuç, görünürde d=0,28'lik bir yaş etkisiydi. Yazar, çoğu makalenin atladığı şeyi yaptı ve karıştırıcıyı kaldırarak koşuyu yeniledi — çünkü daha yaşlı mezunların özgeçmişleri aynı zamanda fazladan deneyim taşıyordu ve yaşı kıdemle karıştırıyordu.
Yapılandırılmış cetvelde, deneyim birebir sabit tutulduğunda etki d=0,02'ye (p=0,90) çöktü. Gelişigüzel yönergede d=0,41 (p=0,03) ile ayakta kaldı.
Bu ikiliyi yavaş okuyun. Bir cetvel, modeli yaş düzeyleri arasında birebir aynı olan beyan edilmiş niteliklere dayanmaya zorladı; kısayolun işleyecek yeri kalmadı. Gelişigüzel bir yönerge bütüncül bir izlenime davet etti ve kariyer uzunluğu niteliğin yerini aldı. Aynı model, aynı özgeçmişler, aynı adaylar — zıt davranış, talebin ifadesiyle belirlendi. Dikkat çekici biçimde, gelişigüzel prompt ırk veya cinsiyet etkilerini canlandırmadı: bu, genel bir frenin gevşemesi değil, kıdeme özgü bir kısayoldu.
Açık ağırlıklı model kendi daha sessiz örüntüsünü taşıdı. Llama'nın en büyük kaymaları açık azınlık sinyallerinden geldi: Küresel Güney'den yabancı diplomalar d=−0,16, Müslüman dinî mensubiyet d=−0,13, açıklanmış engellilik d=−0,12. Hiçbiri yanlış keşif düzeltmesinden sağ çıkmadı; dolayısıyla doğrulanmış değil, işaret niteliğinde. Yine de tutarlı biçimde negatif yönleri ve en küçük, kendi kendine barındırılan modelde yoğunlaşmaları, o modeli standart hâline getirmeden önce bilmek isteyeceğiniz türden bir şey.
İkinci bir çalışma %12'lik farklar buldu. İki sonuç da doğru olabilir.
Bu çalışma tek kanıt olsaydı sonuç rahat olurdu. Değil.
Yorumlanabilirlik odaklı bir denetim, önde gelen ticari ve açık modelleri test etti — GPT-4o, Claude 4 Sonnet, Gemini 2.5 Flash, Gemma-2 27B, Gemma-3, Mistral-24B — ve gerçekçi bağlam eklemenin anlamlı ırksal ve cinsiyete dayalı önyargı ürettiğini, mülakat çağrı oranlarında 12 yüzde puanına varan farklar oluştuğunu buldu (Karvonen ve Marks, 2025). Bağlam sıradandı: şirket adları, kamuya açık kariyer sayfalarından alınmış kültür tanımları ve adayların yalnızca en iyi %10'unu kabul etmek gibi seçici işe alım kısıtları. İki ek bulgu bir uyum görüşmesini olduğu yerde durdurmalı. Prompt içindeki basit önyargı karşıtı yönergeler — kontrollü değerlendirmelerde önyargıyı ortadan kaldıranlar — o gerçekçi bağlam devreye girdiğinde işlemedi. Ve modeller, üniversite mensubiyeti gibi ince ipuçlarından demografiyi çıkarsadı; ortaya çıkan önyargı, düşünce zinciri incelendiğinde bile görünmez kaldı.
Yani dikkatli bir denetim provokasyon altında savunulmuş bir sıfır sonucu buluyor, bir başkası ise dağıtım-gerçekçi çerçeveleme altında mülakat oranlarında iki haneli farklar buluyor. Uzlaşma, birinin yanlış olması değil. İkisinin de varyansı aynı yerde konumlandırmış olması — çevreleyen yönergede, modelin demografik önsellerinde değil. Bir çalışmanın çerçevelemesi kısayolu bastırdı; diğerinin çerçevelemesi ona izin verdi. İki sonuç da sizin akışınıza taşınmaz, çünkü sizin akışınızın kendi prompt'u var.
İşte rahatsız edici kısım bu. Temiz bir denetim sonucu, farklı bir yönergeye taşınabilir değildir.
İnsan elemesi aynı yasaya uyar
Bu bir makine patolojisi değil. Bu, takdir yetkisinin yaptığı şeydir ve insan kanıtı aynı yöne işaret eder.
Bir özgeçmiş denetimi, yeni mezunlara yönelik 9.220 ABD iş ilanına 36.880 başvuru gönderdi. Yönetim mesleklerinde geri dönüşler, diğer her bakımdan aynı olan Beyaz erkeklere kıyasla Siyah erkekler, Siyah kadınlar, Beyaz kadınlar ve Hispanik erkekler için yüzde 28 ile 43 arasında daha düşüktü (Braun vd., 2026). Yapısal sonuç manşetten daha önemli: geniş meslek kategorileri değişkenliği gizliyordu ve farklar, yüksek analitik ve kişilerarası taleplerle düşük rutin içeriği birleştiren işlerde yoğunlaşıyordu. Görev içeriği ayrıştırıldığında öznel değerlendirme geri dönüş farklarını genişletti, nesnel kesinlik ise sıkıştırdı. En keskin nokta: ortalamada geri dönüşleri artıran rastgele atanmış diplomalar, düşük takdirli işlerde farkları kapattı ama yüksek takdirli işlerde kapatmadı.
Aday tarafındaki sinyalleme, işveren tarafındaki bir takdir yetkisi sorununu onaramaz. Bunu yalnızca değerlendirmeyi kısıtlamak yapar. Bu, hakem sürecinde bir çalışma metni ve işe alımları değil ilk kapıyı ölçüyor — ama mekanizma, LLM denetiminin yalıttığı mekanizmanın aynısı. Takdir yetkisi önyargıyı taşır. Yapı, ona hareket alanı bırakmaz. Eleyen bir model olduğunda prompt, takdir yetkisinin yaşadığı yerdir.
Önyargı denetiminiz yanlış nesneyi belgeliyor
Şimdi uyum belgesini bu mekanizmanın yanına koyun.
New York'un Local Law 144'ü, otomatik istihdam karar aracının kullanılmasını, "aracın kullanımından önceki bir yıl içinde bir önyargı denetiminden geçmiş olması, önyargı denetimine ilişkin bilginin kamuya açık olması ve belirli bildirimlerin yapılmış olması" dışında yasaklıyor (NYC Department of Consumer and Worker Protection, 2026). Denetlenen nesne araçtır.
Avrupa yükümlülükleri diğer tarafa düşüyor. Ek III yüksek riskli sistemler için uygulayıcı yükümlülükleri — işe alım ve aday değerlendirmesi de bunların arasında — sağlayıcının kullanım talimatlarına uygun kullanımı gerektiriyor ve değiştirilmiş takvime göre 2 Aralık 2027'den itibaren uygulanıyor (EU AI Act Explorer, Madde 113). Sağlayıcı sistemi belgeler. Onun fiilen nasıl kullanıldığı sizin sorumluluğunuzdadır.
Bu iki kutbun arasında bu araştırmanın bulgusu yer alıyor: önyargının ortaya çıkıp çıkmayacağına karar veren şey ne modelin ağırlıkları ne de sizin niyetleriniz; yönergenin ifadesi, çerçeveleme metni ve tüm bunların çalıştığı sıcaklıktır. Bunu kimse denetlemiyor. Genellikle sürüm kontrolüne bile alınmamıştır.
Bu çeyrekte ne değişmeli
Dört hamle. Hiçbiri satın alma döngüsü gerektirmiyor.
- Puanlama prompt'unu yapılandırma değil, ölçüm aracı olarak sürümleyin. Onu bir sahibi ve tarihi olan değişiklik kontrolüne alın. Herhangi bir düzenleme — "zararsız" bir yeniden ifade dahil — ölçüm cihazında bir değişikliktir ve o cihaz için önceki denetim sonucunu geçersiz kılar.
- Puanlama yönergelerinden ortam havası yaratan kültürel uyum dilini silin. O, ölçülmemiş bir ölçüt olarak işler. Kültürel bağlam bir rol için gerçekten önemliyse, onu talebin başına eklenen bir atmosfer paragrafı değil, yazılı gerekçesi olan açık ve ayrıca puanlanan bir boyut yapın.
- Takvime göre değil, prompt değişikliğinde yeniden test edin. O zamandan beri on bir kez düzenlediğiniz bir prompt'a karşı yapılmış yıllık bir denetim hiçbir şeyi belgelemez. Araç her değiştiğinde adalet kontrolünü bir regresyon testi olarak yeniden koşun ve bu arada örnekleme sıcaklığını sabitleyin.
- Yenilemede iki soru sorun. Hangi model nesli ve hangi ağırlıklar denetlendi, hangi prompt'a karşı? Bu çalışmadaki açık ağırlıklı model, tam da gelişigüzel bir prompt'un yüzeye çıkardığı sinyallerde ticari olanlardan farklı davrandı ve hiçbir denetim raporu sizin prompt'unuzu adlandırmıyor.
Yapısal olarak dört hamle aynı yöne işaret ediyor: sürümlenmemiş bir yönergenin kontrol ettiği karar payını küçültmek. Scovai'nin puanlama mimarisi bu ayrımın işlenmiş bir örneği — 50/50 bölünmüş sabit bir ağırlık bütçesi; yarısı rolün beyan edilmiş gerekliliklerinden kritiklik ağırlıklarıyla aritmetik olarak hesaplanıyor, yarısı düşük sıcaklıkta dört etiketli model-yargısı alt puanı olarak dönüyor ve her biri bir toplamın içine gömülmek yerine kendi yazılı gerekçesini taşıyor. Ödünç alınmaya değer tasarım noktası bölünmenin kendisi değil, yaptığı şey: puanın hangi kısmının yargı olduğunu adlandırıyor ki o kısım, olduğu şey olan ölçüm aracı gibi denetlenebilsin.
Kimse bu sıfır sonucu üzerine politika kurmadan önce dürüst sınırlar. Özgeçmişler sentetikti; tasarım adlar, kurumlar ve mesleklerde ABD merkezliydi; altı meslek kapsandı, hukuk, kamu sektörü ve hizmet rolleri kapsanmadı. Karşılaştırmalı tasarım göreli yargıları ölçüyor, dolayısıyla yalnızca kabul-ret eşiğinde etkiyen önyargıyı kaçırabilir. Açık ağırlıklı modeldeki işaret niteliğindeki etkiler daha büyük örneklemler gerektiriyor. Üç modelden ikisi Gemini ailesinden. Ve bu, üç modelin tek bir andaki anlık görüntüsü — yazarın kendi kapanış konumu, sistemler güncellendikçe bu tür denetimin sürmesi gerektiği. Çalışma dış fon almadı ve çıkar çatışması bildirmiyor.
Tüm bunlardan sağ çıkan sonuç: temiz bir kıyas ölçütünde ölçülen adalet, dağıtımdaki adaleti garanti etmez; çünkü bir modele nasıl soru sorulduğu, önyargının ortaya çıkıp çıkmayacağına karar verebilir.
O hâlde bu hafta üretimdeki eleme prompt'unuzu çıkarın, onu olduğu şey olan ölçüm aracı gibi okuyun ve tek bir şeyi kontrol edin — uyum klasörünüzdeki önyargı denetimi bu ifadeye karşı mı, daha eski bir ifadeye karşı mı koşuldu. Bunu yanıtlayamıyorsanız, elinizde bir önyargı denetimi yok. O zamandan beri değiştirdiğiniz bir cihaz için bir belgeniz var.
