आपके बायस ऑडिट ने मॉडल को प्रमाणित किया, प्रॉम्प्ट को नहीं

30,384 रिज़्यूमे मूल्यांकनों में, एक समकक्ष-समीक्षित बायस ऑडिट ने लिंग प्रभाव को d=−0.00 (p=0.97) पर और अश्वेत–श्वेत अंतर को d=+0.03 (p=0.29) पर रखा। यह "सांख्यिकीय रूप से महत्वहीन" नहीं है — यह औपचारिक रूप से शून्य के तुल्य है, और लिंग का शून्य परिणाम |d|=0.035 की सीमा तक टिकता है (Pavlopoulos, Analytics, 2026)। इसके बाद उसी अध्ययन ने स्कोरिंग रूब्रिक की जगह एक लापरवाह, अंतर्ज्ञान-आधारित निर्देश रखा, उम्मीदवारों का अनुभव बिल्कुल स्थिर रखा, और पुराने स्नातक समूहों के पक्ष में d=0.41 की प्राथमिकता खिड़की से वापस आ गई।

मॉडल साफ़ था। प्रॉम्प्ट नहीं। और आपके बायस ऑडिट ने मॉडल की जाँच की।

यही अंतर पूरी परिचालन कहानी है, क्योंकि आपका वेंडर जो दस्तावेज़ थमाता है वह एक ऐसी वस्तु को प्रमाणित करता है जो आपके स्क्रीनिंग निर्णय नहीं लेती। निर्णय एक मॉडल और एक निर्देश और एक कॉन्टेक्स्ट विंडो मिलकर लेते हैं, और तीनों में से केवल एक का ऑडिट होता है।

ऑडिट अपना ही शून्य परिणाम तोड़ने के लिए बनाया गया था

LLM निष्पक्षता पर अधिकांश अध्ययन एक स्थिति जाँचते हैं और फ़ैसला सुना देते हैं। यह अध्ययन मज़बूती को ही अध्ययन का विषय बनाता है, और इसीलिए इसका शून्य परिणाम फ़ाइल करने के बजाय पढ़ने लायक है।

तीन इंस्ट्रक्शन-ट्यून्ड मॉडल उनके API के ज़रिये परखे गए: Gemini 2.5 Flash, Gemini 2.5 Flash-Lite, और ओपन-वेट Llama 3.1 8B Instruct — होस्टेड व्यावसायिक स्तरों और स्वयं-होस्टेड रास्ते, दोनों को जानबूझकर समेटते हुए। स्कोरिंग निरपेक्ष नहीं, संदर्भ-आधारित थी, क्योंकि 0–100 का निरपेक्ष पैमाना किसी भी अंतर को पकड़ने के लिए ज़रूरी प्रसरण को ढहा देता था: पायलट रनों में लगभग हर रिज़्यूमे 95 के आसपास आ रहा था। इसके बजाय हर उम्मीदवार को उसी पेशे के लिए एक निश्चित तटस्थ संदर्भ के विरुद्ध आँका गया, जिससे 12 से 18 अंकों का फैलाव वापस आ गया। सैंपलिंग 0.7 तापमान पर, प्रति सेल दोहराए गए मूल्यांकनों के साथ चली, ताकि प्रभाव किसी एक नियतात्मक आउटपुट के बजाय सेल-भीतर की वास्तविक परिवर्तनशीलता के विरुद्ध मापे जाएँ।

तीन डिज़ाइन-निर्णय इस परिणाम को हाथ हिलाकर टालना कठिन बनाते हैं।

एक पॉज़िटिव कंट्रोल जो काम कर गया। तीनों मॉडलों ने मध्य-स्तरीय उम्मीदवारों को जूनियर से d=3.40, 3.21 और 1.93 पर अलग किया। यानी उपकरण प्रमाणित रूप से गुणवत्ता पढ़ता है, इसलिए जनसांख्यिकीय शून्य परिणाम को "मरा हुआ माप" कहकर खारिज नहीं किया जा सकता। वरिष्ठता प्रभाव जनसांख्यिकीय प्रभावों से लगभग दो कोटि-क्रम बड़े थे।

तुल्यता परीक्षण, महत्वहीनता नहीं। हर मुख्य अंतर ने |d|=0.2 की सीमा पर TOST शून्य परिकल्पना को p<0.001 पर अस्वीकार किया, और प्राप्त मार्जिन रहे: लिंग 0.035, एशियाई–श्वेत 0.056, तथा अश्वेत–श्वेत और हिस्पैनिक–श्वेत 0.080 और 0.085। वरिष्ठता कंट्रोल ने TOST p=1.000 दिया, जिससे पुष्टि हुई कि यह प्रक्रिया वास्तव में बड़े प्रभावों को प्रमाणित नहीं करती।

जानबूझकर उकसावा। अध्ययन 3 ने उम्मीदवारों को कमज़ोर किया, प्रॉम्प्ट ढीला किया, और एक घनिष्ठ, ऊर्जावान टीम वाली कल्चर-फ़िट भाषा शुरू में जोड़ दी। हेरफेर असरदार रहा: सीमावर्ती रिज़्यूमे औसतन 32.5 पर आए, जबकि साफ़ रिज़्यूमे 67.6 पर — 35 अंक की गिरावट। सैद्धांतिक रूप से यही वह क्षेत्र है जहाँ निर्णयकर्ता मूल्यांकन की जगह शॉर्टकट रखने की सर्वाधिक संभावना रखता है। वहाँ भी नस्ल और लिंग प्रभाव नगण्य बने रहे।

एक छोटा वास्तविक प्रभाव उभरा: गैर-कुलीन संस्थानों के उम्मीदवारों के अंक कुछ कम रहे, d=−0.05 (p=0.026), जिसे फ़ॉल्स-डिस्कवरी नियंत्रण ने q=0.052 पर सीमांत छोड़ दिया। दर्ज करने लायक, नीति बनाने लायक नहीं।

जो लौटा वह शॉर्टकट था, पूर्वाग्रह नहीं

मुख्य डिज़ाइन में सुर्खियों वाला परिणाम d=0.28 का एक प्रत्यक्ष आयु-प्रभाव था। लेखक ने वह किया जो अधिकांश शोधपत्र छोड़ देते हैं और भ्रमकारी कारक हटाकर दोबारा चलाया — क्योंकि अधिक उम्र के स्नातकों के रिज़्यूमे अतिरिक्त अनुभव भी साथ ले आते थे, जिससे आयु और सेवा-अवधि घुलमिल गई थी।

संरचित रूब्रिक के तहत, अनुभव समान रखते हुए, प्रभाव d=0.02 (p=0.90) पर ढह गया। लापरवाह निर्देश के तहत वह d=0.41 (p=0.03) पर बचा रहा।

इस जोड़ी को धीरे पढ़िए। रूब्रिक ने मॉडल को अपने निर्णय को उन घोषित योग्यताओं पर टिकाने के लिए मजबूर किया जो हर आयु-स्तर पर समान थीं, इसलिए शॉर्टकट के पास काम करने की जगह नहीं बची। लापरवाह निर्देश ने समग्र प्रभाव बनाने का न्यौता दिया, और करियर की लंबाई गुणवत्ता की जगह खड़ी हो गई। वही मॉडल, वही रिज़्यूमे, वही उम्मीदवार — और उलटा व्यवहार, जिसे अनुरोध की शब्दावली ने तय किया। ध्यान देने योग्य बात: लापरवाह प्रॉम्प्ट ने नस्ल या लिंग प्रभाव नहीं जगाए, यानी यह वरिष्ठता का शॉर्टकट था, संयम का सामान्य ढीलापन नहीं।

ओपन-वेट मॉडल अपना एक शांत पैटर्न लिए हुए था। Llama में सबसे बड़े विचलन स्पष्ट अल्पसंख्यक संकेतों से आए: ग्लोबल साउथ से विदेशी डिग्रियाँ d=−0.16 पर, मुस्लिम धार्मिक संबद्धता d=−0.13 पर, घोषित दिव्यांगता d=−0.12 पर। इनमें से कोई फ़ॉल्स-डिस्कवरी सुधार से नहीं बचा, इसलिए ये संकेतात्मक हैं, पुष्ट नहीं। फिर भी उनकी निरंतर ऋणात्मक दिशा और सबसे छोटे, स्वयं-होस्टेड मॉडल में सघनता वही चीज़ है जो उस पर मानक तय करने से पहले आप जानना चाहेंगे।

एक दूसरे अध्ययन ने 12% के अंतर पाए। दोनों परिणाम सच हो सकते हैं।

यदि यही एकमात्र प्रमाण होता, तो निष्कर्ष आरामदेह होता। है नहीं।

व्याख्या-केंद्रित एक ऑडिट ने प्रमुख व्यावसायिक और ओपन मॉडल परखे — GPT-4o, Claude 4 Sonnet, Gemini 2.5 Flash, Gemma-2 27B, Gemma-3, Mistral-24B — और पाया कि यथार्थवादी संदर्भ जोड़ने से महत्वपूर्ण नस्लीय और लैंगिक पूर्वाग्रह पैदा हुआ, साक्षात्कार-बुलावे की दरों में 12 प्रतिशत अंक तक का अंतर (Karvonen and Marks, 2025)। संदर्भ सामान्य था: कंपनियों के नाम, सार्वजनिक करियर पेजों से लिए गए संस्कृति-विवरण, और "केवल शीर्ष 10% उम्मीदवार स्वीकार करें" जैसी चयनात्मक शर्तें। दो और निष्कर्ष किसी भी अनुपालन-चर्चा को वहीं रोक देने चाहिए। प्रॉम्प्ट में साधारण पूर्वाग्रह-विरोधी निर्देश, जो नियंत्रित मूल्यांकनों में पूर्वाग्रह मिटा देते हैं, उस यथार्थवादी संदर्भ की मौजूदगी में विफल रहे। और मॉडलों ने कॉलेज-संबद्धता जैसे सूक्ष्म संकेतों से जनसांख्यिकी का अनुमान लगाया, और परिणामी पूर्वाग्रह विचार-श्रृंखला की जाँच में भी अदृश्य रहा।

तो एक सावधान ऑडिट उकसावे के बीच एक बचाव-योग्य शून्य परिणाम पाता है, और दूसरा तैनाती-सदृश ढाँचे में साक्षात्कार दरों में दो अंकों का अंतर पाता है। समाधान यह नहीं कि कोई एक गलत है। समाधान यह है कि दोनों ने प्रसरण को एक ही जगह पाया — आसपास के निर्देश में, मॉडल की जनसांख्यिकीय पूर्व-धारणाओं में नहीं। एक अध्ययन के ढाँचे ने शॉर्टकट दबा दिया; दूसरे के ढाँचे ने उसे आने दिया। दोनों में से कोई परिणाम आपकी पाइपलाइन पर लागू नहीं होता, क्योंकि आपकी पाइपलाइन का अपना प्रॉम्प्ट है।

यही असुविधाजनक हिस्सा है। एक साफ़ ऑडिट परिणाम किसी भिन्न निर्देश पर हस्तांतरणीय नहीं है।

मानवीय स्क्रीनिंग उसी नियम का पालन करती है

यह मशीन की बीमारी नहीं है। यह विवेकाधिकार का स्वभाव है, और मानवीय प्रमाण भी उसी दिशा में इशारा करते हैं।

एक रिज़्यूमे ऑडिट ने नए स्नातकों के लिए 9,220 अमेरिकी नौकरी-विज्ञापनों पर 36,880 आवेदन भेजे। प्रबंधन पेशों में, अन्यथा समान श्वेत पुरुषों की तुलना में अश्वेत पुरुषों, अश्वेत महिलाओं, श्वेत महिलाओं और हिस्पैनिक पुरुषों को कॉलबैक 28 से 43 प्रतिशत कम मिले (Braun et al., 2026)। संरचनात्मक निष्कर्ष सुर्खी से अधिक मायने रखता है: व्यापक पेशा-श्रेणियाँ भिन्नता छिपा रही थीं, और अंतर उन नौकरियों में सघन थे जो उच्च विश्लेषणात्मक और अंतर-वैयक्तिक मांगों को कम दिनचर्या-सामग्री से जोड़ती हैं। कार्य-सामग्री को अलग-अलग करने पर, व्यक्तिपरक मूल्यांकन ने कॉलबैक अंतर बढ़ाए जबकि वस्तुनिष्ठ परिशुद्धता ने उन्हें दबाया। सबसे तीखी बात: यादृच्छिक रूप से सौंपी गई योग्यताएँ, जो औसतन कॉलबैक बढ़ाती हैं, कम-विवेकाधिकार वाली नौकरियों में अंतर घटा देती हैं, उच्च-विवेकाधिकार वाली में नहीं।

उम्मीदवार-पक्ष का संकेत नियोक्ता-पक्ष की विवेकाधिकार-समस्या नहीं सुधार सकता। वह केवल मूल्यांकन को बाँधने से होता है। यह समीक्षाधीन कार्य-पत्र है और यह पहले द्वार को मापता है, नियुक्तियों को नहीं — पर तंत्र वही है जिसे LLM ऑडिट ने अलग करके दिखाया। विवेकाधिकार पूर्वाग्रह ढोता है। संरचना उसका कार्य-क्षेत्र छीन लेती है। जब छानने वाला एक मॉडल हो, तो प्रॉम्प्ट ही वह जगह है जहाँ विवेकाधिकार रहता है।

आपका बायस ऑडिट गलत वस्तु को प्रमाणित कर रहा है

अब अनुपालन-दस्तावेज़ को इस तंत्र के बगल में रखिए।

न्यूयॉर्क का Local Law 144 किसी स्वचालित रोज़गार-निर्णय उपकरण के उपयोग पर रोक लगाता है, बशर्ते "उपकरण के उपयोग से एक वर्ष के भीतर उसका बायस ऑडिट हुआ हो, बायस ऑडिट की जानकारी सार्वजनिक रूप से उपलब्ध हो, और कुछ निर्दिष्ट सूचनाएँ दी गई हों" (NYC Department of Consumer and Worker Protection, 2026)। ऑडिट की जाने वाली वस्तु उपकरण है।

यूरोपीय दायित्व दूसरे पक्ष पर पड़ते हैं। अनुलग्नक III के उच्च-जोखिम सिस्टमों के लिए तैनातीकर्ता के कर्तव्य — जिनमें भर्ती और उम्मीदवार-मूल्यांकन शामिल हैं — प्रदाता के उपयोग-निर्देशों के अनुरूप प्रयोग की मांग करते हैं, और संशोधित समय-सारणी के अनुसार वे 2 दिसंबर 2027 से लागू होते हैं (EU AI Act Explorer, Article 113)। प्रदाता सिस्टम प्रमाणित करता है। वह वास्तव में कैसे उपयोग होता है, इसकी ज़िम्मेदारी आपकी है।

इन दो ध्रुवों के बीच इस शोध का निष्कर्ष बैठता है: पूर्वाग्रह प्रकट होगा या नहीं, यह न मॉडल के वेट तय करते हैं और न आपके इरादे — बल्कि निर्देश की शब्दावली, ढाँचा-पाठ, और वह तापमान जिस पर यह सब चलता है। उसका ऑडिट कोई नहीं कर रहा। आम तौर पर उसका संस्करण-नियंत्रण भी नहीं होता।

इस तिमाही में क्या बदलें

चार कदम। किसी के लिए खरीद-चक्र की ज़रूरत नहीं।

1. स्कोरिंग प्रॉम्प्ट को कॉन्फ़िगरेशन नहीं, मापक उपकरण की तरह संस्करणित करें। उसे एक स्वामी और तिथि के साथ परिवर्तन-नियंत्रण में रखें। कोई भी संपादन — "निर्दोष" पुनर्लेखन सहित — मापक यंत्र में बदलाव है और उस यंत्र के लिए पिछला ऑडिट परिणाम अमान्य कर देता है।
2. स्कोरिंग निर्देशों से माहौल बनाने वाली कल्चर-फ़िट भाषा हटा दें। वह एक अमापित मानदंड की तरह काम करती है। यदि किसी भूमिका के लिए सांस्कृतिक संदर्भ वास्तव में मायने रखता है, तो उसे अनुरोध के आगे जोड़ा गया वातावरण-अनुच्छेद न बनाइए, बल्कि लिखित कारण के साथ एक स्पष्ट, अलग से अंकित आयाम बनाइए।
3. कैलेंडर पर नहीं, प्रॉम्प्ट बदलने पर पुनः परीक्षण करें। एक वार्षिक ऑडिट, जिस प्रॉम्प्ट को आपने उसके बाद ग्यारह बार संपादित किया है, कुछ भी प्रमाणित नहीं करता। जब भी उपकरण बदले, निष्पक्षता-जाँच को रिग्रेशन टेस्ट की तरह दोबारा चलाइए, और साथ ही सैंपलिंग तापमान तय कर दीजिए।
4. नवीनीकरण पर दो प्रश्न पूछें। किस मॉडल-पीढ़ी और किन वेट्स का ऑडिट हुआ, और किस प्रॉम्प्ट के विरुद्ध? इस अध्ययन का ओपन-वेट मॉडल ठीक उन्हीं संकेतों पर व्यावसायिक मॉडलों से भिन्न व्यवहार किया जिन्हें एक लापरवाह प्रॉम्प्ट उभारता है, और कोई ऑडिट रिपोर्ट आपके प्रॉम्प्ट का नाम नहीं लेती।

संरचनात्मक रूप से चारों कदम एक ही दिशा में इशारा करते हैं: निर्णय का वह हिस्सा घटाएँ जिसे एक असंस्करणित निर्देश नियंत्रित करता है। Scovai की स्कोरिंग संरचना इस पृथक्करण का एक ठोस उदाहरण है — एक निश्चित वेट-बजट, 50/50 बँटा हुआ; आधा भूमिका की घोषित आवश्यकताओं से क्रिटिकैलिटी भार के साथ अंकगणितीय रूप से गणना किया गया, और आधा कम तापमान पर चार लेबल-युक्त मॉडल-निर्णय उप-स्कोरों के रूप में लौटाया गया, प्रत्येक अपने लिखित कारण के साथ, किसी कुल योग में दबा हुआ नहीं। उधार लेने योग्य डिज़ाइन-बिंदु यह बँटवारा नहीं, बल्कि इसका काम है: यह बताता है कि स्कोर का कौन-सा हिस्सा निर्णय है, ताकि उस हिस्से का ऑडिट उसी उपकरण के रूप में हो सके जो वह है।

इस शून्य परिणाम पर कोई नीति बनाने से पहले ईमानदार सीमाएँ। रिज़्यूमे कृत्रिम थे; डिज़ाइन नामों, संस्थानों और पेशों में अमेरिका-केंद्रित था; छह पेशे शामिल थे, और कानूनी, सार्वजनिक क्षेत्र तथा सेवा भूमिकाएँ शामिल नहीं थीं। तुलनात्मक डिज़ाइन सापेक्ष निर्णय मापता है, इसलिए वह उस पूर्वाग्रह को चूक सकता है जो केवल स्वीकार-अस्वीकार की सीमा-रेखा पर काम करता है। ओपन-वेट मॉडल के संकेतात्मक प्रभावों के लिए बड़े नमूने चाहिए। तीन में से दो मॉडल Gemini परिवार के हैं। और यह तीन मॉडलों का एक क्षण का स्नैपशॉट है — लेखक की अपनी समापन स्थिति यही है कि सिस्टम अद्यतन होते रहने पर इस तरह का ऑडिट जारी रहना चाहिए। अध्ययन को कोई बाहरी वित्त-पोषण नहीं मिला और वह किसी हितों के टकराव की घोषणा नहीं करता।

इन सबसे बचा रहने वाला निष्कर्ष: एक साफ़ बेंचमार्क पर मापी गई निष्पक्षता तैनाती में निष्पक्षता की गारंटी नहीं देती, क्योंकि मॉडल से कैसे पूछा जाता है यह तय कर सकता है कि पूर्वाग्रह प्रकट होगा या नहीं।

इसलिए इस हफ़्ते अपना चालू स्क्रीनिंग प्रॉम्प्ट निकालिए, उसे उसी मापक उपकरण की तरह पढ़िए जो वह है, और एक ही चीज़ जाँचिए — आपके अनुपालन फ़ोल्डर में रखा बायस ऑडिट इस शब्दावली के विरुद्ध चला था या किसी पुरानी के। यदि आप इसका उत्तर नहीं दे सकते, तो आपके पास बायस ऑडिट नहीं है। आपके पास एक ऐसे यंत्र का प्रमाणपत्र है जिसे आपने उसके बाद बदल दिया है।