इस पेज का अनुवाद Cloud Translation API से किया गया है. निष्पक्षता: अपनी जानकारी को परखें पाथवे पर वापस जाएं सही या गलत: पुराना पूर्वाग्रह तब होता है, जब किसी मॉडल को पुराने डेटा का इस्तेमाल करके ट्रेनिंग दी जाती है. सही गलत इंजीनियर, खाने की कैलोरी कॉन्टेंट का अनुमान लगाने के लिए, एक रिग्रेशन मॉडल को ट्रेनिंग दे रहे हैं. यह जानकारी, दुनिया भर की रेसिपी वेबसाइटों से इकट्ठा किए गए अलग-अलग तरह के डेटा के आधार पर दी गई है. इस डेटा में खाना बनाने की तकनीक, खाना बनाने की तकनीक, और रेसिपी की वेबसाइट से इकट्ठा किया गया डेटा शामिल है. नीचे दी गई डेटा से जुड़ी किन समस्याओं की वजह से पक्षपात हो सकता है और इनकी आगे जांच की जानी चाहिए? जितने जवाब सही लगते हैं उतने जवाब चुनें. ट्रेनिंग के 40,000 उदाहरणों में से करीब 4,000 में, "विज्ञापन दिखाने का साइज़" सुविधा की वैल्यू मौजूद नहीं थी. ट्रेनिंग के करीब 5,000 उदाहरणों में इंपीरियल यूनिट (आउंस, पाउंड वगैरह) में मेज़रमेंट था, जबकि अन्य 35,000 उदाहरणों में मेज़रमेंट के लिए मेट्रिक यूनिट (ग्राम, लीटर वगैरह) का इस्तेमाल किया गया था. ट्रेनिंग के 40,000 उदाहरणों में से करीब 100 में सामग्री वाली ऐसी सामग्री थी जो गलत लग रही थी (जैसे, मक्खन की 100 स्टिक्स). ट्रेनिंग के डेटा में, अन्य लोकप्रिय पकवानों की तुलना में कुछ लोकप्रिय खाने के बारे में कम जानकारी दी गई थी. जैसे, डोसा की ट्रेनिंग के 200 उदाहरण थे, लेकिन पिज़्ज़ा के लिए सिर्फ़ 10 उदाहरण थे. व्यंग्य की पहचान करने वाले मॉडल को 80,000 मैसेज पर ट्रेनिंग दी गई. इनमें वयस्कों (18 साल और उससे ज़्यादा) के भेजे गए 40,000 मैसेज और 18 साल से कम उम्र वाले नाबालिगों के 40,000 मैसेज शामिल किए गए. इसके बाद, इस मॉडल का आकलन 20,000 मैसेज के एक टेस्ट सेट पर किया गया. इसमें वयस्कों के 10,000 मैसेज और नाबालिगों से मिले 10,000 मैसेज शामिल थे. भ्रम की स्थिति वाले ये मैट्रिक्स हर ग्रुप के लिए नतीजे दिखाते हैं (सकारात्मक अनुमान "मज़ाक़िया" की कैटगरी को दिखाता है; नेगेटिव अनुमान "व्यंग्य नहीं" की कैटगरी को दिखाता है): वयस्क ट्रू पॉज़िटिव (टीपी): 512 फ़ॉल्स पॉज़िटिव (एफ़पी): 51 फ़ॉल्स नेगेटिव (एफ़एन): 36 ट्रू नेगेटिव (टीएन): 9401 प्रिसिज़न = TP/(TP + FP) = 0.909 रीकॉल = TP/(TP + FN) = 0.934 नाबालिग ट्रू पॉज़िटिव (टीपी): 2147 फ़ॉल्स पॉज़िटिव (एफ़पी): 96 फ़ॉल्स नेगेटिव (एफ़एन): 2177 ट्रू नेगेटिव (TN): 5580 प्रिसिज़न = TP/(TP + FP) = 0.957 रीकॉल = TP/(TP + FN) = 0.497 मॉडल के टेस्ट-सेट की परफ़ॉर्मेंस के बारे में इनमें से कौनसी बातें सही हैं? जितने जवाब सही लगते हैं उतने जवाब चुनें. यह मॉडल, नाबालिगों के उदाहरणों की तुलना में वयस्कों के उदाहरणों से बेहतर परफ़ॉर्म करता है. वयस्कों ने जो 10,000 मैसेज भेजे हैं वे किसी कैटगरी के डेटासेट के बराबर नहीं हैं. नाबालिगों की ओर से भेजे गए 10,000 मैसेज, क्लास के हिसाब से असंतुलन डेटासेट हैं. नाबालिगों की ओर से भेजे गए करीब 50% मैसेज को गलत तरीके से "व्यंग्य" माना जाता है. यह मॉडल, नाबालिगों के करीब 50% व्यंग्य वाले मैसेज को "व्यंग्य" की कैटगरी में नहीं रख पाता है. इनमें से कौनसा अनुमान, ऊपर दिए गए व्यंग्य की पहचान करने वाले मॉडल के लिए, टेस्ट सेट पर सबग्रुप के परफ़ॉर्मेंस में अंतर को समझा सकता है? जितने जवाब सही लगते हैं उतने जवाब चुनें. मॉडल ने "व्यंग्य" का सुझाव देने से ज़्यादा गलती की है. इस वजह से, नाबालिगों की कैटगरी तय करते समय ज़्यादा गड़बड़ियां होती हैं टेक्स्ट मैसेज, क्योंकि टेस्ट सेट में नाबालिगों की ओर से ज़्यादा व्यंग्य वाले मैसेज दिखाए गए हैं. इस मॉडल का आकलन, वयस्कों की तुलना में नाबालिगों के ज़्यादा नकारात्मक (मज़ाक़िया) उदाहरणों के आधार पर किया गया. इस वजह से, नाबालिगों के लिए ज़्यादा गड़बड़ियां हुईं. नाबालिगों के मैसेज में व्यंग्य करना ज़्यादा आसान था, इसलिए मॉडल की ओर से इसे फ़्लैग किए जाने की संभावना कम थी. वहीं, नाबालिगों की तुलना में वयस्कों के असल व्यंग्य वाले मैसेज काफ़ी कम होते हैं. अगर इस मॉडल का आकलन, वयस्कों के लिए बने मैसेज के क्लास के हिसाब से ज़्यादा सही सेट पर किया गया था, तो उस सबग्रुप के लिए इसे वापस लाने की प्रोसेस कम हो सकती है. इंजीनियर, ऊपर दिए गए व्यंग्य वाले मॉडल को फिर से ट्रेनिंग देने पर काम कर रहे हैं, ताकि अलग-अलग उम्र के लोगों के लिए, व्यंग्य या कटाक्ष की पहचान करने वाली उसकी सटीक जानकारी में मौजूद अंतर को दूर किया जा सके. हालांकि, मॉडल को प्रोडक्शन में पहले ही रिलीज़ कर दिया गया है. इनमें से कौनसी रणनीति, मॉडल के अनुमानों में गड़बड़ियों को कम करने में मदद करेगी? मॉडल के इस्तेमाल को नाबालिगों के भेजे गए मैसेज तक सीमित करें. मॉडल आउटपुट को इस तरह एडजस्ट करें कि वह नाबालिगों के भेजे गए सभी मैसेज के लिए "व्यंग्य वाला" दिखे. भले ही, मॉडल ने मूल रूप से कुछ भी आने का अनुमान लगाया हो. जब मॉडल नाबालिगों के भेजे गए मैसेज के लिए "व्यंग्य वाला नहीं" का अनुमान लगाता है, तो आउटपुट को अडजस्ट करें, ताकि मॉडल "अनिश्चित" का मान दिखाए. जवाब सबमिट करें error_outline क्विज़ की ग्रेडिंग करने में कोई गड़बड़ी हुई. कृपया फिर से कोशिश करें.
