मान लें कि आपके पास स्पैम-ईमेल की पहचान करने के लिए एक लॉजिस्टिक रिग्रेशन मॉडल है 0 और 1 के बीच के मान का अनुमान लगाता है, जो दी गई प्रायिकता को दर्शाता है ईमेल स्पैम है. वैल्यू का अनुमान 0.50 होने का मतलब है कि 50% संभावना है कि ईमेल स्पैम है, तो 0.75 का अनुमान बताता है कि 75% संभावना है कि ईमेल स्पैम है, वगैरह.
आप इस मॉडल को किसी ईमेल ऐप्लिकेशन में डिप्लॉय करना चाहते हैं, ताकि स्पैम को फ़िल्टर किया जा सके
एक अलग मेल फ़ोल्डर. लेकिन ऐसा करने के लिए, आपको मॉडल की रॉ
संख्या वाला आउटपुट (उदाहरण के लिए, 0.75) को इन दो में से किसी एक कैटगरी में डालें: "स्पैम" या "नहीं
स्पैम."
यह रूपांतरण करने के लिए, आप थ्रेशोल्ड की संभावना चुनते हैं, जिसे
क्लासिफ़िकेशन थ्रेशोल्ड.
इसके बाद, थ्रेशोल्ड वैल्यू से ज़्यादा प्रॉबबिलिटी वाले उदाहरण असाइन किए जाते हैं
पॉज़िटिव क्लास के दायरे में आता है,
वह क्लास जिसकी जांच की जा रही है (यहां, spam). कम दर के उदाहरण
प्रॉबबिलिटी को नेगेटिव क्लास को असाइन किया जाता है,
वैकल्पिक श्रेणी (यहां, not spam).
कैटगरी तय करने के थ्रेशोल्ड के बारे में ज़्यादा जानकारी के लिए यहां क्लिक करें
आप सोच रहे होंगे कि: अगर अनुमानित स्कोर इसके बराबर हो, तो क्या होगा वर्गीकरण थ्रेशोल्ड (उदाहरण के लिए, 0.5 का स्कोर जहां क्लासिफ़िकेशन थ्रेशोल्ड भी 0.5 है)? इस केस को हैंडल करने का तरीका इस बात पर निर्भर करता है कि आपने डेटा की कैटगरी तय करने के लिए, कौनसा तरीका चुना है मॉडल. उदाहरण के लिए, Keras लाइब्रेरी में, नेगेटिव क्लास का अनुमान तब लगाया जाता है, जब स्कोर और थ्रेशोल्ड इसके बराबर हैं, लेकिन दूसरे टूल/फ़्रेमवर्क इस मामले को हैंडल कर सकते हैं इसे अलग तरीके से.
उदाहरण के लिए, मान लीजिए कि मॉडल, किसी ईमेल का स्कोर 0.99 रखता है तो उस ईमेल के स्पैम होने की 99% संभावना होती है और एक अन्य ईमेल 0.51 से पहले, उसके स्पैम होने की संभावना 51% होती है. अगर आप क्लासिफ़िकेशन थ्रेशोल्ड 0.5 है, तो मॉडल दोनों ईमेल को स्पैम. अगर थ्रेशोल्ड 0.95 पर सेट किया जाता है, तो सिर्फ़ 0.99 स्कोर करने वाले ईमेल को स्पैम के रूप में वर्गीकृत नहीं किया जाएगा.
हालांकि 0.5 एक सहज थ्रेशोल्ड की तरह लग सकता है, लेकिन यह एक अच्छा विचार नहीं है अगर किसी प्रॉडक्ट की गलत कैटगरी तय करने की लागत किसी अन्य कैटगरी की लागत से ज़्यादा हो या क्लास असंतुलित हैं. अगर सिर्फ़ 0.01% ईमेल स्पैम हैं या गलत फ़ाइल हो रहे हैं स्पैम को इनबॉक्स में भेजने के बजाय, वैध ईमेल को इनबॉक्स में भेजने से ज़्यादा खराब होता है. ऐसी किसी भी चीज़ को लेबल करना जिसके हिसाब से मॉडल कम से कम 50% स्पैम मानता है क्योंकि स्पैम से अनचाहे नतीजे मिलते हैं.
कन्फ़्यूजन मैट्रिक्स
प्रॉबबिलिटी स्कोर, असल ज़िंदगी में नहीं है या तथ्यों की सच्चाई. बाइनरी क्लासिफ़ायर से हर आउटपुट के लिए चार संभावित नतीजे मिलते हैं. स्पैम की कैटगरी तय करने वाले टूल के उदाहरण के लिए, अगर ज़मीनी हकीकत को कॉलम के तौर पर दिखाया जाता है और पंक्तियों के तौर पर मॉडल के अनुमान को, नीचे दी गई टेबल में, कन्फ़्यूज़न मैट्रिक्स नतीजा:
| वास्तविक सकारात्मक | वास्तविक नकारात्मक | |
|---|---|---|
| अनुमानित पॉज़िटिव | ट्रू पॉज़िटिव (TP): एक स्पैम ईमेल को सही तरीके से स्पैम ईमेल के तौर पर मार्क किया गया हो. ये स्पैम मैसेज हैं उन्हें स्पैम फ़ोल्डर में अपने-आप भेज दिया जाता है. | फ़ॉल्स पॉज़िटिव (FP): स्पैम नहीं वाले ईमेल को, इस ईमेल पते के तौर पर गलत कैटगरी में रखा गया है स्पैम. ये वे वैध ईमेल होते हैं जिन्हें उसे स्पैम फ़ोल्डर में ले जाना होगा. |
| अनुमानित नेगेटिव | गलत नेगेटिव (FN): स्पैम ईमेल को 'स्पैम नहीं है' के तौर पर गलत कैटगरी में रखा गया है. ये स्पैम हैं ऐसे ईमेल जो वे स्पैम फ़िल्टर की नज़र से देखते हैं और इनबॉक्स में जाते हैं. | ट्रू नेगेटिव (TN): A गैर-स्पैम ईमेल को सही तरीके से 'स्पैम नहीं है' के रूप में मार्क किया गया है. ये सही ईमेल भेजे जाते हैं सीधे इनबॉक्स में जाते हैं. |
ध्यान दें कि हर पंक्ति का कुल योग, सभी अनुमानित पॉज़िटिव (TP + FP) और मान्य हो, तो सभी अनुमानित नेगेटिव (FN + TN) का इस्तेमाल किया जा सकता है. हर आइटम की कुल संख्या इस बीच, कॉलम सभी रियल पॉज़िटिव (TP + FN) और सभी रियल नेगेटिव देता है (FP + TN), मॉडल वर्गीकरण पर ध्यान दिए बिना.
जब वास्तविक सकारात्मकों की कुल संख्या, वास्तविक की कुल संख्या के करीब न हो नेगेटिव है, तो डेटासेट यह है असंतुलित. इंस्टेंस असंतुलित डेटासेट, क्लाउड की हज़ारों तस्वीरों का सेट हो सकता है, जिसमें खास तरह के क्लाउड में आपकी दिलचस्पी है, जैसे - वॉल्टस क्लाउड, सिर्फ़ कुछ मामलों में.
सही और गलत के सकारात्मक और नकारात्मक मान पर थ्रेशोल्ड का असर
अलग-अलग थ्रेशोल्ड पर आम तौर पर, सही और गलत की अलग-अलग संख्या मिलती है सही और गलत नेगेटिव जानकारी का इस्तेमाल कर सकते हैं. इस वीडियो में इसकी वजह बताई गई है मामला.
थ्रेशोल्ड को खुद बदलने की कोशिश करें.
इस विजेट में तीन खिलौनों के डेटासेट शामिल हैं:
- अलग किए गए, जहां आम तौर पर पॉज़िटिव और नेगेटिव, उदाहरण के तौर पर दिए गए उदाहरण होते हैं अच्छी तरह से अलग किए गए, जहां ज़्यादातर सकारात्मक उदाहरणों का स्कोर इससे ज़्यादा होता है नकारात्मक उदाहरण.
- अलग नहीं किया गया, जहां कई पॉज़िटिव उदाहरणों के स्कोर इससे कम होते हैं नकारात्मक उदाहरणों के लिए खोज करते हैं, और कई नकारात्मक उदाहरणों के स्कोर सकारात्मक उदाहरण.
- अस्पष्ट, इसमें पॉज़िटिव क्लास के कुछ ही उदाहरण शामिल हैं.