मान लें कि आपके पास स्पैम ईमेल का पता लगाने के लिए लॉजिस्टिक रिग्रेशन मॉडल है, जो 0 से 1 के बीच की वैल्यू का अनुमान लगाता है. इससे यह पता चलता है कि दिया गया ईमेल स्पैम है या नहीं. 0.50 का अनुमान बताता है कि ईमेल के स्पैम होने की संभावना 50% है, 0.75 का अनुमान बताता है कि ईमेल के स्पैम होने की संभावना 75% है वगैरह.
आपको इस मॉडल को ईमेल ऐप्लिकेशन में डिप्लॉय करना है, ताकि स्पैम को अलग मेल फ़ोल्डर में फ़िल्टर किया जा सके. हालांकि, ऐसा करने के लिए, आपको मॉडल के रॉ संख्यात्मक आउटपुट (उदाहरण के लिए, 0.75) को इन दो में से किसी एक कैटगरी में रखें: "स्पैम" या "स्पैम
नहीं."
यह कन्वर्ज़न करने के लिए, आपको थ्रेशोल्ड की संभावना चुननी होगी. इसे क्लासिफ़िकेशन थ्रेशोल्ड कहा जाता है.
इसके बाद, थ्रेशोल्ड वैल्यू से ज़्यादा संभावना वाले उदाहरणों को पॉज़िटिव क्लास, यानी उस क्लास को असाइन किया जाता है जिसकी जांच की जा रही है (यहां, spam). कम संभावना वाले उदाहरणों को नेगेटिव क्लास, यानी वैकल्पिक क्लास (यहां, not spam) को असाइन किया जाता है.
कैटगरी तय करने की थ्रेशोल्ड के बारे में ज़्यादा जानने के लिए यहां क्लिक करें
आपको शायद यह जानना हो कि अगर अनुमानित स्कोर, कैटगरी के लिए तय किए गए थ्रेशोल्ड के बराबर है, तो क्या होगा. उदाहरण के लिए, अगर कैटगरी के लिए तय किया गया थ्रेशोल्ड 0.5 है और अनुमानित स्कोर भी 0.5 है, तो क्या होगा? इस मामले को मैनेज करने का तरीका, कैटगरी तय करने वाले मॉडल के लिए चुने गए लागू करने के तरीके पर निर्भर करता है. अगर स्कोर और थ्रेशोल्ड एक जैसे हैं, तो Keras लाइब्रेरी नेगेटिव क्लास का अनुमान लगाती है. हालांकि, अन्य टूल/फ़्रेमवर्क इस मामले को अलग तरह से मैनेज कर सकते हैं.
मान लीजिए कि मॉडल एक ईमेल को 0.99 के तौर पर स्कोर देता है और अनुमान लगाता है कि उस ईमेल के स्पैम होने की संभावना 99% और दूसरे ईमेल के स्पैम होने की संभावना 0.51 होने की संभावना 51% है. अगर आपने क्लासिफ़िकेशन थ्रेशोल्ड को 0.5 पर सेट किया है, तो मॉडल दोनों ईमेल को स्पैम के तौर पर मार्क कर देगा. अगर थ्रेशोल्ड को 0.95 पर सेट किया जाता है, तो सिर्फ़ 0.99 स्कोर वाले ईमेल को स्पैम के तौर पर मार्क किया जाएगा.
0.5, एक आसान थ्रेशोल्ड लग सकता है. हालांकि, अगर गलत कैटगरी में डालने की एक तरह की लागत, दूसरी तरह की लागत से ज़्यादा है या कैटगरी असंतुलित हैं, तो यह एक अच्छा आइडिया नहीं है. अगर सिर्फ़ 0.01% ईमेल स्पैम हैं या ईमेल को गलत फ़ोल्डर में डालना, स्पैम को इनबॉक्स में आने से ज़्यादा खराब है, तो मॉडल को किसी भी ईमेल को स्पैम के तौर पर मार्क करने की अनुमति दें. ऐसा तब करें, जब मॉडल को लगता हो कि ईमेल के स्पैम होने की संभावना 50% से ज़्यादा है. ऐसा इसलिए, क्योंकि स्पैम के तौर पर मार्क किए गए ईमेल से गलत नतीजे मिलते हैं.
कन्फ़्यूजन मैट्रिक्स
संभावना का स्कोर, असल स्थिति या असल सच नहीं होता. बाइनरी क्लासिफ़ायर के हर आउटपुट के चार संभावित नतीजे हो सकते हैं. स्पैम क्लासिफ़ायर के उदाहरण के लिए, अगर ग्राउंड ट्रूथ को कॉलम के तौर पर और मॉडल के अनुमान को पंक्तियों के तौर पर दिखाया जाता है, तो कन्फ़्यूज़न मैट्रिक्स कहा जाता है. इस टेबल का नतीजा यह होगा:
| असल पॉज़िटिव | असल नेगेटिव | |
|---|---|---|
| अनुमानित पॉज़िटिव | ट्रू पॉज़िटिव (TP): एक स्पैम ईमेल को सही तरीके से स्पैम ईमेल के रूप में वर्गीकृत किया जाता है. ये वे स्पैम मैसेज हैं जो स्पैम फ़ोल्डर में अपने-आप भेजे जाते हैं. | फ़ॉल्स पॉज़िटिव (FP): स्पैम नहीं होने वाले ईमेल को स्पैम के तौर पर मार्क करना. ये ऐसे मान्य ईमेल होते हैं जो स्पैम फ़ोल्डर में चले जाते हैं. |
| अनुमानित नेगेटिव | फ़ॉल्स नेगेटिव (एफ़एन): स्पैम ईमेल को 'स्पैम नहीं है' के तौर पर गलत कैटगरी में रखा गया है. ये ऐसे स्पैम ईमेल होते हैं जिन्हें स्पैम फ़िल्टर से नहीं पकड़ा जाता और वे इनबॉक्स में पहुंच जाते हैं. | ट्रू नेगेटिव (TN): एक स्पैम नहीं है, ईमेल को सही तरीके से 'स्पैम नहीं है' के तौर पर मार्क किया गया है. ये ऐसे मान्य ईमेल होते हैं जिन्हें सीधे इनबॉक्स में भेजा जाता है. |
ध्यान दें कि हर पंक्ति में कुल, सभी अनुमानित पॉज़िटिव (TP + FP) और सभी अनुमानित नेगेटिव (FN + TN) दिखाए जाते हैं. भले ही, इनकी पुष्टि न की गई हो. इस बीच, हर कॉलम का कुल योग, सभी रीयल पॉज़िटिव (TP + FN) और सभी वास्तविक नेगेटिव (FP + TN) देता है, भले ही मॉडल की कैटगरी कुछ भी हो.
जब असल पॉज़िटिव की कुल संख्या, असल नेगेटिव की कुल संख्या के करीब नहीं होती, तो डेटासेट असंतुलित होता है. उदाहरण के लिए, असंतुलित डेटासेट, क्लाउड की हज़ारों फ़ोटो का एक सेट हो सकता है. जैसे, वॉल्यूटस क्लाउड, जैसे कि वोल्युटस क्लाउड में आपकी दिलचस्पी होती है. इसमें आपकी दिलचस्पी, कभी-कभार ही देखने को मिलती है.
सही और गलत के सकारात्मक और नकारात्मक मान पर थ्रेशोल्ड का असर
आम तौर पर, अलग-अलग थ्रेशोल्ड से ट्रू और फ़ॉल्स पॉज़िटिव और ट्रू और फ़ॉल्स नेगेटिव की संख्या अलग-अलग होती है. इस वीडियो में बताया गया है कि ऐसा क्यों होता है.
थ्रेशोल्ड को खुद बदलकर देखें.
इस विजेट में तीन खिलौनों के डेटासेट शामिल हैं:
- अलग-अलग, जहां आम तौर पर पॉज़िटिव और नेगेटिव उदाहरणों में काफ़ी फ़र्क़ होता है. साथ ही, ज़्यादातर पॉज़िटिव उदाहरणों को नेगेटिव उदाहरणों के मुकाबले ज़्यादा स्कोर मिलता है.
- अलग नहीं किए गए, जहां कई पॉज़िटिव उदाहरणों को नेगेटिव उदाहरणों से कम स्कोर मिलता है और कई नेगेटिव उदाहरणों को पॉज़िटिव उदाहरणों से ज़्यादा स्कोर मिलता है.
- असंतुलित, जिसमें पॉज़िटिव क्लास के सिर्फ़ कुछ उदाहरण शामिल हैं.