पिछले सेक्शन में, मॉडल मेट्रिक का एक सेट दिखाया गया था. इन मेट्रिक की गिनती सिंगल क्लासिफ़िकेशन थ्रेशोल्ड की वैल्यू. हालांकि, अगर आपको दुनिया भर में साथ ही, आपको अलग-अलग टूल की ज़रूरत है.
रिसीवर-ऑपरेटिंग एट्रिब्यूट कर्व (आरओसी)
आरओसी कर्व सभी थ्रेशोल्ड पर मॉडल की परफ़ॉर्मेंस को विज़ुअल तौर पर दिखाता है. नाम का लंबा वर्शन, रिसीवर के काम करने की विशेषता है, एक होल्डओवर है दूसरे विश्व युद्ध के रडार डिटेक्टर के रूप में इस्तेमाल किया गया था.
आरओसी कर्व को सही पॉज़िटिव रेट (टीपीआर) की गिनती करके निकाला जाता है और हर संभावित थ्रेशोल्ड पर फ़ॉल्स पॉज़िटिव रेट (एफ़पीआर) के बारे में बताएं (व्यावहारिक तौर पर, चुने गए इंटरवल के हिसाब से फ़िल्टर किया जाता है). इसके बाद, एफ़पीआर के हिसाब से TPR का ग्राफ़ बनाना. एक आदर्श मॉडल, जो कुछ थ्रेशोल्ड पर 1.0 का TPR और 0.0 का FPR है, जिसका प्रतिनिधित्व किसी बिंदु से किया जाता है. (0, 1) अगर अन्य सभी थ्रेशोल्ड को नज़रअंदाज़ किया जाता है या ये बातें लागू होती हैं:

कर्व के दायरे में आने वाला क्षेत्रफल (AUC)
आरओसी कर्व (एयूसी) के दायरे में आने वाला एरिया इस बात की संभावना दिखाता है कि मॉडल, यदि बेतरतीब ढंग से चुना गया सकारात्मक और नकारात्मक उदाहरण दिया जाता है, तो पॉज़िटिव वैल्यू, नेगेटिव से ज़्यादा हो.
ऊपर दिए गए पूर्ण मॉडल में, लंबाई 1 के किनारों वाला एक वर्ग है, जिसमें 1.0 के कर्व (AUC) के तहत क्षेत्र. इसका मतलब है कि इस बात की 100% संभावना है कि यह मॉडल, रैंडम तरीके से चुने गए पॉज़िटिव उदाहरण को सही तरीके से रैंक करेगा. यह यादृच्छिक रूप से चुने गए नकारात्मक उदाहरण. दूसरे शब्दों में, एआई (AI) के इस्तेमाल से, नीचे दिए गए डेटा पॉइंट के हिसाब से, AUC संभावना देता है कि मॉडल यादृच्छिक रूप से चुने गए वृत्त की दाईं ओर यादृच्छिक रूप से चुने गए वर्ग, से स्वतंत्र जहां थ्रेशोल्ड को सेट किया जाता है.
आसान शब्दों में कहें, तो AUC के साथ स्पैम की कैटगरी तय करने वाला एल्गोरिदम का 1.0 हमेशा किसी रैंडम स्पैम ईमेल को असाइन करता है. इसमें स्पैम मैसेज होता है. हर एक कैटगरी का असल क्लासिफ़िकेशन ईमेल आपके चुने गए थ्रेशोल्ड पर निर्भर करता है.
बाइनरी क्लासिफ़ायर के लिए, एक मॉडल जो रैंडम तरीके से अनुमान लगाता है या कॉइन फ़्लिप्स में आरओसी होता है, जो (0,0) से (1,1) तक डायगनल लाइन होता है. एयूसी है 0.5, जो रैंडम तरीके से पॉज़िटिव रैंकिंग मिलने की 50% संभावना दिखाता है और टारगेटिंग से बाहर रखा गया है.
स्पैम क्लासिफ़ायर के उदाहरण में, 0.5 के AUC वाला स्पैम क्लासिफ़ायर रैंडम स्पैम ईमेल से स्पैम होने की संभावना, रैंडम स्पैम से ज़्यादा होती है आधे से ज़्यादा मामलों में सही ईमेल नहीं भेजा जा सकता.

(वैकल्पिक, बेहतर) प्रिसिज़न-रीकॉल कर्व
AUC और ROC, मॉडल की तुलना करने के लिए तब अच्छे होते हैं, जब डेटासेट मोटे तौर पर क्लास के बीच संतुलन बनाना चाहिए. डेटासेट के असंतुलन होने पर, उसे सटीक तरीके से वापस लिया जाएगा कर्व (पीआरसी) और उन कर्व के नीचे के इलाके की तुलना बेहतर तरीके से की जा सकती है मॉडल की परफ़ॉर्मेंस का विज़ुअलाइज़ेशन. प्रिसिज़न-रीकॉल कर्व इससे बनाए जाते हैं सभी पॉइंट पर y-ऐक्सिस और x-ऐक्सिस पर रीकॉल का सटीक अनुमान लगाना थ्रेशोल्ड.

मॉडल और थ्रेशोल्ड चुनने के लिए AUC और ROC
AUC दो अलग-अलग मॉडल की परफ़ॉर्मेंस की तुलना करने के लिए एक कारगर पैमाना है. जब तक डेटासेट मोटे तौर पर संतुलित है. (प्रीसिज़न-रीकॉल कर्व देखें, देखें.) वह मॉडल जिसमें बड़ा क्षेत्रफल हो आम तौर पर, कर्व बेहतर होता है.


(0,1) के सबसे नज़दीक वाले ROC कर्व पर मौजूद पॉइंट, दिए गए मॉडल के लिए सबसे अच्छा परफ़ॉर्म करने वाले थ्रेशोल्ड. जैसा कि थ्रेशोल्ड, कन्फ़्यूज़न मैट्रिक्स और मेट्रिक और ट्रेडऑफ़ के विकल्प सेक्शन है, तो थ्रेशोल्ड इस बात पर निर्भर करता है कि आपके लिए कौनसा मेट्रिक सबसे अहम है इस्तेमाल का खास उदाहरण होगा. यहां दिए गए पॉइंट A, B, और C पर विचार करें डायग्राम में दिखाया गया है, जिसमें हर थ्रेशोल्ड को दिखाया गया है:

अगर फ़ॉल्स पॉज़िटिव (ग़लत अलार्म) बहुत ज़्यादा महंगा होता है, तो कोई ऐसा थ्रेशोल्ड चुनें जिससे कम एफ़पीआर मिले, जैसा कि पॉइंट A पर है. भले ही, TPR की सीमा कम हो कम हो गया है. इसके उलट, अगर फ़ॉल्स पॉज़िटिव सस्ते और फ़ॉल्स नेगेटिव हैं (मिस्ड ट्रू पॉज़िटिव) बहुत महंगा पड़ता है, यानी पॉइंट C का थ्रेशोल्ड, जो टीपीआर को बढ़ाता है, लेकिन बेहतर बनाया जा सकता है. अगर लागत करीब-करीब बराबर है, तो पॉइंट B TPR और FPR के बीच सबसे बेहतर संतुलन बना सकता है.
यहां उस डेटा के लिए ROC कर्व दिया गया है जिसे हमने पहले देखा है:
व्यायाम: अपनी समझ की जांच करें








(वैकल्पिक, बेहतर) बोनस सवाल
कल्पना कीजिए कि कुछ स्पैम को ईमेल भेजने के लिए किया जा सकता है. आपने ने इस स्थिति के लिए एक स्पैम क्लासिफ़ायर को ट्रेनिंग दी है जहां पॉज़िटिव क्लास स्पैम और नेगेटिव क्लास, स्पैम नहीं होती. इनमें से कौनसे पॉइंट के लिए ROC कर्व पर आधारित है?
