क्लासिफ़िकेशन: ऐक्यूरसी, रीकॉल, सटीक, और संबंधित मेट्रिक

कई उपयोगी गणनाओं के लिए, सही और गलत के सकारात्मक और नकारात्मक मान का इस्तेमाल किया जाता है मेट्रिक देखें. आकलन की कौनसी मेट्रिक सबसे ज़्यादा हैं यह किसी मॉडल और टास्क की लागत पर निर्भर करता है. और क्या डेटासेट संतुलित है या असंतुलित.

इस सेक्शन की सभी मेट्रिक की गिनती एक तय थ्रेशोल्ड पर की जाती है, साथ ही, थ्रेशोल्ड में बदलाव होने पर भी इसे बदला जा सकता है. अक्सर, उपयोगकर्ता थ्रेशोल्ड सेट करें.

सटीक जानकारी

सटीक होने का मतलब है जो सही थे, चाहे वे सकारात्मक हों या नकारात्मक. हां गणितीय तौर पर इस तरह परिभाषित किया गया है:

\[\text{Accuracy} = \frac{\text{correct classifications}}{\text{total classifications}} = \frac{TP+TN}{TP+TN+FP+FN}\]

स्पैम की कैटगरी तय करने के उदाहरण में, सटीक होने से सभी उपयोगकर्ताओं का हिस्सा ईमेल सही कैटगरी में रखे जाते हैं.

एक बेहतरीन मॉडल में शून्य फ़ॉल्स पॉज़िटिव और शून्य फ़ॉल्स नेगेटिव होंगे और इसलिए, 1.0 या 100% सटीक होता है.

ऐसा इसलिए, क्योंकि इसमें सभी चार नतीजों को शामिल किया गया है कन्फ़्यूज़न मैट्रिक्स (TP, FP, TN, FN), संतुलित डेटासेट में, दोनों क्लास में उदाहरणों की समान संख्या के साथ, सटीक जानकारी को मॉडल की क्वालिटी के एक मोटे माप के तौर पर काम करते हैं. इस वजह से, अक्सर सामान्य या अनिर्दिष्ट मॉडल के लिए इस्तेमाल की जाने वाली डिफ़ॉल्ट मूल्यांकन मेट्रिक सामान्य या अनजान टास्क को करने में.

हालांकि, डेटासेट के असंतुलित होने पर, या जहां एक तरह की गलती (एफ़एन या एफ़पी) किसी दूसरी तरह की गलती के मुकाबले ज़्यादा महंगी होती है, का उपयोग करना बहुत ही बेहतर होता है, इसलिए उनमें से किसी एक का इस्तेमाल करने की सलाह देते हैं.

भारी असंतुलित डेटासेट के लिए, जहां एक वर्ग बहुत कम दिखाई देता है, मान लें कि 1% समय के साथ, जो मॉडल 100% समय नेगेटिव का अनुमान लगाता है उसे 99% स्कोर मिलेगा ज़्यादा सटीक होने के बारे में भी बताएं.

रीकॉल या वास्तविक सकारात्मक दर

ट्रू पॉज़िटिव रेट (टीपीआर) या उन सभी पॉज़िटिव पॉज़िटिव रेट का अनुपात जो सकारात्मक के रूप में सही तरीके से वर्गीकृत किया गया था, जिसे यह भी कहा जाता है याद रखें.

रीकॉल को गणितीय तौर पर इस तरह परिभाषित किया गया है:

\[\text{Recall (or TPR)} = \frac{\text{correctly classified actual positives}}{\text{all actual positives}} = \frac{TP}{TP+FN}\]

फ़ॉल्स नेगेटिव, असल पॉज़िटिव होते हैं जिन्हें नेगेटिव के तौर पर गलत कैटगरी में रखा गया था, क्योंकि इसलिए वे डिनॉमिनेटर में दिखते हैं. स्पैम की कैटगरी तय करने वाले उदाहरण में, याद रखें कि उन स्पैम ईमेल के हिस्से का आकलन किया जाता है जिन्हें सही कैटगरी में रखा गया था स्पैम. इसलिए, रीकॉल का दूसरा नाम पता लगाने की संभावना है: इसे "इसके ज़रिए स्पैम ईमेल के कितने हिस्से का पता लगाया जाता है" मॉडल?"

किसी काल्पनिक परफ़ेक्ट मॉडल में शून्य फ़ॉल्स नेगेटिव होगा और इसलिए 1.0 की रीकॉल (TPR) का मतलब है कि 100% डिटेक्शन रेट.

ऐसे असंतुलित डेटासेट में जहां वास्तविक पॉज़िटिव की संख्या बहुत ज़्यादा है कम, कुल एक-दो उदाहरण कहें, याद रखना ज़्यादा काम का नहीं है और काम का नहीं है मेट्रिक के तौर पर दिखेगा.

फ़ॉल्स पॉज़िटिव रेट

फ़ॉल्स पॉज़िटिव रेट (एफ़पीआर) उन सभी नेगेटिव नेगेटिव संख्याओं का अनुपात है जिन्हें गलत तरीके से कैटगरी में रखा गया था पॉज़िटिव के तौर पर, इसे गलत अलार्म की संभावना भी कहा जाता है. हां गणितीय तौर पर इस तरह परिभाषित किया गया है:

\[\text{FPR} = \frac{\text{incorrectly classified actual negatives}} {\text{all actual negatives}} = \frac{FP}{FP+TN}\]

फ़ॉल्स पॉज़िटिव, असल नेगेटिव वे होते हैं जिन्हें गलत कैटगरी में रखा गया था. इसलिए, वे हर में दिखेगा. स्पैम की कैटगरी तय करने के उदाहरण में, FPR उन वैध ईमेल का हिस्सा न हो जिन्हें गलती से स्पैम की कैटगरी में रखा गया हो या फ़ॉल्स अलार्म के मॉडल की दर.

एक बेहतरीन मॉडल में शून्य फ़ॉल्स पॉज़िटिव होंगे और इसलिए, FPR 0.0, इसका मतलब है कि 0% फ़ॉल्स अलार्म रेट.

किसी असंतुलित डेटासेट में, जहां वास्तविक ऋणात्मक संख्या बहुत, बहुत कम हो, तो कुल एक से दो उदाहरण मान लें, एफ़पीआर ज़्यादा काम का और काम का नहीं है मेट्रिक के तौर पर दिखेगा.

स्पष्टता

सटीक मॉडल के सभी पॉज़िटिव क्लासिफ़िकेशन का अनुपात है जो वास्तव में सकारात्मक हों. इसे गणितीय तौर पर इस तरह परिभाषित किया गया है:

\[\text{Precision} = \frac{\text{correctly classified actual positives}} {\text{everything classified as positive}} = \frac{TP}{TP+FP}\]

स्पैम की कैटगरी तय करने के उदाहरण में, सटीक तरीके से ईमेल के हिस्से को मेज़र किया जाता है स्पैम के तौर पर मार्क किया जाता है, जो असल में स्पैम होता है.

काल्पनिक परफ़ेक्ट मॉडल में शून्य फ़ॉल्स पॉज़िटिव होंगे और इसलिए 1.0 कितनी सटीक है.

ऐसे असंतुलित डेटासेट में, जहां वास्तविक पॉज़िटिव की संख्या बहुत, बहुत ज़्यादा है कम हो, तो कुल एक-दो उदाहरण कहें. सटीक जानकारी ज़्यादा काम की और काम की नहीं होती मेट्रिक के तौर पर दिखेगा.

फ़ॉल्स पॉज़िटिव के घटने पर प्रिसिज़न बेहतर होता है, जबकि रिकॉल में सुधार होने पर फ़ॉल्स नेगेटिव कम हो जाते हैं. हालांकि, जैसा कि पिछले सेक्शन में बताया गया है, क्लासिफ़िकेशन थ्रेशोल्ड, फ़ॉल्स पॉज़िटिव की संख्या को घटाता है और फ़ॉल्स नेगेटिव की संख्या बढ़ाना, जबकि थ्रेशोल्ड को कम करने पर बुरा असर हो सकता है. इस वजह से, सटीक जानकारी और रीकॉल, अक्सर व्युत्क्रम दिखाते हैं. संबंध बेहतर होते हैं, वहीं एक में सुधार होने से दूसरे की स्थिति बिगड़ जाती है.

खुद आज़माकर देखें:

मेट्रिक में NaN का क्या मतलब है?

NaN या "कोई संख्या नहीं है" 0 से विभाजित करने पर दिखाई देता है. इनमें से किसी भी मेट्रिक के साथ काम करता है. जब TP और FP दोनों 0 होते हैं, उदाहरण के लिए, प्रिसिज़न के फ़ॉर्मूले में डिनॉमिनेटर में 0 होता है, जिससे NaN मिलता है. हालांकि कुछ मामलों में NaN सटीक प्रदर्शन दिखा सकता है और 1.0 के स्कोर से बदला गया, यह ऐसे मॉडल से भी आ सकता है जो व्यावहारिक रूप से बेकार. उदाहरण के लिए, अगर किसी मॉडल में कभी पॉज़िटिव अनुमान नहीं लगाया जाता, तो उसमें 0 टीपी होंगे और 0 FP और इस तरह उसकी सटीक जानकारी की गणना के नतीजे के तौर पर NaN मिलेगा.

मेट्रिक और ट्रेडऑफ़ विकल्प

मॉडल का आकलन करते समय, आपकी चुनी गई मेट्रिक और आपकी कमाई की सीमा तय करने की सीमा, आपकी इन्वेंट्री की कीमतों, फ़ायदों, और जोखिमों के आधार पर किसी समस्या को हल करने में मदद मिलती है. स्पैम की कैटगरी तय करने वाले उदाहरण में, यह अक्सर उन्हें याद रखने, सभी स्पैम ईमेल को जानने या सटीक जानकारी पाने में मदद मिलती है, यह सुनिश्चित करने का प्रयास कर रहा है कि स्पैम-लेबल वाले ईमेल वास्तव में स्पैम हैं या कुछ दोनों का बैलेंस, कुछ हद तक सटीक होने के कुछ लेवल से ज़्यादा हो.

मेट्रिक दिशा-निर्देश
सटीक जानकारी

मॉडल के मोटे संकेत के रूप में उपयोग करें संतुलित डेटासेट की ट्रेनिंग प्रगति/अभिरूपित करने के लिए किया जा सकता है.

मॉडल की परफ़ॉर्मेंस के लिए, इसे अन्य मेट्रिक के साथ ही इस्तेमाल करें.

असंतुलित डेटासेट का इस्तेमाल करने से बचें. किसी दूसरी मेट्रिक का इस्तेमाल करें.

रीकॉल
(ट्रू पॉज़िटिव रेट)
तब इस्तेमाल करें, जब फ़ॉल्स नेगेटिव ज़्यादा हो ये फ़ॉल्स पॉज़िटिव होते हैं.
फ़ॉल्स पॉज़िटिव रेट तब इस्तेमाल करें, जब फ़ॉल्स पॉज़िटिव हों ये फ़ॉल्स नेगेटिव से ज़्यादा महंगा होता है.
स्पष्टता बहुत ज़रूरी होने पर, इसका इस्तेमाल करें ताकि वे सटीक हों.

(ज़रूरी नहीं, ऐडवांस) F1 स्कोर

F1 स्कोर हार्मोनिक मीन होता है (a औसत) के आधार पर डिज़ाइन किया गया है.

गणित के नज़रिए से, यह इस तरीके से दिया गया है:

\[\text{F1}=2*\frac{\text{precision * recall}}{\text{precision + recall}} = \frac{2\text{TP}}{2\text{TP + FP + FN}}\]

यह मेट्रिक सटीक और रीकॉल की अहमियत को संतुलित करती है. क्लास-असंतुलित डेटासेट के लिए सटीक होने को प्राथमिकता दी जाती है. सटीक होने पर और याद करें कि दोनों का 1.0 के पूर्ण स्कोर हैं, तो F1 का भी पूर्ण स्कोर होगा 1.0 में से. जब प्रिसिज़न और रीकॉल की वैल्यू करीब-करीब सटीक हो, तो F1 उनके मूल्यों के करीब होने में मदद मिलती है. जब प्रिसिज़न और रीकॉल में बहुत ज़्यादा अंतर हो, F1 किसी भी मेट्रिक के नतीजों में नहीं दिखेगा.

व्यायाम: अपनी समझ की जांच करें

एक मॉडल 5 TP, 6 TN, 3 FP, और 2 FN देता है. रीकॉल का हिसाब लगाएं.
0.714
रीकॉल का हिसाब इस तरह लगाया जाता है [\frac{TP}{TP+FN}=\frac{5}{7}].
0.455
रीकॉल सभी असल पॉज़िटिव को ध्यान में रखता है, सभी को सही नहीं वर्गीकरण. रीकॉल का फ़ॉर्मूला [\frac{TP}{TP+FN}] है.
0.625
रीकॉल सभी असल पॉज़िटिव को ध्यान में रखता है, न कि सभी पॉज़िटिव को वर्गीकरण. रीकॉल का फ़ॉर्मूला [\frac{TP}{TP+FN}] है
किसी मॉडल का आउटपुट 3 TP, 4 TN, 2 FP, और 1 FN होता है. परिशुद्धता की गणना करें.
0.6
प्रिसिज़न की गिनती [\frac{TP}{TP+FP}=\frac{3}{5}] से की जाती है.
0.75
सटीक वैल्यू के तौर पर सभी पॉज़िटिव क्लासिफ़िकेशन को ध्यान में रखा जाता है, सभी को नहीं असल पॉज़िटिव. सटीक होने का फ़ॉर्मूला [\frac{TP}{TP+FP}] है.
0.429
सटीक वैल्यू के तौर पर सभी पॉज़िटिव क्लासिफ़िकेशन को ध्यान में रखा जाता है, सभी को नहीं सही क्लासिफ़िकेशन. सटीक होने का फ़ॉर्मूला [\frac{TP}{TP+FP}] है
आप एक बाइनरी क्लासिफ़ायर बना रहे हैं, जो कीड़े-मकोड़ों की फ़ोटो की जांच करेगा कि क्या कोई खतरनाक घुसपैठिया प्रजाति मौजूद है. अगर मॉडल को पता चलता है कि कीट वैज्ञानिक (कीट वैज्ञानिक) को सूचना दी जाती है. तय समय से पहले इस कीड़े का पता लगाना, इसके हमले को रोकने के लिए बहुत ज़रूरी है. ऐप्लिकेशन फ़ॉल्स अलार्म (फ़ॉल्स पॉज़िटिव) को हैंडल करना आसान होता है: एंटोमोलॉजिस्ट को लगता है कि फ़ोटो गलत कैटगरी में डाली गई थी और उसे ठीक वैसे ही मार्क कर दिया गया है. स्वीकार किए जाने वाले मान को कितना सटीक है, इस मॉडल को किस मेट्रिक के लिए ऑप्टिमाइज़ करना चाहिए?
रीकॉल
इस स्थिति में, फ़ॉल्स अलार्म (FP) कम लागत वाले और गलत होते हैं नेगेटिव कीवर्ड का इस्तेमाल करना ज़्यादा महंगा होता है. इसलिए, रीकॉल को बढ़ाना या पता लगाया जा सकता है.
फ़ॉल्स पॉज़िटिव रेट (एफ़पीआर)
इस स्थिति में, फ़ॉल्स अलार्म (FP) कम लागत वाले होते हैं. ट्राइंग के ज़रिए सही पॉज़िटिव नतीजों के मौजूद न होने का जोखिम कम किया जा सकता है. समझ.
स्पष्टता
इस स्थिति में, फ़ॉल्स अलार्म (एफ़पी) खास तौर पर काम नहीं करते नुकसान पहुंचाने वाला हो सकता है. इसलिए, पॉज़िटिव क्लासिफ़िकेशन को बेहतर बनाने की कोशिश की जा रही है कोई मतलब नहीं.
अभी तक किसी भी व्यक्ति ने चेक इन नहीं किया है