कई उपयोगी गणनाओं के लिए, सही और गलत के सकारात्मक और नकारात्मक मान का इस्तेमाल किया जाता है मेट्रिक देखें. आकलन की कौनसी मेट्रिक सबसे ज़्यादा हैं यह किसी मॉडल और टास्क की लागत पर निर्भर करता है. और क्या डेटासेट संतुलित है या असंतुलित.
इस सेक्शन की सभी मेट्रिक की गिनती एक तय थ्रेशोल्ड पर की जाती है, साथ ही, थ्रेशोल्ड में बदलाव होने पर भी इसे बदला जा सकता है. अक्सर, उपयोगकर्ता थ्रेशोल्ड सेट करें.
सटीक जानकारी
सटीक होने का मतलब है जो सही थे, चाहे वे सकारात्मक हों या नकारात्मक. हां गणितीय तौर पर इस तरह परिभाषित किया गया है:
\[\text{Accuracy} = \frac{\text{correct classifications}}{\text{total classifications}} = \frac{TP+TN}{TP+TN+FP+FN}\]
स्पैम की कैटगरी तय करने के उदाहरण में, सटीक होने से सभी उपयोगकर्ताओं का हिस्सा ईमेल सही कैटगरी में रखे जाते हैं.
एक बेहतरीन मॉडल में शून्य फ़ॉल्स पॉज़िटिव और शून्य फ़ॉल्स नेगेटिव होंगे और इसलिए, 1.0 या 100% सटीक होता है.
ऐसा इसलिए, क्योंकि इसमें सभी चार नतीजों को शामिल किया गया है कन्फ़्यूज़न मैट्रिक्स (TP, FP, TN, FN), संतुलित डेटासेट में, दोनों क्लास में उदाहरणों की समान संख्या के साथ, सटीक जानकारी को मॉडल की क्वालिटी के एक मोटे माप के तौर पर काम करते हैं. इस वजह से, अक्सर सामान्य या अनिर्दिष्ट मॉडल के लिए इस्तेमाल की जाने वाली डिफ़ॉल्ट मूल्यांकन मेट्रिक सामान्य या अनजान टास्क को करने में.
हालांकि, डेटासेट के असंतुलित होने पर, या जहां एक तरह की गलती (एफ़एन या एफ़पी) किसी दूसरी तरह की गलती के मुकाबले ज़्यादा महंगी होती है, का उपयोग करना बहुत ही बेहतर होता है, इसलिए उनमें से किसी एक का इस्तेमाल करने की सलाह देते हैं.
भारी असंतुलित डेटासेट के लिए, जहां एक वर्ग बहुत कम दिखाई देता है, मान लें कि 1% समय के साथ, जो मॉडल 100% समय नेगेटिव का अनुमान लगाता है उसे 99% स्कोर मिलेगा ज़्यादा सटीक होने के बारे में भी बताएं.
रीकॉल या वास्तविक सकारात्मक दर
ट्रू पॉज़िटिव रेट (टीपीआर) या उन सभी पॉज़िटिव पॉज़िटिव रेट का अनुपात जो सकारात्मक के रूप में सही तरीके से वर्गीकृत किया गया था, जिसे यह भी कहा जाता है याद रखें.
रीकॉल को गणितीय तौर पर इस तरह परिभाषित किया गया है:
\[\text{Recall (or TPR)} = \frac{\text{correctly classified actual positives}}{\text{all actual positives}} = \frac{TP}{TP+FN}\]
फ़ॉल्स नेगेटिव, असल पॉज़िटिव होते हैं जिन्हें नेगेटिव के तौर पर गलत कैटगरी में रखा गया था, क्योंकि इसलिए वे डिनॉमिनेटर में दिखते हैं. स्पैम की कैटगरी तय करने वाले उदाहरण में, याद रखें कि उन स्पैम ईमेल के हिस्से का आकलन किया जाता है जिन्हें सही कैटगरी में रखा गया था स्पैम. इसलिए, रीकॉल का दूसरा नाम पता लगाने की संभावना है: इसे "इसके ज़रिए स्पैम ईमेल के कितने हिस्से का पता लगाया जाता है" मॉडल?"
किसी काल्पनिक परफ़ेक्ट मॉडल में शून्य फ़ॉल्स नेगेटिव होगा और इसलिए 1.0 की रीकॉल (TPR) का मतलब है कि 100% डिटेक्शन रेट.
ऐसे असंतुलित डेटासेट में, जहां वास्तविक पॉज़िटिव की संख्या बहुत, बहुत ज़्यादा है कम, कुल एक-दो उदाहरण कहें, याद रखना ज़्यादा काम का नहीं है और काम का नहीं है मेट्रिक के तौर पर दिखेगा.
फ़ॉल्स पॉज़िटिव रेट
फ़ॉल्स पॉज़िटिव रेट (एफ़पीआर) उन सभी नेगेटिव नेगेटिव संख्याओं का अनुपात है जिन्हें गलत तरीके से कैटगरी में रखा गया था पॉज़िटिव के तौर पर, इसे गलत अलार्म की संभावना भी कहा जाता है. हां गणितीय तौर पर इस तरह परिभाषित किया गया है:
\[\text{FPR} = \frac{\text{incorrectly classified actual negatives}} {\text{all actual negatives}} = \frac{FP}{FP+TN}\]
फ़ॉल्स पॉज़िटिव, असल नेगेटिव वे होते हैं जिन्हें गलत कैटगरी में रखा गया था. इसलिए, वे हर में दिखेगा. स्पैम की कैटगरी तय करने के उदाहरण में, FPR उन वैध ईमेल का हिस्सा न हो जिन्हें गलती से स्पैम की कैटगरी में रखा गया हो या फ़ॉल्स अलार्म के मॉडल की दर.
एक बेहतरीन मॉडल में शून्य फ़ॉल्स पॉज़िटिव होंगे और इसलिए, FPR 0.0, इसका मतलब है कि 0% फ़ॉल्स अलार्म रेट.
किसी असंतुलित डेटासेट में, जहां वास्तविक ऋणात्मक संख्या बहुत, बहुत कम हो, तो कुल एक से दो उदाहरण मान लें, एफ़पीआर ज़्यादा काम का और काम का नहीं है मेट्रिक के तौर पर दिखेगा.
स्पष्टता
सटीक मॉडल के सभी पॉज़िटिव क्लासिफ़िकेशन का अनुपात है जो वास्तव में सकारात्मक हों. इसे गणितीय तौर पर इस तरह परिभाषित किया गया है:
\[\text{Precision} = \frac{\text{correctly classified actual positives}} {\text{everything classified as positive}} = \frac{TP}{TP+FP}\]
स्पैम की कैटगरी तय करने के उदाहरण में, सटीक तरीके से ईमेल के हिस्से को मेज़र किया जाता है स्पैम के तौर पर मार्क किया जाता है, जो असल में स्पैम होता है.
काल्पनिक परफ़ेक्ट मॉडल में शून्य फ़ॉल्स पॉज़िटिव होंगे और इसलिए 1.0 कितनी सटीक है.
ऐसे असंतुलित डेटासेट में, जहां वास्तविक पॉज़िटिव की संख्या बहुत, बहुत ज़्यादा है कम हो, तो कुल एक-दो उदाहरण कहें. सटीक जानकारी ज़्यादा काम की और काम की नहीं होती मेट्रिक के तौर पर दिखेगा.
फ़ॉल्स पॉज़िटिव के घटने पर प्रिसिज़न बेहतर होता है, जबकि रिकॉल में सुधार होने पर फ़ॉल्स नेगेटिव कम हो जाते हैं. हालांकि, जैसा कि पिछले सेक्शन में बताया गया है, क्लासिफ़िकेशन थ्रेशोल्ड, फ़ॉल्स पॉज़िटिव की संख्या को घटाता है और फ़ॉल्स नेगेटिव की संख्या बढ़ाना, जबकि थ्रेशोल्ड को कम करने पर बुरा असर हो सकता है. इस वजह से, सटीक जानकारी और रीकॉल, अक्सर व्युत्क्रम दिखाते हैं. संबंध बेहतर होते हैं, वहीं एक में सुधार होने से दूसरे की स्थिति बिगड़ जाती है.
मेट्रिक और ट्रेडऑफ़ विकल्प
मॉडल का आकलन करते समय, आपकी चुनी गई मेट्रिक और आपकी कमाई की सीमा तय करने की सीमा, आपकी इन्वेंट्री की कीमतों, फ़ायदों, और जोखिमों पर किसी समस्या को हल करने में मदद मिलती है. स्पैम की कैटगरी तय करने वाले उदाहरण में, यह अक्सर उन्हें याद रखने, सभी स्पैम ईमेल को जानने या सटीक जानकारी पाने में मदद मिलती है, यह सुनिश्चित करने का प्रयास कर रहा है कि स्पैम-लेबल वाले ईमेल वास्तव में स्पैम हैं या कुछ दोनों का बैलेंस, कुछ हद तक सटीक होने के कुछ लेवल से ज़्यादा हो.
| मेट्रिक | दिशा-निर्देश |
|---|---|
| सटीक जानकारी | मॉडल के मोटे संकेत के रूप में उपयोग करें संतुलित डेटासेट की ट्रेनिंग प्रगति/अभिरूपित करने के लिए किया जा सकता है. मॉडल की परफ़ॉर्मेंस के लिए, इसे अन्य मेट्रिक के साथ ही इस्तेमाल करें. असंतुलित डेटासेट का इस्तेमाल करने से बचें. किसी दूसरी मेट्रिक का इस्तेमाल करें. |
| रीकॉल (ट्रू पॉज़िटिव रेट) |
तब इस्तेमाल करें, जब फ़ॉल्स नेगेटिव ज़्यादा हो ये फ़ॉल्स पॉज़िटिव होते हैं. |
| फ़ॉल्स पॉज़िटिव रेट | तब इस्तेमाल करें, जब फ़ॉल्स पॉज़िटिव हों ये फ़ॉल्स नेगेटिव से ज़्यादा महंगा होता है. |
| स्पष्टता | बहुत ज़रूरी होने पर, इसका इस्तेमाल करें ताकि वे सटीक हों. |
(ज़रूरी नहीं, ऐडवांस) F1 स्कोर
F1 स्कोर हार्मोनिक मीन होता है (a औसत) के आधार पर डिज़ाइन किया गया है.
गणित के नज़रिए से, यह इस तरीके से दिया गया है:
यह मेट्रिक सटीक और रीकॉल की अहमियत को संतुलित करती है. क्लास-असंतुलित डेटासेट के लिए सटीक होने को प्राथमिकता दी जाती है. सटीक होने पर और याद करें कि दोनों का 1.0 के पूर्ण स्कोर हैं, तो F1 का भी पूर्ण स्कोर होगा 1.0 में से. जब प्रिसिज़न और रीकॉल की वैल्यू करीब-करीब सटीक हो, तो F1 उनके मूल्यों के करीब होने में मदद मिलती है. जब प्रिसिज़न और रीकॉल में बहुत ज़्यादा अंतर हो, F1 किसी भी मेट्रिक के नतीजों में नहीं दिखेगा.