वर्गीकरण: सटीक और रीकॉल

अनुमानित समय: नौ मिनट

सटीक

सटीक इस तरह के सवाल का जवाब देने की कोशिश करता है:

असल में, सकारात्मक पहचान का कितना अनुपात सही है?

सटीकता को इस तरह परिभाषित किया गया है:

$$\text{Precision} = \frac{TP}{TP+FP}$$

ध्यान दें: जो मॉडल कोई भी फ़ॉल्स पॉज़िटिव नहीं बनाता है उसकी सटीक जानकारी 1.0 होती है.

ट्यूमर का विश्लेषण करने वाले पिछले सेक्शन के ज़रिए अपने एमएल मॉडल के लिए सटीक जानकारी का हिसाब लगाएं:

ट्रू पॉज़िटिव (टीपी): 1	गलत पॉज़िटिव (एफ़पी): 1
गलत नेगेटिव (एफ़एन): 8	ट्रू नेगेटिव (TN): 90

$$\text{Precision} = \frac{TP}{TP+FP} = \frac{1}{1+1} = 0.5$$

हमारे मॉडल का सटीक अनुमान 0.5 है—दूसरे शब्दों में, जब ट्यूमर खतरनाक का अनुमान लगाता है, तो वह 50% बार सही होता है.

रीकॉल

इस सवाल का जवाब देने के लिए, वापस लाएं की कोशिश करें:

वास्तविक पॉज़िटिव अनुपात का कितना अनुपात सही से पहचाना गया?

गणित के नियम के हिसाब से, प्रॉडक्ट को बाज़ार से हटाना:

$$\text{Recall} = \frac{TP}{TP+FN}$$

ध्यान दें: जो मॉडल कोई भी गलत नेगेटिव रिपोर्ट जनरेट करता है उसमें 1.0 का रिकॉल होता है.

आइए, अपने ट्यूमर क्लासिफ़ायर की मदद से रीकॉल की गिनती करें:

ट्रू पॉज़िटिव (टीपी): 1	गलत पॉज़िटिव (एफ़पी): 1
गलत नेगेटिव (एफ़एन): 8	ट्रू नेगेटिव (TN): 90

$$\text{Recall} = \frac{TP}{TP+FN} = \frac{1}{1+8} = 0.11$$

हमारे मॉडल में 0.11 का रिकॉल है—दूसरे शब्दों में, यह सभी घातक 11% ट्यूमर की सही पहचान करता है.

सटीकता और याद करें: युद्ध का एक टग

मॉडल की परफ़ॉर्मेंस का पूरा आकलन करने के लिए, आपको सटीक जानकारी और रीकॉल की दोनों जांच करनी होगी. माफ़ करें, सटीक और याद रखने में अक्सर बहुत परेशानी होती है. इसका मतलब है कि सटीक जानकारी को सुधारने से आम तौर पर, प्रॉडक्ट को बाज़ार से हटाना कम हो जाता है और, प्रॉडक्ट के डेटा को ज़्यादा सटीक बनाया जाता है. नीचे दी गई इमेज को देखकर, इस विचार के बारे में जानें. यह शर्त किसी ईमेल क्लासिफ़िकेशन मॉडल के आधार पर 30 अनुमान दिखाती है. डेटा की कैटगरी के लिए दाईं ओर मौजूद थ्रेशोल्ड को स्पैम और कोटेशन के तौर पर बांटा जाता है, जबकि बाईं ओर वाले ग्रुप को "स्पैम के तौर पर बांटा जाता है."

पहला डायग्राम. ईमेल मैसेज को स्पैम के तौर पर या स्पैम के तौर पर मार्क न करना.

चित्रा 1 में दिखाए गए परिणामों के आधार पर सटीक और रीकॉल की गणना करें:

ट्रू पॉज़िटिव (टीपी): 8	गलत पॉज़िटिविटी (एफ़पी): 2
गलत नेगेटिव (एफ़एन): 3	ट्रू नेगेटिव (TN): 17

सटीक तरीके से उन ईमेल के प्रतिशत का आकलन किया जाता है जिन्हें स्पैम के तौर पर फ़्लैग किया गया है. ये आंकड़े, पहली लाइन में हरे रंग की थ्रेशोल्ड लाइन के दाईं ओर मौजूद बिंदुओं का प्रतिशत होते हैं:

$$\text{Precision} = \frac{TP}{TP + FP} = \frac{8}{8+2} = 0.8$$

रीकॉल उन स्पैम वाले स्पैम ईमेल के प्रतिशत का आकलन करता है जिन्हें सही तरीके से कैटगरी में रखा गया था—इसका मतलब यह है कि हरे रंग के बिंदु का प्रतिशत, जो इमेज 1 में थ्रेशोल्ड लाइन के दाईं ओर है:

$$\text{Recall} = \frac{TP}{TP + FN} = \frac{8}{8 + 3} = 0.73$$

इमेज 2 में क्लासिफ़िकेशन थ्रेशोल्ड को बढ़ाने के असर को दिखाया गया है.

दूसरा डायग्राम. डेटा को अलग-अलग ग्रुप में बांटने की सीमा बढ़ाना.

फ़ॉल्स पॉज़िटिव की संख्या घटती है, लेकिन फ़ॉल्स नेगेटिव बढ़ती है. इस वजह से, सटीक जानकारी घटती है और प्रॉडक्ट की रीकॉल कम होती है:

ट्रू पॉज़िटिव (टीपी): 7	गलत पॉज़िटिव (एफ़पी): 1
गलत नेगेटिव (एफ़एन): 4	ट्रू नेगेटिव (TN): 18

$$\text{Precision} = \frac{TP}{TP + FP} = \frac{7}{7+1} = 0.88$$ $$\text{Recall} = \frac{TP}{TP + FN} = \frac{7}{7 + 4} = 0.64$$

इसके उलट, डायग्राम 3, क्लासिफ़िकेशन को सीमित करने का असर दिखाता है (पहली इमेज में उसकी मूल जगह से).

तीसरा डायग्राम. डेटा को अलग-अलग ग्रुप में बांटने की सीमा को कम करना.

गलत समीक्षाएं ज़्यादा होती हैं और गलत समीक्षाएं घट जाती हैं. इस वजह से, इस बार, नतीजों में सटीक जानकारी कम हो जाती है और प्रॉडक्ट को बाज़ार से हटाने की संख्या बढ़ जाती है:

ट्रू पॉज़िटिव (टीपी): 9	गलत पॉज़िटिव (एफ़पी): 3
गलत नेगेटिव नंबर (FN): 2	ट्रू नेगेटिव (TN): 16

$$\text{Precision} = \frac{TP}{TP + FP} = \frac{9}{9+3} = 0.75$$ $$\text{Recall} = \frac{TP}{TP + FN} = \frac{9}{9 + 2} = 0.82$$

ऐसी कई मेट्रिक बनाई गई हैं जो सटीक और याद रखने, दोनों पर निर्भर करती हैं. उदाहरण के लिए, F1 स्कोर देखें.

 

मुख्य शर्तें

सटीक

याद रखना