इस मॉड्यूल से पता चलता है कि कैटगरी टास्क के लिए, लॉजिस्टिक रिग्रेशन का इस्तेमाल कैसे किया जा सकता है. साथ ही, यह किसी क्लासिफ़िकेशन मॉडल के असर का आकलन करने का तरीका भी बताता है.
कैटगरी
वर्गीकरण बनाम रिग्रेशन
- कभी-कभी, हम प्रॉबेबिलिटी आउटपुट के लिए लॉजिस्टिक रिग्रेशन का इस्तेमाल करते हैं -- यह (0, 1) में रिग्रेशन है
- अन्य मामलों में, हम अलग-अलग बाइनरी क्लासिफ़िकेशन की वैल्यू को थ्रेशोल्ड करेंगे
- थ्रेशोल्ड चुनना एक ज़रूरी विकल्प है. इसे ट्यून किया जा सकता है
इवैलुएशन मेट्रिक: सटीक जानकारी
- हम क्लासिफ़िकेशन मॉडल का आकलन कैसे करते हैं?
इवैलुएशन मेट्रिक: सटीक जानकारी
- हम क्लासिफ़िकेशन मॉडल का आकलन कैसे करते हैं?
- इसका एक तरीका यह हो सकता है: सटीक जानकारी
- हमें मिले अनुमानों के अंश
सटीक होना गुमराह करने वाला हो सकता है
- कई मामलों में, स्कोर खराब या गुमराह करने वाला होता है
- आम तौर पर, जब अलग-अलग तरह की गलतियों की लागतें अलग-अलग होती हैं
- सामान्य मामलों में, क्लास असंतुलन शामिल होता है, जब पॉज़िटिव या नेगेटिव बहुत कम होते हैं
सही और गलत समीक्षाएं
- कक्षा से जुड़ी फ़र्क़ की समस्याओं के लिए, अलग-अलग तरह की गड़बड़ियों को अलग-अलग करें
|
सही नतीजे हमने इसे भेड़िया नाम दिया है! हमने शहर को सेव कर लिया है. |
गलत नतीजे गड़बड़ी: हमने भेड़िया को झूठा नाम दिया. हम सभी को गुस्सा नहीं आ रहा. |
|
गलत नतीजे भेड़िये का शिकार होना पड़ा, लेकिन हमें उसका पता नहीं चला. यह हमारी सभी मुर्गियों को खा चुका है. |
सही नेगेटिव भेड़िया, कोई अलार्म नहीं. सभी ठीक हैं. |
इवैलुएशन मेट्रिक: सटीक और रीकॉल
- सटीक: (सही पॉज़िटिव) / (सभी पॉज़िटिव अनुमान)
- जब मॉडल ने "पॉज़िटिव" क्लास कहा, तो क्या वह सही था?
- मन की बात: क्या मॉडल "रोड़ा" बहुत बार रोया?
इवैलुएशन मेट्रिक: सटीक और रीकॉल
- सटीक: (सही पॉज़िटिव) / (सभी पॉज़िटिव अनुमान)
- जब मॉडल ने "पॉज़िटिव" क्लास कहा, तो क्या वह सही था?
- मन की बात: क्या मॉडल "रोड़ा" बहुत बार रोया?
- वापस लाएं: (सही पॉज़िटिव) / (सभी पॉज़िटिव)
- सभी संभावित पॉज़िटिव में से, मॉडल ने कितने सही की पहचान की?
- श्रवण: क्या यह किसी भेड़िया से छूट गया था?
जब आप पूरा कर लें, तो जारी रखने के लिए चलाएं और#x25b6 दबाएं
नीचे दिए गए विकल्प देखें.
ईमेल को कैटगरी में बांटने के ऐसे मॉडल पर विचार करें जो ईमेल को दो कैटगरी में बांटता है:
"स्पैम" या "स्पैम नहीं." अगर आप क्लासिफ़िकेशन थ्रेशोल्ड को बढ़ाते हैं, तो सटीक होने का क्या होगा?
बिल्कुल बढ़नी चाहिए.
आम तौर पर, डेटा की कैटगरी तय करने के लिए थ्रेशोल्ड को बढ़ाने से सटीक जानकारी मिलती है. हालांकि, इस सीमा को बढ़ाने से इस बात की गारंटी नहीं मिलती कि यह रेंज एक जैसी रहेगी.
तो शायद बढ़ जाए.
आम तौर पर, कैटगरी तय करने की सीमा बढ़ाने से गलत चीज़ें कम होती हैं. इससे सटीक जानकारी मिलती है.
शायद कम हो जाए.
आम तौर पर, कैटगरी तय करने की सीमा बढ़ाने से गलत चीज़ें कम होती हैं. इससे सटीक जानकारी मिलती है.
बिल्कुल कम.
आम तौर पर, कैटगरी तय करने की सीमा बढ़ाने से गलत चीज़ें कम होती हैं. इससे सटीक जानकारी मिलती है.
आरओसी कर्व
हर पॉइंट, एक तय थ्रेशोल्ड पर टीपी और एफ़पी दर होता है.
इवैलुएशन मेट्रिक: AUC
- AUC: "आरओसी कर्व के नीचे अरीना"
इवैलुएशन मेट्रिक: AUC
- AUC: "आरओसी कर्व के नीचे अरीना"
- अनुवाद:
- अगर हम कोई भी रैंडम पॉज़िटिव और रैंडम नेगेटिव चुनते हैं, तो इस बात की कितनी संभावना है कि मेरा मॉडल उन्हें सही क्रम में रैंक करे?
इवैलुएशन मेट्रिक: AUC
- AUC: "आरओसी कर्व के नीचे अरीना"
- अनुवाद:
- अगर हम कोई भी रैंडम पॉज़िटिव और रैंडम नेगेटिव चुनते हैं, तो इस बात की कितनी संभावना है कि मेरा मॉडल उन्हें सही क्रम में रैंक करे?
- इंट्यूशन: सभी संभावित क्लासिफ़िकेशन थ्रेशोल्ड के लिए, एग्रीगेट की गई सभी परफ़ॉर्मेंस को एग्रीगेट करता है
पूर्वानुमान बायस
- लॉजिस्टिक रिग्रेशन के अनुमान निष्पक्ष होने चाहिए.
- अनुमानों का औसत == निगरानी का औसत
पूर्वानुमान बायस
- लॉजिस्टिक रिग्रेशन के अनुमान निष्पक्ष होने चाहिए.
- अनुमानों का औसत == निगरानी का औसत
- बायस एक कैनरी है.
- सिर्फ़ शून्य के मापदंड का यह मतलब नहीं है कि आपके सिस्टम में सब कुछ सही है.
- हालांकि, यह अच्छी तरह से काम करता है.
पूर्वानुमान बायस (जारी)
- अगर किसी भी तरह का भेदभाव हो रहा है, तो कोई समस्या है.
- अधूरा फ़ीचर सेट किया गया?
- गड़बड़ी वाली पाइपलाइन?
- भेदभाव वाला ट्रेनिंग सैंपल?
- कैलिब्रेशन लेयर को लेकर कोई भेदभाव न करें. इसे मॉडल में ठीक करें.
- डेटा के हिस्सों में पक्षपात देखें -- इससे सुधार किया जा सकता है.
कैलिब्रेशन प्लॉट बकेटेड बायस दिखाते हैं
