लॉजिस्टिक रिग्रेशन

पूरी तरह से 0 या 1 का अनुमान लगाने के बजाय, लॉजिस्टिक रिग्रेशनकी संभावना होती है—खास, 0 और 1-1 उदाहरण के लिए, स्पैम का पता लगाने के लिए, लॉजिस्टिक रिग्रेशन मॉडल पर विचार करें. अगर मॉडल को किसी खास ईमेल मैसेज के बारे में 0.932 मान मिलता है, तो इस बात की 93.2% संभावना है कि ईमेल मैसेज स्पैम है. ज़्यादा सटीक बात यह है कि असीमित ट्रेनिंग उदाहरणों की सीमा में, उदाहरणों के ऐसे सेट के लिए, जिनका मॉडल मॉडल 0.932 का अनुमान लगाता है, वे वाकई 93.2% समय के लिए होंगे और बाकी 6.8%.

लॉजिस्टिक रिग्रेशन

  • मुड़े हुए सिक्कों के लिए संभावना का अनुमान लगाने की समस्या का अनुमान लगाएं
  • आप मोड़ने के लिए कोण, सिक्का द्रव्यमान वगैरह जैसी सुविधाओं का इस्तेमाल कर सकते हैं.
  • आपके हिसाब से, सबसे आसान मॉडल कौनसा हो सकता है?
  • भला, क्या गलत हो सकता है?
2 सिक्के मोड़ें
  • कई समस्याओं के लिए आउटपुट के रूप में संभावना का अनुमान लगाना ज़रूरी है
  • लॉजिस्टिक रिग्रेशन डालें
  • कई समस्याओं के लिए आउटपुट के रूप में संभावना का अनुमान लगाना ज़रूरी है
  • लॉजिस्टिक रिग्रेशन डालें
  • आसान, क्योंकि संभावना के अनुमान कैलिब्रेट किए गए हैं
    • उदाहरण के लिए, p(घर) बिक्री होगी * कीमत = अनुमानित नतीजा
  • कई समस्याओं के लिए आउटपुट के रूप में संभावना का अनुमान लगाना ज़रूरी है
  • लॉजिस्टिक रिग्रेशन डालें
  • आसान, क्योंकि संभावना के अनुमान कैलिब्रेट किए गए हैं
    • उदाहरण के लिए, p(घर) बिक्री होगी * कीमत = अनुमानित नतीजा
  • बाइनरी क्लासिफ़िकेशन की ज़रूरत पड़ने पर भी काम करता है
    • स्पैम है या नहीं? → p(स्पैम)

$$ y' = \frac{1}{1 + e^{-(w^Tx+b)}} $$

\(\text{Where:} \) \(x\text{: Provides the familiar linear model}\) \(1+e^{-(...)}\text{: Squish through a sigmoid}\)

लॉजिस्टिक रिग्रेशन इक्वेशन का ग्राफ़

$$ LogLoss = \sum_{(x,y)\in D} -y\,log(y') - (1 - y)\,log(1 - y') $$

लॉग में कमी बनाम अनुमानित वैल्यू के दो ग्राफ़: एक टारगेट वैल्यू 0.0 (जो ऊपर की ओर और दाईं ओर होता है) और एक टारगेट वैल्यू 1.0 (जो नीचे की ओर और बाईं ओर होती है) के लिए है
  • लॉजिस्टिक रिग्रेशन के लिए, इन नियमों का पालन करना बहुत ज़रूरी है.
    • लक्षण देख सकते हैं
    • यह ज़्यादा डाइमेंशन में, 0 बढ़ाने की कोशिश करता रहेगा
  • लॉजिस्टिक रिग्रेशन के लिए, इन नियमों का पालन करना बहुत ज़रूरी है.
    • लक्षण देख सकते हैं
    • यह ज़्यादा डाइमेंशन में, 0 बढ़ाने की कोशिश करता रहेगा
  • दो रणनीतियां खास तौर पर काम की हैं:
    • L2 रेगुलराइज़ेशन (यानी L2 वेट डिकेश) - बड़े वज़न का हिसाब लगाता है.
    • जल्द बंद होना - ट्रेनिंग के चरणों या सीखने की दर को सीमित करना.
  • लीनियर लॉजिस्टिक रिग्रेशन बहुत असरदार है.
    • बहुत तेज़ी से ट्रेनिंग और अनुमान लगाने का समय.
    • छोटे / वाइड मॉडल बहुत ज़्यादा रैम का इस्तेमाल करते हैं.