लॉजिस्टिक रिग्रेशन: सिगमॉइड फ़ंक्शन की मदद से प्रॉबबिलिटी का हिसाब लगाना

कई समस्याओं के लिए, आउटपुट के तौर पर संभावना का अनुमान लगाना ज़रूरी होता है. लॉजिस्टिक रिग्रेशन, संभावनाओं का हिसाब लगाने का एक बहुत ही कारगर तरीका है. असल में, लौटाए जाने की संभावना का इस्तेमाल इन दो तरीकों से किया जा सकता है:

• "जैसा है वैसा ही" लागू किया गया है. उदाहरण के लिए, अगर स्पैम का अनुमान लगाने वाला कोई मॉडल किसी ईमेल को इनपुट के तौर पर लेता है और 0.932 वैल्यू आउटपुट करता है, तो इसका मतलब है कि ईमेल के स्पैम होने की संभावना 93.2% है.

• बाइनरी कैटगरी में बदला गया हो. जैसे, True या False, Spam या Not Spam.

इस मॉड्यूल में, लॉजिस्टिक रिग्रेशन मॉडल के आउटपुट का इस्तेमाल करने पर फ़ोकस किया गया है. क्लासिफ़िकेशन मॉड्यूल में, आपको इस आउटपुट को बाइनरी कैटगरी में बदलने का तरीका बताया जाएगा.

सिगमॉइड फ़ंक्शन

आपके मन में यह सवाल उठ सकता है कि लॉजिस्टिक रिग्रेशन मॉडल, यह कैसे पक्का करता है कि उसका आउटपुट, संभावना को दिखाता है. साथ ही, वह हमेशा 0 और 1 के बीच की वैल्यू को आउटपुट करता है. ऐसा ही काम करने वाले फ़ंक्शन के ग्रुप को लघुगणकीय फ़ंक्शन कहा जाता है. इसका आउटपुट भी इसी तरह का होता है. स्टैंडर्ड लॉजिस्टिक फ़ंक्शन को सिग्मॉइड फ़ंक्शन भी कहा जाता है. sigmoid का मतलब "एस-आकार" होता है. इसका फ़ॉर्मूला यह है:

\[f(x) = \frac{1}{1 + e^{-x}}\]

कहां:

• f(x), सिगमॉइड फ़ंक्शन का आउटपुट है.
• e, यूलर नंबर है: यह गणित का एक कॉन्स्टेंट है, जिसकी वैल्यू ≈ 2.71828 होती है.
• x, सिगमॉइड फ़ंक्शन का इनपुट है.

पहली इमेज में, सिगमॉइड फ़ंक्शन का ग्राफ़ दिखाया गया है.

इमेज 1. सिगमॉइड फ़ंक्शन का ग्राफ़. x की वैल्यू नेगेटिव इनफ़िनिटी की ओर कम होने पर, कर्व 0 के करीब पहुंच जाता है. वहीं, x की वैल्यू इनफ़िनिटी की ओर बढ़ने पर, कर्व 1 के करीब पहुंच जाता है.

x इनपुट बढ़ने पर, सिगमॉइड फ़ंक्शन का आउटपुट 1 के करीब पहुंच जाता है, लेकिन कभी भी 1 तक नहीं पहुंचता. इसी तरह, इनपुट कम होने पर, सिग्मॉइड फ़ंक्शन का आउटपुट 0 के करीब पहुंच जाता है, लेकिन कभी भी 0 नहीं होता.

सिग्मॉइड फ़ंक्शन के पीछे की गणित के बारे में ज़्यादा जानने के लिए, यहां क्लिक करें

नीचे दी गई टेबल में, –7 से 7 की रेंज में मौजूद इनपुट वैल्यू के लिए, सिग्मॉइड फ़ंक्शन की आउटपुट वैल्यू दिखाई गई हैं. ध्यान दें कि नेगेटिव इनपुट वैल्यू कम होने पर, सिग्मॉइड कितनी तेज़ी से 0 के करीब पहुंचता है. साथ ही, पॉज़िटिव इनपुट वैल्यू बढ़ने पर, सिग्मॉइड कितनी तेज़ी से 1 के करीब पहुंचता है.

हालांकि, इनपुट वैल्यू कितनी भी बड़ी या छोटी हो, आउटपुट हमेशा 0 से ज़्यादा और 1 से कम होगा.

इनपुट	सिगमॉइड आउटपुट
-7	0.001
-6	0.002
-5	0.007
-4	0.018
-3	0.047
-2	0.119
-1	0.269
0	0.50
1	0.731
2	0.881
3	0.952
4	0.982
5	0.993
6	0.997
7	0.999

सिगमॉइड फ़ंक्शन का इस्तेमाल करके लीनियर आउटपुट को बदलना

यहां दिए गए समीकरण में, लॉजिस्टिक रिग्रेशन मॉडल के लीनियर कॉम्पोनेंट को दिखाया गया है:

\[z = b + w_1x_1 + w_2x_2 + \ldots + w_Nx_N\]

कहां:

• z, लीनियर इक्वेशन का आउटपुट है. इसे लॉग ऑड्स भी कहा जाता है.
• b, भेदभाव है.
• w वैल्यू, मॉडल के सीखे गए वेट होती हैं.
• x वैल्यू, किसी उदाहरण के लिए सुविधा की वैल्यू होती हैं.

लॉजिस्टिक रिग्रेशन का अनुमान पाने के लिए, z वैल्यू को सिग्मॉइड फ़ंक्शन में पास किया जाता है. इससे 0 और 1 के बीच की वैल्यू (संभाव्यता) मिलती है:

\[y' = \frac{1}{1 + e^{-z}}\]

कहां:

• y', लॉजिस्टिक रिग्रेशन मॉडल का आउटपुट है.
• e, यूलर नंबर है: यह गणित का एक कॉन्स्टेंट है, जिसकी वैल्यू ≈ 2.71828 होती है.
• z, लीनियर आउटपुट है. इसे ऊपर दिए गए समीकरण के हिसाब से कैलकुलेट किया जाता है.

लॉग-ऑड के बारे में ज़्यादा जानने के लिए, यहां क्लिक करें

समीकरण $z = b + w_1x_1 + w_2x_2 + \ldots + w_Nx_N$ में, z को लॉग-ऑड्स कहा जाता है. ऐसा इसलिए, क्योंकि अगर आप यहां दिए गए सिग्मॉइड फ़ंक्शन से शुरू करते हैं (जहां $y$ लॉजिस्टिक रिग्रेशन मॉडल का आउटपुट है, जो संभावना को दिखाता है):

$$y = \frac{1}{1 + e^{-z}}$$

इसके बाद, z के लिए हल करें:

$$ z = \log\left(\frac{y}{1-y}\right) $$

इसके बाद, z को दो संभावित नतीजों y और 1 – y की संभावनाओं के अनुपात के लॉग के तौर पर तय किया जाता है.

दूसरी इमेज में दिखाया गया है कि इन कैलकुलेशन का इस्तेमाल करके, लीनियर आउटपुट को लॉजिस्टिक रिग्रेशन आउटपुट में कैसे बदला जाता है.

इमेज 2. बाईं ओर: रेखीय फ़ंक्शन z = 2x + 5 का ग्राफ़. इसमें तीन बिंदुओं को हाइलाइट किया गया है. दाईं ओर: सिगमॉइड फ़ंक्शन का इस्तेमाल करने के बाद, हाइलाइट किए गए तीन पॉइंट के साथ सिगमॉइड कर्व.

दूसरे डायग्राम में, एक लीनियर इक्वेशन को सिग्मॉइड फ़ंक्शन के इनपुट के तौर पर इस्तेमाल किया गया है. यह फ़ंक्शन, सीधी लाइन को S के आकार में बदल देता है. ध्यान दें कि लीनियर इक्वेशन, z की बहुत बड़ी या बहुत छोटी वैल्यू दे सकता है. हालांकि, सिग्मॉइड फ़ंक्शन का आउटपुट, y', हमेशा 0 और 1 के बीच होता है. उदाहरण के लिए, बाईं ओर मौजूद ग्राफ़ में पीले रंग के स्क्वेयर की z वैल्यू –10 है. हालांकि, दाईं ओर मौजूद ग्राफ़ में सिग्मॉइड फ़ंक्शन, उस –10 को y' वैल्यू 0.00004 में मैप करता है.

एक्सरसाइज़: देखें कि आपको कितना समझ आया

तीन सुविधाओं वाले लॉजिस्टिक रिग्रेशन मॉडल में यह पूर्वाग्रह और वज़न है:

\[\begin{align} b &= 1 \\ w_1 &= 2 \\ w_2 &= -1 \\ w_3 &= 5 \end{align} \]

यहां दी गई इनपुट वैल्यू के लिए:

\[\begin{align} x_1 &= 0 \\ x_2 &= 10 \\ x_3 &= 2 \end{align} \]

यहां दिए गए दो सवालों के जवाब दें.

1. इनपुट वैल्यू के लिए, z की वैल्यू क्या है?

–1

0

0.731

1

सही! वज़न और बायस से तय किया गया लीनियर समीकरण यह है: z = 1 + 2x₁ – x₂ + 5 x₃. इनपुट वैल्यू को समीकरण में डालने पर, z = 1 + (2)(0) - (10) + (5)(2) = 1 मिलता है

2. इन इनपुट वैल्यू के लिए, लॉजिस्टिक रिग्रेशन का अनुमान क्या है?

0.268

0.5

0.731

ऊपर #1 में कैलकुलेट किए गए इनपुट वैल्यू के लिए, लॉग-ऑड 1 है. z की इस वैल्यू को सिग्मॉइड फ़ंक्शन में प्लग करने पर:

\(y = \frac{1}{1 + e^{-z}} = \frac{1}{1 + e^{-1}} = \frac{1}{1 + 0.367} = \frac{1}{1.367} = 0.731\)

1

याद रखें कि सिग्मॉइड फ़ंक्शन का आउटपुट हमेशा 0 से ज़्यादा और 1 से कम होता है.

मुख्य बातें:

• बाइनरी क्लासिफ़िकेशन
• लॉग ऑड्स
• लॉजिस्टिक रिग्रेशन
• सिगमॉइड फ़ंक्शन