رگرسیون لجستیک: محاسبه یک احتمال

زمان تخمینی: 10 دقیقه

بسیاری از مسائل نیاز به برآورد احتمال به عنوان خروجی دارند. رگرسیون لجستیک یک مکانیسم بسیار کارآمد برای محاسبه احتمالات است. از نظر عملی، می توانید از احتمال بازگشتی به یکی از دو روش زیر استفاده کنید:

• "همانطور که هست"
• به یک دسته باینری تبدیل شد.

بیایید در نظر بگیریم که چگونه ممکن است از احتمال "همانطور که هست" استفاده کنیم. فرض کنید یک مدل رگرسیون لجستیک برای پیش‌بینی احتمال پارس کردن سگ در نیمه‌شب ایجاد می‌کنیم. ما آن را احتمال می نامیم:

\[p(bark | night)\]

اگر مدل رگرسیون لجستیک \(p(bark | night) = 0.05\)را پیش‌بینی کند، پس از یک سال، صاحبان سگ باید تقریباً 18 بار از خواب بیدار شوند:

\[\begin{align} startled &= p(bark | night) \cdot nights \\ &= 0.05 \cdot 365 \\ &~= 18 \end{align} \]

در بسیاری از موارد، خروجی رگرسیون لجستیک را در راه حل مسئله طبقه بندی باینری ترسیم می کنید، که در آن هدف، پیش بینی صحیح یکی از دو برچسب ممکن است (به عنوان مثال، "هرزنامه" یا "نه هرزنامه"). ماژول بعدی روی آن تمرکز دارد.

ممکن است تعجب کنید که چگونه یک مدل رگرسیون لجستیک می‌تواند خروجی را تضمین کند که همیشه بین 0 و 1 قرار می‌گیرد. همانطور که اتفاق می‌افتد، یک تابع سیگموئید ، که به صورت زیر تعریف می‌شود، خروجی با همان ویژگی‌ها را تولید می‌کند:

$$y = \frac{1}{1 + e^{-z}}$$

تابع سیگموئید نمودار زیر را به دست می دهد:

شکل 1: تابع سیگموئید.

اگر \(z\) خروجی لایه خطی یک مدل آموزش دیده با رگرسیون لجستیک را نشان دهد، آنگاه \(sigmoid(z)\) مقداری (احتمال) بین 0 و 1 را به دست می دهد.

$$y' = \frac{1}{1 + e^{-z}}$$

جایی که:

• \(y'\) خروجی مدل رگرسیون لجستیک برای یک مثال خاص است.
• \(z = b + w_1x_1 + w_2x_2 + \ldots + w_Nx_N\)
  • مقادیر \(w\) وزن های آموخته شده مدل هستند و \(b\) سوگیری است.
  • مقادیر \(x\) مقادیر ویژگی برای یک مثال خاص هستند.

توجه داشته باشید که \(z\) همچنین به عنوان log-odds نامیده می شود زیرا معکوس سیگموئید بیان می کند که \(z\) را می توان به عنوان گزارش احتمال برچسب \(1\) (به عنوان مثال، "پارس سگ") تقسیم بر احتمال برچسب \(0\)(به عنوان مثال، "سگ پارس نمی کند"):

$$ z = \log\left(\frac{y}{1-y}\right) $$

در اینجا تابع سیگموئید با برچسب های ML است:

شکل 2: خروجی رگرسیون لجستیک.

برای مشاهده نمونه محاسبه استنتاج رگرسیون لجستیک، روی نماد مثبت کلیک کنید.

فرض کنید ما یک مدل رگرسیون لجستیک با سه ویژگی داشتیم که سوگیری ها و وزن های زیر را یاد گرفت:

$$\begin{align} b &= 1 \\ w_1 &= 2 \\ w_2 &= -1 \\ w_3 &= 5 \end{align} $$

علاوه بر این، مقادیر ویژگی زیر را برای مثال داده شده فرض کنید:

$$\begin{align} x_1 &= 0 \\ x_2 &= 10 \\ x_3 &= 2 \end{align} $$

بنابراین، شانس ورود:

$$b + w_1x_1 + w_2x_2 + w_3x_3$$

خواهد بود:

$$(1) + (2)(0) + (-1)(10) + (5)(2) = 1$$

در نتیجه، پیش‌بینی رگرسیون لجستیک برای این مثال خاص 0.731 خواهد بود:

$$y' = \frac{1}{1 + e^{-1}} = 0.731$$

شکل 3: احتمال 73.1 درصد.

شرایط کلیدی

طبقه بندی باینری	رگرسیون لجستیک
تابع سیگموئید