Regresi Logistik

Alih-alih memprediksi persis 0 atau 1, regresi logistik menghasilkan probabilitas—nilai antara 0 dan 1, eksklusif. Misalnya, pertimbangkan model regresi logistik untuk deteksi spam. Jika model menyimpulkan nilai 0,932 pada pesan email tertentu, kemungkinan 93,2% bahwa pesan email adalah spam. Lebih tepatnya, hal tersebut berarti bahwa dalam batas contoh pelatihan yang tak terbatas, set contoh untuk model dengan prediksi 0,932 benar-benar akan menjadi spam sebesar 93,2% dan 6,8% sisanya tidak.

Regresi Logistik

  • Bayangkan masalah memprediksi prediksi Kepala untuk koin yang bengkok
  • Anda dapat menggunakan fitur seperti sudut bengkok, massa koin, dll.
  • Apa model paling sederhana yang bisa Anda gunakan?
  • Masalah apa yang bisa terjadi?
2 koin bengkok
  • Banyak masalah memerlukan estimasi probabilitas sebagai output
  • Masukkan Regresi Logistik
  • Banyak masalah memerlukan estimasi probabilitas sebagai output
  • Masukkan Regresi Logistik
  • Berguna karena estimasi probabilitas dikalibrasi
    • misalnya, p(rumah yang akan terjual) * harga = hasil yang diharapkan
  • Banyak masalah memerlukan estimasi probabilitas sebagai output
  • Masukkan Regresi Logistik
  • Berguna karena estimasi probabilitas dikalibrasi
    • misalnya, p(rumah yang akan terjual) * harga = hasil yang diharapkan
  • Juga berguna saat kita memerlukan klasifikasi biner
    • spam atau bukan spam? → p(Spam)

Regresi Logistik -- Prediksi

$$ y' = \frac{1}{1 + e^{-(w^Tx+b)}} $$

\(\text{Where:} \) \(x\text{: Provides the familiar linear model}\) \(1+e^{-(...)}\text{: Squish through a sigmoid}\)

Grafik persamaan regresi logistik

$$ LogLoss = \sum_{(x,y)\in D} -y\,log(y') - (1 - y)\,log(1 - y') $$

Dua grafik Kerugian Log vs. nilai prediksi: satu untuk nilai target 0,0 (yang melengkung ke atas dan ke kanan) dan satu untuk nilai target 1,0 (yang melengkung ke bawah dan ke kiri)
  • Regularisasi sangat penting untuk regresi logistik.
    • Ingat asimtot
    • Ini akan terus mencoba untuk mendorong kerugian ke 0 di dimensi tinggi
  • Regularisasi sangat penting untuk regresi logistik.
    • Ingat asimtot
    • Ini akan terus mencoba untuk mendorong kerugian ke 0 di dimensi tinggi
  • Dua strategi ini sangat berguna:
    • L2 regulerisasi (alias L2 peluruhan berat) - mengganjar bobot yang sangat besar.
    • Penghentian awal - membatasi langkah pelatihan atau kecepatan pembelajaran.
  • Regresi logistik linear sangat efisien.
    • Waktu pelatihan dan prediksi yang sangat cepat.
    • Model singkat / lebar menggunakan banyak RAM.
Sebelumnya
Periksa Pemahaman Anda
Berikutnya
Menghitung Probabilitas