Hồi quy logic

Thay vì dự đoán chính xác 0 hoặc 1, sự hồi quy logistic sẽ tạo ra một xác suất — một giá trị giữa 0 và 1, độc quyền. Ví dụ: hãy xem xét một mô hình hồi quy hậu cần để phát hiện nội dung rác. Nếu mô hình dự đoán một giá trị 0,932 trên một email cụ thể, thì xác suất email đó là 93,2%. Nói chính xác hơn, điều đó có nghĩa là trong giới hạn các ví dụ về đào tạo vô hạn, tập hợp các ví dụ mà mô hình dự đoán 0,932 thực sự sẽ là spam 93,2% thời gian và 6,8% còn lại thì không.

Hồi quy logic

  • Hãy tưởng tượng bài toán dự đoán xác suất Đầu của tiền xu cong
  • Bạn có thể sử dụng các tính năng như góc uốn cong, khối lượng tiền xu, v.v.
  • Mô hình đơn giản nhất mà bạn có thể sử dụng là gì?
  • Có điều gì là không đúng?
2 xu bị uốn cong
  • Nhiều vấn đề yêu cầu ước tính xác suất dưới dạng đầu ra
  • Nhập hồi quy hồi quy
  • Nhiều vấn đề yêu cầu ước tính xác suất dưới dạng đầu ra
  • Nhập hồi quy hồi quy
  • hữu ích vì các ước tính xác suất được điều chỉnh
    • ví dụ: p(nhà sẽ bán) * giá = kết quả dự kiến
  • Nhiều vấn đề yêu cầu ước tính xác suất dưới dạng đầu ra
  • Nhập hồi quy hồi quy
  • hữu ích vì các ước tính xác suất được điều chỉnh
    • ví dụ: p(nhà sẽ bán) * giá = kết quả dự kiến
  • Cũng hữu ích khi chúng tôi cần phân loại nhị phân
    • spam hay không phải spam? → p(Nội dung vi phạm)

$$ y' = \frac{1}{1 + e^{-(w^Tx+b)}} $$

\(\text{Where:} \) \(x\text{: Provides the familiar linear model}\) \(1+e^{-(...)}\text{: Squish through a sigmoid}\)

Biểu đồ phương trình hồi quy logistic

$$ LogLoss = \sum_{(x,y)\in D} -y\,log(y') - (1 - y)\,log(1 - y') $$

Hai biểu đồ Tỷ lệ mất nhật ký so với giá trị dự đoán: một biểu đồ cho giá trị mục tiêu 0,0 (cung lên và sang phải) và một cho giá trị mục tiêu là 1,0 (cung xuống và bên trái)
  • Chuẩn bị là điều cực kỳ quan trọng đối với sự hồi quy hậu cần.
    • Nhớ các dấu hiệu
    • Nó & 39; sẽ tiếp tục cố gắng giảm tổn thất về 0 ở các phương diện cao
  • Chuẩn bị là điều cực kỳ quan trọng đối với sự hồi quy hậu cần.
    • Nhớ các dấu hiệu
    • Nó & 39; sẽ tiếp tục cố gắng giảm tổn thất về 0 ở các phương diện cao
  • Hai chiến lược đặc biệt hữu ích:
    • L2 thông thường (còn gọi là giảm dựa trên trọng lượng L2) – phạt hình thức trọng lượng lớn.
    • Dừng sớm – giới hạn các bước đào tạo hoặc tốc độ học tập.
  • Hồi quy logistic tuyến tính cực kỳ hiệu quả.
    • Thời gian đào tạo và dự đoán rất nhanh.
    • Các mô hình ngắn / rộng sử dụng nhiều RAM.