Hồi quy logistic được huấn luyện bằng cách sử dụng cùng một quy trình hồi quy tuyến tính mô hình, với hai điểm khác biệt chính:
- Mô hình hồi quy logit sử dụng Log Loss (Mất nhật ký) dưới dạng hàm mất thay vì tổn thất bình phương.
- Áp dụng quy tắc chính quy là rất quan trọng để ngăn chặn kết hợp quá mức.
Các phần sau đây sẽ thảo luận chi tiết hơn về hai yếu tố này.
Mất nhật ký
Trong mô-đun hồi quy tuyến tính, bạn dùng công thức tổn thất bình phương (còn được gọi là L2) chức năng mất. Tổn thất bình phương phù hợp với đường cong tuyến tính là mô hình có tốc độ thay đổi của các giá trị đầu ra không đổi. Ví dụ: với mô hình tuyến tính $y' = b + 3x_1$, mỗi khi bạn tăng giá trị đầu vào giá trị $x_1$ x 1 thì giá trị đầu ra $y'$ tăng thêm 3.
Tuy nhiên, tốc độ thay đổi của mô hình hồi quy logistic không cố định. Như bạn đã thấy trong Tính xác suất, phương thức Đường cong sigmoid có hình chữ s thay vì tuyến tính. Khi giá trị số lôgarit ($z$) gần bằng 0, giá trị nhỏ mức tăng $z$ dẫn đến thay đổi lớn hơn nhiều đối với $y$ so với khi $z$ là một giá trị lớn số dương hoặc số âm. Bảng sau đây trình bày đầu ra cho các giá trị đầu vào từ 5 đến 10, cũng như độ chính xác tương ứng cần thiết để nắm bắt sự khác biệt trong kết quả.
| input | đầu ra hậu cần | chữ số chính xác bắt buộc |
|---|---|---|
| 5 | 0,993 | 3 |
| 6 | 0,997 | 3 |
| 7 | 0,999 | 3 |
| 8 | 0,9997 | 4 |
| 9 | 0,9999 | 4 |
| 10 | 0,99998 | 5 |
Nếu bạn đã sử dụng tổn thất bình phương để tính sai số cho hàm sigmoid, vì
đầu ra ngày càng gần với 0 và 1, nên bạn sẽ cần thêm bộ nhớ để
duy trì độ chính xác cần thiết để theo dõi các giá trị này.
Thay vào đó, hàm mất cho hồi quy logistic là Mất nhật ký. Chiến lược phát hành đĩa đơn Phương trình tổn thất logarit trả về lôgarit của sự thay đổi, thay vì chứ không chỉ là khoảng cách từ dữ liệu đến dự đoán. Mất nhật ký được tính bằng sau:
\(\text{Log Loss} = \sum_{(x,y)\in D} -y\log(y') - (1 - y)\log(1 - y')\)
trong đó:
- \((x,y)\in D\) là tập dữ liệu chứa nhiều ví dụ được gắn nhãn, \((x,y)\) cặp.
- \(y\) là nhãn trong ví dụ được gắn nhãn. Vì đây là hồi quy logistic, mọi giá trị của \(y\) phải là 0 hoặc 1.
- \(y'\) là thông tin dự đoán cho mô hình của bạn (trong khoảng từ 0 đến 1), với tập hợp các tính năng trong \(x\).
Điều chỉnh đều đặn trong hồi quy logit
Chuẩn hoá, một cơ chế để phạt sự phức tạp của mô hình trong quá trình huấn luyện, là điều vô cùng quan trọng trong mô hình hồi quy. Nếu không có sự điều chỉnh, tính chất tiệm cận của logistic sẽ tiếp tục làm giảm mức tổn thất về 0 trong trường hợp mô hình có nhiều tính năng. Do đó, hầu hết các mô hình hồi quy logistic sử dụng trong hai chiến lược sau để giảm độ phức tạp của mô hình:
- Điều chỉnh 2
- Dừng sớm: Giới hạn số bước huấn luyện để tạm dừng huấn luyện khi người dùng ngừng tập luyện vẫn đang giảm.