การถดถอยแบบโลจิสติก: การสูญเสียและการทำให้เป็นมาตรฐาน

การถดถอยแบบโลจิสติกส์ โมเดลจะได้รับการฝึกด้วยกระบวนการเดียวกับ การถดถอยเชิงเส้น ซึ่งมีความแตกต่างสำคัญ 2 ประการ ได้แก่

• โมเดลการถดถอยแบบโลจิสติกส์ใช้ Log Loss เป็นฟังก์ชันการสูญหาย แทน [สูญเสียกำลังสอง]"
• การใช้การทำให้เป็นรูปแบบประจำ เป็นสิ่งสำคัญในการป้องกัน มากเกินไป

ส่วนต่อไปนี้จะกล่าวถึงข้อควรพิจารณาทั้ง 2 ข้อในเชิงลึกยิ่งขึ้น

การสูญหายของบันทึก

ในโมดูลการถดถอยเชิงเส้น คุณใช้การขาดทุนกำลังสอง (หรือที่เรียกว่า L₂ ) เป็น ฟังก์ชันหายไป การสูญเสียในสี่เหลี่ยมทำงานได้ดีกับเส้นตรง รูปแบบที่อัตราการเปลี่ยนแปลงของค่าเอาต์พุตคงที่ ตัวอย่างเช่น สำหรับโมเดลเชิงเส้น $y' = b + 3x_1$ ทุกครั้งที่คุณเพิ่มอินพุต ค่า $x_1$ คูณ 1 ค่าเอาต์พุต $y'$ จะเพิ่มขึ้น 3

แต่อัตราการเปลี่ยนแปลงของโมเดลการถดถอยแบบโลจิสติกส์ไม่คงที่ ดังที่แสดงในการคำนวณความน่าจะเป็น ค่า เส้นโค้ง sigmoid เป็นรูปตัว S แทนที่จะเป็นแบบเชิงเส้น เมื่อค่าอัตราต่อรอง ($z$) เข้าใกล้ 0 จะน้อย การเพิ่มขึ้นใน $z$ จะส่งผลให้เกิดการเปลี่ยนแปลงเป็น $y$ มากกว่าในขณะที่ $z$ มีขนาดใหญ่มาก จำนวนบวกหรือลบ ตารางต่อไปนี้แสดงฟังก์ชัน sigmoid สำหรับค่าอินพุตตั้งแต่ 5 ถึง 10 รวมทั้งความแม่นยำที่เกี่ยวข้อง เพื่อให้เห็นความแตกต่างในผลลัพธ์

อินพุต	เอาต์พุตแบบโลจิสติกส์	จำนวนหลักของความแม่นยำที่กำหนด
5	0.993	3
6	0.997	3
7	0.999	3
8	0.9997	4
9	0.9,999	4
10	0.99998	5

ถ้าคุณใช้การขาดทุนยกกำลังสองเพื่อคำนวณข้อผิดพลาดสำหรับฟังก์ชัน sigmoid เช่น เอาต์พุตของคุณเข้าใกล้ 0 และ 1 มากขึ้นแล้ว คุณจะต้องมีหน่วยความจำมากขึ้นเพื่อ คงความแม่นยำที่ต้องใช้ในการติดตามค่าเหล่านี้ไว้

ฟังก์ชันการสูญเสียการถดถอยแบบโลจิสติกส์คือ การสูญหายของบันทึก สมการการสูญหายของบันทึกจะแสดงลอการิทึมของขนาดของการเปลี่ยนแปลง มากกว่าระยะทางระหว่างข้อมูลสู่การคาดการณ์ การสูญหายของบันทึกมีวิธีคำนวณดังนี้ ดังต่อไปนี้:

\(\text{Log Loss} = \sum_{(x,y)\in D} -y\log(y') - (1 - y)\log(1 - y')\)

โดยมี

• \((x,y)\in D\) คือชุดข้อมูลซึ่งมีตัวอย่างที่มีป้ายกำกับหลายรายการ \((x,y)\) คู่
• \(y\) คือป้ายกำกับในตัวอย่างที่ติดป้ายกำกับ เนื่องจากนี่เป็นการถดถอยแบบโลจิสติกส์ ทุกค่าของ \(y\) ต้องเป็น 0 หรือ 1
• \(y'\) คือการคาดการณ์ของโมเดลของคุณ (อยู่ระหว่าง 0 ถึง 1) เมื่อพิจารณาจากชุด ใน \(x\)

การกำหนดกฎเกณฑ์ในการถดถอยแบบโลจิสติก

การทำให้เป็นมาตรฐาน ซึ่งเป็นกลไกสำหรับ การลดความซับซ้อนของโมเดลในระหว่างการฝึกเป็นสิ่งที่สำคัญอย่างยิ่งในด้านโลจิสติกส์ การสร้างแบบจำลองการถดถอย หากไม่ได้กำหนดมาตรฐานไว้ โลจิสติกส์ที่มีลักษณะไม่ก่อให้เกิดอาการ การถดถอยจะทำให้สูญเสียค่าเป็น 0 ในกรณีที่โมเดลมีค่า ฟีเจอร์จำนวนมาก ดังนั้น โมเดลการถดถอยแบบโลจิสติกส์ส่วนใหญ่จะใช้ ในการลดความซับซ้อนของโมเดล 2 ข้อดังต่อไปนี้

• นิพจน์ทั่วไป L₂
• การหยุดก่อนกำหนด: การจำกัดจำนวนขั้นตอนการฝึกเพื่อหยุดการฝึกในขณะที่สูญหาย ก็ยังคงลดลง

หมายเหตุ: คุณจะได้เรียนรู้เพิ่มเติมเกี่ยวกับ นิพจน์ทั่วไปใน ชุดข้อมูล การรวมทั่วไป และการปรับมากเกินไป ของหลักสูตร

คำสำคัญ:

• การไล่ระดับสี
• การถดถอยเชิงเส้น
• การสูญหายของบันทึก
• การถดถอยแบบโลจิสติก
• สูญเสียฟังก์ชัน
• การปรับตัวให้เหมาะสม
• การกำหนดเป็นประจำ
• การสูญเสียแบบแบ่งเป็นสองส่วน