ส่วนนี้อธิบายกรณีที่ล้มเหลวของการเผยแพร่แบบย้อนกลับและวิธีที่พบมากที่สุดในการทำให้โครงข่ายประสาทเป็นปกติ
เคสความล้มเหลว
การแพร่พันธุ์ย้อนกลับที่ผิดพลาดมีอยู่หลายวิธี
การไล่ระดับสีที่จางหายไป
การไล่ระดับสีสำหรับเลเยอร์ด้านล่าง (ใกล้กับอินพุต) อาจจะกลายเป็น ขนาดเล็กมาก ในเครือข่ายระดับลึก การประมวลผลการไล่ระดับสีเหล่านี้อาจเกี่ยวข้องกับการนำคำศัพท์เล็กๆ จำนวนมากมาใช้
เมื่อการไล่ระดับสีหายไปเป็น 0 สำหรับเลเยอร์ด้านล่าง เลเยอร์เหล่านี้จะฝึกอย่างช้าๆ หรือไม่เลย
ฟังก์ชันการเปิดใช้งาน ReLU สามารถช่วยป้องกันการไล่ระดับสีที่หายไปได้
การไล่ระดับสีแบบระเบิด
หากน้ำหนักในเครือข่ายมีขนาดใหญ่มาก การไล่ระดับสีสำหรับเลเยอร์ด้านล่างจะเกี่ยวข้องกับผลิตภัณฑ์ที่มีข้อความขนาดใหญ่จำนวนมาก ในกรณีนี้ คุณอาจใช้การไล่ระดับสีแบบกระจาย ซึ่งเป็นการไล่ระดับสีที่มีขนาดใหญ่เกินกว่าที่จะมาบรรจบกัน
การทำให้เป็นมาตรฐานแบบกลุ่มสามารถช่วยป้องกันการไล่ระดับสีแบบระเบิดได้ เนื่องจากอาจทำให้อัตราการเรียนรู้ลดลงได้
หน่วย ReLU ที่เสีย
เมื่อผลรวมถ่วงน้ำหนักของหน่วย ReLU ต่ำกว่า 0 หน่วย ReLU อาจติดค้าง เอาต์พุตของการเปิดใช้งานคือ 0 ทำให้ไม่มีสิ่งใดเกิดขึ้นกับเอาต์พุตของเครือข่าย และการไล่ระดับสีจะไม่สามารถไหลผ่านระหว่างกระบวนการพื้นหลังได้ เมื่อแหล่งที่มาของการไล่ระดับสีถูกตัดออก อินพุตไปยัง ReLU อาจไม่เปลี่ยนแปลงพอที่จะทำให้ผลรวมที่ถ่วงน้ำหนักมีค่ามากกว่า 0 ได้
การลดอัตราการเรียนรู้จะช่วยป้องกันไม่ให้หน่วย ReLU เสียชีวิต
การปรับให้ออกเป็นประจำ
การสร้างรูปแบบปกติอีกรูปแบบหนึ่งที่เรียกว่า Dropout มีประโยชน์สำหรับโครงข่ายประสาท ซึ่งจะทำงานโดยการ "ยกเลิก" การเปิดใช้งานหน่วยในเครือข่ายแบบสุ่ม สำหรับขั้นตอนการไล่ระดับสี 1 ขั้น ยิ่งออกมากเท่าไหร่ การกลับมามีความสม่ำเสมอก็ยิ่งแข็งแกร่งขึ้นเท่านั้น
- 0.0 = ไม่มีการปรับให้ออกตามปกติ
- 1.0 = ยกเลิกทุกอย่าง โมเดลจะไม่เรียนรู้อะไรเลย
- ค่าระหว่าง 0.0 ถึง 1.0 = มีประโยชน์มากกว่า