อัตราการเรียนรู้

ภาคผนวกนี้มีรายละเอียดเพิ่มเติมเกี่ยวกับอัตราการเรียนรู้

กําหนดเวลาลดลงของอัตราการเรียนรู้

กลุ่มการเรียนรู้แบบลดลงอย่างรวดเร็วของอัตราการเรียนรู้ที่ดีที่สุดเป็นปัญหาที่เปิดกว้าง ไม่ชัดเจนนักเกี่ยวกับวิธีการสร้างชุดการทดสอบที่เคร่งครัดเพื่อตอบคําถามนี้อย่างมั่นใจ แม้เราไม่รู้จักครอบครัวในกําหนดการที่ดีที่สุด แต่เราก็มั่นใจ เกี่ยวกับสิ่งต่างๆ ต่อไปนี้

• สิ่งสําคัญคือคุณต้องกําหนดเวลา (ไม่คงที่)
• การปรับแต่งกําหนดเวลานั้นเป็นสิ่งสําคัญ

อัตราการเรียนรู้ที่แตกต่างกันจะทํางานได้ดีที่สุดในช่วงเวลาต่างๆ ระหว่างการเพิ่มประสิทธิภาพ การมีตารางเวลาแบบนี้ก็ทําให้โมเดล มีโอกาสเรียนรู้ที่ดีได้

การลดลงของอัตราการเรียนรู้เริ่มต้นที่ดีที่สุด

เราขอแนะนําให้กลุ่มอัตราการเรียนรู้อย่างใดอย่างหนึ่งเป็นค่าเริ่มต้นโดยค่าเริ่มต้น

• การลดลงตามเวลาแบบเชิงเส้น
• โคไซน์เสื่อมสภาพ

ครอบครัวกําหนดการอื่นๆ จํานวนมากก็ทําได้ดีเช่นกัน

ทําไมเอกสารบางฉบับจึงมีกําหนดเวลาของอัตราการเรียนรู้ที่ซับซ้อน

เอกสารทางวิชาการจํานวนมากใช้กําหนดเวลาการเรียนรู้ที่ซับซ้อน (LR) ลดลง ผู้อ่านมักจะสงสัยว่านักเขียนมาถึงได้อย่างไร โดยกําหนดเวลาที่ซับซ้อนเช่นนี้ การกําหนดเวลาแบบ LR แบบซับซ้อนจํานวนมากเกิดจากการปรับเปลี่ยนกําหนดการเป็นฟังก์ชันของชุดการตรวจสอบความถูกต้องเฉพาะกิจ โดยการ

1. เริ่มการฝึกเพียงครั้งเดียวด้วยการผ่อนปรน LR ง่ายๆ (หรือมีอัตราการเรียนรู้คงที่)
2. ฝึกไปเรื่อยๆ จนกว่าประสิทธิภาพจะคงที่ ในกรณีนี้ ให้หยุดการฝึกชั่วคราว จากนั้น ให้กลับมาทํางานอีกครั้งด้วยกําหนดเวลาการลดลงเล็กน้อยของ LR (หรืออัตราการเรียนรู้คงที่ที่น้อยกว่า) จากจุดนี้ ทําขั้นตอนนี้ซ้ํา (จนกว่าจะถึงกําหนดเวลาประชุมหรือการเปิดตัว)

โดยทั่วไปการคัดลอกกําหนดการที่ออกมามักไม่ใช่แนวคิดที่ดีเนื่องจากกําหนดเวลาที่เฉพาะเจาะจงนั้นละเอียดอ่อนกับโฮสต์ของตัวเลือกไฮเปอร์พารามิเตอร์อื่นๆ เราขอแนะนําให้คัดลอกอัลกอริทึมที่สร้างกําหนดเวลา ซึ่งอาจทําได้ยากหากการตัดสินจากคนทั่วไปทําให้กําหนดการเกิดขึ้น กําหนดการที่คํานึงถึงความถูกต้องและการตรวจสอบความถูกต้องนี้เหมาะสําหรับคุณนํามาใช้ได้หากเป็นการทํางานอัตโนมัติเต็มรูปแบบ แต่การกําหนดเวลาในทรัพยากรที่เป็นฟังก์ชันของข้อผิดพลาดในการตรวจสอบความถูกต้องนั้นเกิดขึ้นได้ยากและไม่ทําซ้ําได้ ดังนั้นเราขอแนะนําให้หลีกเลี่ยง ก่อนที่จะเผยแพร่ผลลัพธ์ที่ใช้กําหนดการดังกล่าว โปรดพยายามทําให้เกิดซ้ําได้อย่างเต็มรูปแบบ

ควรปรับไฮเปอร์พารามิเตอร์ของอดัมอย่างไร

ไฮเปอร์พารามิเตอร์ใน Adam บางส่วนก็ไม่เท่ากัน หลักการทั่วไปต่อไปนี้คือ "งบประมาณ" ที่แตกต่างกันสําหรับจํานวนการทดลองในการศึกษาหนึ่งๆ

• หากการทดลองน้อยกว่า 10 ครั้ง ให้ศึกษาเฉพาะอัตราการเรียนรู้ (พื้นฐาน)
• หากมีการทดลอง 10-25 ครั้งในการศึกษา ให้ระบุอัตราการเรียนรู้และ beta_1
• หากเป็นการทดลอง 25 ครั้งขึ้นไป ให้ปรับอัตราการเรียนรู้, beta_1 และ epsilon
• หากมีการทดลองเกิน 25 ครั้ง ให้ปรับแต่งเพิ่มเติม beta_2

เนื่องจากความยากง่ายในการให้กฎทั่วไปเกี่ยวกับพื้นที่ทํางานและ จํานวนคะแนนที่คุณควรดูตัวอย่างจากพื้นที่การค้นหา โปรดดูกฎสําคัญที่ระบุไว้ในส่วนนี้ว่าเป็นหลักเกณฑ์คร่าวๆ"