Mengurangi Kerugian: Mengoptimalkan Kecepatan Pembelajaran

Perkiraan Waktu: 15 menit

Latihan 1

Tetapkan kecepatan pembelajaran 0,03 pada penggeser. Terus tekan tombol LANGKAH sampai algoritme penurunan gradien mencapai titik minimum kurva kerugian. Berapa langkah yang dibutuhkan?

Solusi

Penurunan gradien mencapai minimum kurva dalam 40 langkah.

Latihan 2

Dapatkah Anda mencapai minimum lebih cepat dengan kecepatan pembelajaran yang lebih tinggi? Setel kecepatan pembelajaran 0,1, dan terus tekan LANGKAH sampai penurunan gradien mencapai minimum. Berapa langkah yang dibutuhkan saat ini?

Solusi

Penurunan gradien mencapai minimum kurva dalam 11 langkah.

Latihan 3

Bagaimana dengan kecepatan pembelajaran yang jauh lebih tinggi. Reset grafik, setel kecepatan pembelajaran 1, dan coba capai minimum kurva kerugian. Apa yang terjadi kali ini?

Solusi

Penurunan gradien tidak pernah mencapai minimum. Akibatnya, ukuran langkah-langkah bertambah secara bertahap. Setiap langkah melompat bolak-balik melintasi mangkuk, memanjat kurva, bukan menurun ke bawah.

Tantangan Opsional

Dapatkah Anda menemukan kecepatan pembelajaran Goldilocks untuk kurva ini, tempat penurunan gradien mencapai titik minimum dalam jumlah langkah paling sedikit? Berapa jumlah langkah paling sedikit yang diperlukan untuk mencapai minimum?

Solusi

Kecepatan pembelajaran Goldilocks untuk data ini berada di antara 0,2 dan 0,3, yang akan mencapai minimum dalam tiga atau empat langkah.

CATATAN: Dalam praktiknya, menemukan kecepatan pembelajaran yang "sempurna" (atau hampir sempurna) bukanlah hal yang penting untuk pelatihan model yang sukses. Tujuannya adalah untuk menemukan kecepatan pembelajaran yang cukup besar sehingga penurunan gradien menyatu secara efisien, tetapi tidak terlalu besar sehingga tidak pernah menyatu.