Sebelum memulai modul ini, pertimbangkan apakah ada masalah dalam menggunakan proses pelatihan yang dijelaskan dalam Set Pelatihan dan Pengujian.
Pelajari opsi di bawah ini.
Kita melihat proses penggunaan set pengujian dan pelatihan
untuk mendorong iterasi pengembangan model. Pada setiap iterasi, kita akan
melatih data pelatihan dan mengevaluasi data pengujian, menggunakan
hasil evaluasi pada data pengujian untuk memandu pilihan dan perubahan ke berbagai
hyperparameter model seperti kecepatan pembelajaran dan fitur. Apakah ada yang salah dengan pendekatan ini? (Pilih satu jawaban saja.)
Tidak masalah. Kita melatih data pelatihan dan mengevaluasi
data pengujian dilakukan secara terpisah.
Sebenarnya, ada sedikit masalah di sini. Pikirkan tentang kemungkinan yang akan terjadi
jika kita melakukan banyak iterasi dari bentuk ini.
Melakukan banyak putaran prosedur ini dapat menyebabkan kita secara implisit menyesuaikan
dengan keunikan set pengujian tertentu.
Ya, tentu saja. Makin sering kita mengevaluasi set pengujian tertentu, makin
berisiko pula kita secara implisit overfit ke satu set pengujian tersebut.
Kita akan membahas protokol
yang lebih baik selanjutnya.
Hal ini secara komputasi tidak efisien. Kita hanya harus memilih satu set default
hyperparameter dan menggunakannya untuk menyimpan resource.
Meskipun iterasi semacam ini mahal, iterasi tersebut adalah bagian penting dari pengembangan model. Setelan hyperparameter dapat membuat perbedaan besar dalam
kualitas model, dan kita harus selalu menganggarkan sejumlah waktu dan resource
komputasi untuk memastikan bahwa kita mendapatkan kualitas terbaik.