Dokumen ini membantu Anda melatih model deep learning secara lebih efektif. Meskipun dokumen ini menekankan penyesuaian hyperparameter, dokumen ini juga membahas aspek lain dari pelatihan deep learning, seperti implementasi dan pengoptimalan pipeline pelatihan.
Dokumen ini mengasumsikan bahwa tugas machine learning Anda adalah masalah pembelajaran yang diawasi atau masalah yang serupa (misalnya, pembelajaran yang diawasi sendiri) Meskipun demikian, beberapa saran dalam dokumen ini mungkin juga berlaku untuk jenis masalah machine learning lainnya.
Target audiens
Kami mengarahkan dokumen ini kepada para engineer dan peneliti dengan setidaknya pengetahuan dasar tentang machine learning dan deep learning. Jika Anda tidak memiliki latar belakang tersebut, sebaiknya ikuti Kursus Singkat Machine Learning.
Mengapa kami menulis dokumen ini?
Saat ini, ada banyak toil dan tebakan yang terlibat dalam membuat jaringan neural dalam bekerja dengan baik. Lebih buruk lagi, resep yang digunakan orang untuk mendapatkan hasil yang baik dengan deep learning jarang didokumentasikan. Makalah ini membahas proses yang mengarah pada hasil akhir untuk memberikan kisah yang lebih bersih, dan engineer machine learning yang mengerjakan masalah komersial jarang memiliki waktu untuk mundur dan menggeneralisasi prosesnya. Buku teks cenderung menghindari panduan praktis dan memprioritaskan prinsip-prinsip dasar, meskipun penulisnya memiliki pengalaman yang diperlukan dalam karya terapan untuk memberikan saran yang berguna.
Saat mempersiapkan pembuatan dokumen ini, kami tidak dapat menemukan upaya komprehensif untuk benar-benar menjelaskan cara mendapatkan hasil yang baik dengan deep learning. Sebaliknya, kami menemukan cuplikan saran dalam postingan blog dan media sosial, trik yang melihat sekilas dari lampiran makalah penelitian, studi kasus sesekali tentang satu project atau pipeline tertentu, dan banyak kebingungan. Ada kesenjangan besar antara hasil yang dicapai oleh pakar deep learning dan praktisi yang kurang terampil yang menggunakan metode yang mirip. Namun, para pakar dengan senang hati mengakui bahwa beberapa hal yang mereka lakukan mungkin tidak dibenarkan. Seiring dengan matangnya deep learning dan dampaknya lebih besar pada dunia, komunitas membutuhkan lebih banyak referensi yang mencakup resep yang berguna, termasuk semua detail praktis yang bisa sangat penting untuk mendapatkan hasil yang baik.
Kami adalah tim yang terdiri dari lima peneliti dan engineer yang telah bekerja dalam deep learning selama bertahun-tahun, beberapa di antaranya sejak 2006. Kami telah menerapkan deep learning dalam berbagai hal, mulai dari pengenalan ucapan hingga astronomi. Dokumen ini berasal dari pengalaman kami sendiri saat melatih jaringan neural, mengajar engineer machine learning baru, dan memberikan saran kepada rekan kerja kami tentang praktik deep learning.
Kami senang melihat deep learning berubah dari pendekatan machine learning yang dipraktikkan oleh beberapa laboratorium akademis menjadi produk teknologi yang digunakan oleh miliaran orang. Namun, deep learning masih dalam tahap disiplin ilmu, dan kami harap dokumen ini mendorong orang lain untuk membantu mensistemasikan protokol eksperimental lapangan.
Dokumen ini muncul karena kami mencoba menjelaskan pendekatan kami sendiri untuk deep learning. Dengan demikian, hal tersebut mewakili pendapat kami pada saat penulisan, bukan segala jenis kebenaran objektif. Perjuangan kami sendiri terkait penyesuaian hyperparameter menjadikannya fokus tertentu dalam panduan kami, tetapi kami juga membahas masalah penting lainnya yang kami temui dalam pekerjaan kami (atau terbukti ada yang salah). Tujuan kami adalah agar dokumen ini menjadi dokumen dinamis yang tumbuh dan berkembang seiring dengan kepercayaan kami yang berubah. Misalnya, materi tentang proses debug dan mitigasi kegagalan pelatihan tidak akan dapat kami tulis dua tahun lalu karena didasarkan pada hasil terbaru dan investigasi yang sedang berlangsung.
Tentunya, beberapa saran kami perlu diperbarui untuk memperhitungkan hasil baru dan alur kerja yang lebih baik. Kami tidak tahu resep deep learning yang optimal, tetapi sampai komunitas mulai menulis dan memperdebatkan prosedur yang berbeda, kami tidak dapat menemukannya. Oleh karena itu, kami akan mendorong pembaca yang menemukan masalah dengan saran kami untuk menghasilkan rekomendasi alternatif, beserta bukti yang meyakinkan, sehingga kami dapat memperbarui playbook. Kami juga senang melihat panduan dan playbook alternatif yang mungkin memiliki rekomendasi berbeda, sehingga kami dapat menerapkan praktik terbaik sebagai komunitas.
Tentang emoji robot itu
Emoji 🔴 Robot menunjukkan area di mana kami ingin melakukan lebih banyak riset. Baru setelah mencoba menulis playbook ini, benar-benar jelas tentang banyak pertanyaan riset yang menarik dan diabaikan yang dapat ditemukan dalam alur kerja praktisi deep learning.