Project ML berkembang dalam beberapa fase dengan sasaran, tugas, dan hasil yang spesifik. Pemahaman yang jelas tentang fase pengembangan ML membantu menetapkan tanggung jawab engineering, mengelola ekspektasi pemangku kepentingan, dan mengalokasikan sumber daya secara efisien.
Berhasil melewati fase-fase tersebut (sering kali secara iteratif) adalah dasar untuk mendesain, mengumpulkan, dan membangun model ML yang memecahkan masalah bisnis dalam jangka panjang.
Pada tingkat tinggi, penerapan solusi ML terdiri dari fase berikut:
- Pencarian ide dan perencanaan
- Eksperimen
- Membangun pipeline
- Produksi
Pencarian ide dan perencanaan
Selama fase ideasi dan perencanaan, Anda memetakan masalah dalam hal solusi ML dan memperkirakan kelayakan proyek.
- Sasaran: Untuk menentukan apakah ML adalah solusi terbaik untuk masalah Anda.
- Tugas: Menganalisis masalah bisnis untuk memahami batasan project Anda.
- Hasil: Dokumen desain yang menguraikan cara memecahkan masalah dengan solusi ML.
Eksperimen
Eksperimen adalah inti dari machine learning. Selama fase ini, Anda memverifikasi bahwa solusi ML layak. Menemukan solusi adalah proses iteratif. Tidak jarang ratusan eksperimen dilakukan sebelum menemukan kombinasi fitur, hyperparameter, dan arsitektur model yang tepat untuk memecahkan masalah.
- Sasaran: Membangun model yang memecahkan masalah bisnis.
- Tugas: Bereksperimen dengan fitur, hyperparameter, dan arsitektur model.
- Hasil: Model dengan kualitas yang cukup baik untuk diterapkan dalam produksi.
Pembuatan dan produksi pipeline
Selama fase pembuatan dan produksi pipeline, Anda membuat pipeline untuk memproses data, melatih model, dan menyajikan prediksi. Kemudian, Anda men-deploy model dan pipeline ke produksi dengan infrastruktur pemantauan dan pencatatan log yang diperlukan.
- Sasaran: Membangun dan menerapkan infrastruktur untuk menskalakan, memantau, dan memelihara model dalam produksi.
- Tugas: Buat pipeline untuk mengotomatiskan banyak tugas agar model tetap terbaru dalam produksi.
- Hasil: Pipeline ML yang divalidasi.
Alur kerja ML end-to-end
Diagram berikut menggambarkan seluruh alur kerja ML end-to-end, yang mencantumkan setiap fase serta tugas dan hasilnya:
Gambar 1. Empat fase utama alur kerja ML.
Perhatikan
Ada banyak tantangan di setiap fase. Tidak menyadari—dan merencanakan—hal-hal tersebut dapat menyebabkan keterlambatan penyelesaian, frustrasi pada engineer, dan kegagalan proyek.