Pedoman pengujian pipeline tidak dapat didemonstrasikan di Colab. Sebagai gantinya, latihan berikut akan membantu melatih panduan. Halaman berikutnya menjelaskan referensi untuk menerapkan panduan tersebut.
Untuk pertanyaan berikut, klik pilihan Anda untuk meluaskan dan memeriksa jawaban.
Setelah meluncurkan prediktor unicorn, Anda harus menjaga prediktor Anda tetap baru dengan melatih kembali data baru. Karena mengumpulkan terlalu banyak data baru untuk dilatih, Anda memutuskan untuk membatasi data pelatihan dengan mengambil sampel data baru selama jangka waktu tertentu. Anda juga harus memperhitungkan pola harian dan tahunan pada tampilan unicorn. Dan yang tercepat, Anda dapat
meluncurkan versi model baru adalah setiap tiga bulan.
Periode waktu apa yang Anda pilih?
Suatu hari, karena jendela yang lebih besar akan menghasilkan
banyak data dan model Anda akan membutuhkan waktu terlalu lama untuk dilatih.
Salah. Anda dapat menyesuaikan frekuensi sampling data untuk membatasi ukuran set data. Karena Anda hanya dapat memperbarui model
setiap tiga bulan, model yang dilatih pada data sehari
secara bertahap akan menjadi usang.
Satu minggu, sehingga set data Anda tidak terlalu besar tetapi Anda masih dapat memperlancar polanya.
Salah. Anda dapat menyesuaikan frekuensi sampling data untuk membatasi ukuran set data. Karena Anda hanya dapat memperbarui model
setiap tiga bulan, model yang dilatih pada data selama seminggu
secara bertahap akan menjadi usang.
Satu tahun, untuk memastikan bahwa model Anda tidak bias dengan pola harian atau tahunan.
Benar. Anda harus memilih set data representatif agar model Anda belajar memprediksi di semua skenario.
Anda meluncurkan prediktor tampilan unicorn. Berhasil! Anda
sedang berlibur dan kembali setelah tiga minggu untuk mendapati
bahwa kualitas model Anda turun secara signifikan. Asumsikan bahwa perilaku unicorn mungkin tidak berubah secara signifikan dalam tiga minggu. Apa kemungkinan alasan adanya penurunan
kualitas?
Kemiringan penayangan pelatihan.
Benar. Meskipun perilaku unicorn mungkin tidak berubah, mungkin pelaporan data atau pemformatan data yang mendasarinya berubah dalam data penayangan setelah data pelatihan dikumpulkan.
Deteksi kemiringan penayangan pelatihan yang berpotensi dengan memeriksa data penayangan terhadap skema data dari data pelatihan.
Anda lupa menguji kualitas model terhadap nilai minimum tetap.
Salah. Menguji kualitas model akan membantu mengetahui penurunan
kualitas, tetapi tidak akan menjelaskan alasan penurunan tersebut.
Model Anda sudah usang.
Salah, dengan asumsi bahwa data pelatihan Anda mencakup semua siklus perilaku unicorn, seperti yang dibahas dalam pertanyaan sebelumnya.
Dengan bijak, Anda memutuskan untuk memantau prediksi untuk Antarktika karena Anda tidak memiliki cukup data pelatihan di sana. Kualitas prediksi Anda secara misterius menurun selama beberapa hari dalam waktu yang bersamaan, terutama di musim dingin. Apa kemungkinan penyebabnya?
Faktor lingkungan.
Benar. Anda mendapati bahwa badai di Antarktika berkorelasi dengan penurunan kualitas prediksi. Selama badai ini, perilaku unicorn berubah. Selain itu, mengumpulkan data selama badai di Antarktika tidak mungkin dilakukan, yang berarti model Anda tidak dapat dilatih untuk kondisi tersebut.
Model Anda menjadi usang.
Salah. Jika penyebab ini benar, kualitas akan terus turun saat model Anda menjadi usang, bukan hanya turun selama beberapa hari.
Tidak perlu. Model ML memiliki kemiripan inheren.
Salah. Jika kualitas model Anda berfluktuasi, Anda harus menyelidiki penyebabnya. Coba hilangkan pengacakan dalam
pelatihan model Anda untuk meningkatkan reproduksibilitas.
Prediktor penampilan unicorn Anda telah beroperasi selama satu tahun. Anda telah
memperbaiki banyak masalah, dan kualitasnya kini tinggi. Namun, Anda akan melihat masalah kecil tapi terus-menerus. Kualitas model Anda sedikit menurun di area perkotaan. Apa kemungkinan penyebabnya?
Kualitas prediksi yang tinggi akan membuat pengguna menemukan unicorn dengan mudah, sehingga memengaruhi perilaku tampilan unicorn itu sendiri.
Benar. Unicorn merespons peningkatan perhatian dengan mengubah perilaku mereka di area perkotaan. Saat prediksi model Anda beradaptasi dengan perilaku yang berubah, unicorn akan terus mengubah perilakunya. Situasi seperti ini, ketika perilaku model memengaruhi data pelatihan itu sendiri, disebut feedback loop.
Coba ubah deteksi miring penayangan pelatihan untuk mendeteksi perubahan data penayangan yang sesuai dengan perubahan perilaku unicorn.
Kemunculan Unicorn dilaporkan beberapa kali di area padat penduduk, sehingga data pelatihan Anda miring.
Salah. Hal ini mungkin bukan penyebabnya karena kemiringan ini seharusnya
menurunkan kualitas peluncuran Anda.
Daerah perkotaan sulit untuk dimodelkan.
Salah. Jika model Anda mengalami masalah dalam memprediksi
area perkotaan, kualitasnya akan rendah dari awal, bukan
bergerak lebih rendah setelah peluncuran.