本番環境 ML システム: 知識をテストする

  1. ML を使用して、ユニコーンの出現を予測する分類モデルを構築しています。このデータセットには、ユニコーンの出現が 10,000 回、不出現が 10,000 回含まれています。このデータセットには、場所、時刻、標高、気温、湿度、樹木被覆、虹の有無、その他の特徴が含まれています。

    ユニコーンの外観予測ツールを起動した後、新しいデータで再トレーニングして、モデルを最新の状態に保つ必要があります。トレーニングに使用する新しいデータが多すぎるため、新しいデータを一定の時間枠でサンプリングしてトレーニング データを制限することにしました。また、ユニコーンの出現の日別パターンと年間パターンも考慮する必要があります。どの時間枠を選択しますか?

  2. ユニコーンの外観予測ツールを起動しました。うまくいってる!あなたは休暇に出て 3 週間後に戻り、モデルの品質が大幅に低下していることがわかりました。ユニコーンの行動が 3 週間で大幅に変化することはないと仮定します。品質の低下について、最も考えられる原因は何ですか。

  3. 南極大陸におけるモデルの予測をレビューしたところ、モデルが本番環境にリリースされて以来、南極大陸での予測精度が低いことに気付きました。この問題の原因となる可能性があるものは次のうちどれですか。

  4. ユニコーンの出現予測器は 1 年間動作しています。多くの問題を修正し、品質が向上しています。しかし、小さいながらも問題が継続していることに気づきました。都市部では、モデルの品質がわずかに低下しています。考えられる原因は何ですか?

  5. あらゆるトラブルシューティングを通じて、ユニコーン モデルの予測品質が大幅に向上し、その結果、使用量が 10 倍に増加しました。ところが、このモデルが非常に遅いという不満がユーザーから寄せられています。通常、推論リクエストで予測が返されるまでに 30 秒以上かかります。この問題の解決に役立つ変更は、次のうちどれですか。