本番環境 ML システム: 質問

このレッスンでは、データについて自問すべき問いに焦点を当てます。 モニタリング、モニタリング、管理します

各機能はお役に立ちましたか?

モデルを継続的にモニタリングして、寄与する特徴を排除する必要がある モデルの予測能力に ほとんど影響しません入力データが 特徴量が突然変化した場合にモデルの動作も 好ましくない方法で変化します。

また、次の関連する質問も検討してください。

  • この機能の有用性は、追加するコストに見合ったものですか?

モデルに特徴量を追加したくなりがちです。たとえば 加算によってモデルの予測が行われる新しい特徴を見つけたとします。 改善されています。予測精度が優れていても やや悪い予測になります。この機能を有効にすると メンテナンスの負担を軽減できます。

データソースは信頼できますか?

入力データの信頼性に関する質問:

  • その信号は常に利用可能なのか、それとも 信頼性が低いソースか?例:
    • 高負荷でクラッシュするサーバーからのシグナルか?
    • 毎年 8 月に休暇に出かける人間からの信号なの?
  • モデルの入力データを計算するシステムは変わることがありますか?「はい」の場合: <ph type="x-smartling-placeholder">
      </ph>
    • どのくらいの頻度で起きているか、
    • そのシステムが変更されたことをどのようにして知ることができますか?

お客様から受け取ったデータのコピーを独自に作成することを検討してください。 必要があります。次に、アップストリーム アプリケーションの次のバージョンにのみ 安全に行うことができます。

モデルはフィードバック ループの一部か?

モデルがそれ自体のトレーニング データに影響を与える場合があります。たとえば、 あるモデルの結果が(直接的または間接的に)入力になる モデルに投入できます

あるモデルが別のモデルに影響を与える場合があります。たとえば 株価予測用のモデル:

  • モデル A は、不適切な予測モデルです。
  • モデル B:

モデル A はバグが多いため、誤って在庫 X の在庫を購入することにした。 こうした購入が株式 X の価格を引き上げます。モデル B では、 特徴量 X を入力特徴量とするため、モデル B は誤検出になる 株式 X の価値に関する結論を導き出します。したがって、モデル B は モデル A のバグのある行動に基づいて、株式 X の株式を売買します。 モデル B の動作がモデル A に影響を与える可能性があります。 「チューリップ マニア」または X 社の株式。

演習:理解度をチェックする

影響を受ける可能性のあるモデルは次のうちどれですか。3 つ選択してください。 どうでしょうか
高速道路の出口での渋滞を予測する交通予測モデル 特徴の 1 つとして、海水浴場の混雑度を使用しています。
海水浴客の中には交通量に基づいて計画を立てる人もいます 予測します海水浴場の人出が多く、交通量が 負担が大きくなると、多くの人が別の計画を立てる可能性があります。ビーチが落ち込む可能性があります トラフィック予測が少なくなりますが、その後、 このサイクルは繰り返されます
ユーザーが好むであろう小説を提案する書籍レコメンデーション モデル その書籍が閲覧された回数(書籍が閲覧された回数)に基づく 。
書籍のおすすめは購入を促進する可能性が高く、 入力としてモデルにフィードバックされます。 同じ書籍をおすすめする可能性が高くなるため、 説明します。
学校を格付けする基準の一つとして、 選択性(出願した生徒のうち、 できます。
モデルのランキングによって、上位の動画への関心がさらに高まる可能性がある 応募数を増やしました。これらの 受け入れられない生徒数は増え続け、選択性は 増加します(合格する生徒の割合が低下します)。この 高等教育機関の成長を後押しする検索結果のランキングが上位に 潜在的な生徒の関心など
勝者を予測する選挙結果モデル 投票終了後に有権者の 2% を対象に実施しました。
アンケートが終わるまでモデルが予測を公開しない場合 予測が投票者に影響を与えることはできない 確認します。
事前トレーニング済みモデルを使用して住宅価格を予測する 広さ(平方メートル単位の面積)、寝室数、地理的位置 使用できます。
家の場所をすぐに変更できない。 サイズ、つまり寝室の数、 フィードバックループが生じる可能性は ありませんただし、 広さと寝室数の相関関係(大規模住宅 部屋の数が多くなる傾向にあります)を、つなぎとめる必要があるかもしれません。
人物が笑顔かどうかを検出する顔属性モデル 写真(ストックフォトのデータベースで定期的にトレーニング) 更新頻度は毎月自動的に更新され
モデルの予測にはフィードバック ループがないため、 影響を及ぼすことがありません。ただし、入力データのバージョニングは データが問題になります。これは、毎月の更新により、 モデルに予期しない影響を及ぼします