問題を把握するには、次の操作を行います。
- 開発またはリファクタリングするプロダクトの目標を述べます。
- 目標を予測 ML、生成 AI、ML 以外のソリューションで解決するのが最適かどうかを判断します。
- モデルのトレーニングに必要なデータがあることを確認します。 説明しました
目標を述べる
まず、ML 以外の用語で目標を述べます。目標とは、「何を達成しようとしているのか」という質問に対する答えです。
次の表は、架空のアプリの目標を明確に示しています。
| アプリケーション | 目標 |
|---|---|
| 天気アプリ | 地域の降水量を 6 時間単位で計算します。 |
| ファッション アプリ | さまざまなデザインのシャツを生成します。 |
| 動画アプリ | 役に立つ動画をおすすめする。 |
| メールアプリ | スパムを検出します。 |
| 金融アプリ | 複数のニュース ソースから財務情報を要約します。 |
| 地図アプリ | 移動時間を計算します。 |
| 銀行アプリ | 不正な取引を特定する。 |
| レストラン アプリ | レストランのメニューから料理の種類を特定する。 |
| e コマースアプリ | 役立つ回答を使ってレビューに返信しましょう。 |
ML の明確なユースケース
ML はすべての問題に適用できる普遍的なツールだと考える人もいます。実際には、ML は特定の問題にのみ適した特殊なツールです。マイページ 単純な非 ML ソリューションがあっても、複雑な ML ソリューションを実装したくない 機能します。
ML システムは大きく 2 つのカテゴリに分類できます。 予測 ML と 生成 AI。次の 主な特性を次の表に示します。
| 入力 | 出力 | トレーニング手法 | |
|---|---|---|---|
| 予測 ML |
テキスト 画像 音声 動画 数値 |
予測を行います。たとえば、メールを迷惑メールまたは迷惑メール以外に分類したり、明日の降水量を推測したり、株式の価格を予測したりします。通常、出力は現実と照らし合わせて検証できます。 | 通常、大量のデータを使用して、教師あり、教師なし、または強化学習モデルをトレーニングし、特定のタスクを実行します。 |
| 生成 AI |
テキスト 画像 音声 動画 数値 |
ユーザーの意図に基づいて出力を生成します。次に例を示します。 記事の要約や音声クリップや短い動画の作成などです | 通常、大規模言語モデルのトレーニングには、多くのラベルなしデータが使用されます。 欠損データを補うこともできます。このモデルは 「空欄を埋めるタスク」として構成できるタスクの場合は 特定のタスク用にラベル付きデータでトレーニングし、 あります。 |
ML が適切であることを確認するには、まず ML 以外の ソリューションが最適化されますML 以外のソリューションが実装されていない場合は、ヒューリスティクスを使用して問題を手動で解決してみてください。
ML 以外のソリューションは、ML が問題に適したユースケースであるかどうかを判断するために使用するベンチマークです。データを比較するときは アプローチです。
品質。ML ソリューションはどの程度優れていると思いますか？もし ML ソリューションが小さな改善にすぎないと 考えている場合 現在のソリューションが最適なソリューションになります
費用とメンテナンス。ML ソリューションの短期的および長期的な費用はどれくらいか？場合によっては、新しいサブネットを ML の実装に必要なコンピューティング リソースと時間を確保できます。次のことを検討してください。
- ML ソリューションで費用の増加を正当化できるか大規模なシステムでわずかな改善を加えるだけで、ML ソリューションの実装にかかる費用とメンテナンスの費用を簡単に正当化できます。
- ソリューションにはどの程度のメンテナンスが必要か。多くの場合、ML 実装には専用の長期メンテナンスが必要です。
- お客様の製品には、ML の専門知識を持つ人材のトレーニングや採用をサポートするリソースがありますか？
理解度をチェックする
予測 ML とデータ
データは予測 ML の原動力です。優れた予測を行うには、予測力のある特徴を含むデータが必要です。データには次の特性が必要です。
豊富。データセットに関連性の高い有用なサンプルが多いほど、モデルの精度は高くなります。
一貫性と信頼性。一貫性と信頼性を持って収集されたデータがあれば、より優れたモデルを作成できます。たとえば、ML ベースの気象モデルは、同じ信頼できる計測機器から長年にわたって収集されたデータからメリットを得ることができます。
信頼できる。データの取得元を把握する。データは プロダクトのログなど、信頼できるソースからの 他のソースからの出力など、あまり多くの分析情報がないソースからの どうでしょうか
利用可能。予測時にすべての入力を利用できることを 確認します。トレーニング中に特定の特徴値を取得するのが それらの特徴をデータセットから除外します。
正解です。大規模なデータセットでは、 ラベルの値は正しくありません。 ごく一部のラベルが正しくない場合、モデルは 予測の精度は低くなります
代表者:データセットは、実際のデータセットを 実現することです言い換えれば、データセットは、 現実世界のイベント、ユーザー行動、現象 モデル化します代表性のないデータセットでトレーニングを行うと、モデルに実世界での予測を依頼したときにパフォーマンスが低下する可能性があります。
必要な形式で必要なデータを取得できない場合、モデルは不正確な予測を行います。
予測能力
モデルが正確な予測を行うには、データセット内の特徴に予測力がなければなりません。特徴とラベルの相関関係が高いほど、 重要です
一部の特徴量は他の特徴量よりも予測力が高くなります。たとえば、
気象データセット（cloud_coverage、temperature、
雨の予報は「moon_phase」よりも「dew_point」の方が適切です。
day_of_week。動画アプリの例では、1 つのアプリで
たとえば video_description、length、views などが、
ユーザーが見たい動画を見つけられます
コンテキストやドメインが変化すると、特徴量の予測力が変化する可能性があることに注意してください。たとえば、動画アプリでは、upload_date のような機能があります。
一般的に、ラベルとの相関が弱い可能性があります。ただし、ゲーム動画のサブドメインでは、upload_date はラベルと強く相関している可能性があります。
予測能力を持つ特徴の判別には時間がかかる可能性がある プロセスですモデルのトレーニング中に特徴を削除または追加することで、特徴の予測能力を手動で確認できます。特徴量の予測力を自動的に見つけるには、ピアソン相関、調整済み相互情報量（AMI）、シャプレー値などのアルゴリズムを使用します。これらのアルゴリズムは、特徴量の予測力を分析するための数値評価を提供します。
理解度を確認する
データセットの分析と準備に関する詳しいガイダンスについては、 ML のためのデータ準備と特徴量エンジニアリング。
予測とアクション
予測をモデルに変えることができなければ、予測に意味はありません。 役立ちます。つまり、製品はモデルの出力からアクションを実行する必要があります。
たとえば、ユーザーが動画に役立つと感じるかどうかを予測するモデルは、 役立つ動画をおすすめするアプリに提供します。予測を行うモデルは、 天気情報アプリにフィードするかどうかを判断できます。
理解度を確認する
次のシナリオに基づいて、ML を使用するのが問題に対する最善のアプローチかどうかを判断します。
大規模な組織のエンジニアリング チームは、インフラストラクチャの 通話の着信。
目標: 保留待ちの待ち時間を発信者に知らせること 現在の通話の音量を変更できます。
現時点では解決策はありませんが、ヒューリスティクスとしては、現在保留中の顧客数を電話に出ている社員の数で除算し、10 分掛けるとよいと考えています。ただし、 2 分で解決するお客様もいます 45 分以上かかる場合もあります。
ヒューリスティクスでは、十分に正確な数値が得られない可能性があります。。
次の列を含むデータセットを作成できます。
number_of_callcenter_phones さん、user_issue さん、
time_to_resolve、call_time、
time_on_hold。
time_on_hold というラベルの予測特徴量を使用することになります。