前のセクションでは、1 対 1 で計算される一連のモデル指標を紹介しました。 適用できます。ただし、 モデルの品質をすべてのしきい値で測定するには、異なるツールが必要です。
受信者操作特性曲線（ROC）
ROC 曲線 すべてのしきい値におけるモデルのパフォーマンスを視覚的に表したものです。 受信者の操作特性という長い名称は 第二次世界大戦のレーダー探知機から生まれました。
ROC 曲線は、真陽性率（TPR）を計算して描画します。 と偽陽性率（FPR）が FPR に対する TPR をグラフ化します。完璧なモデル、 あるしきい値で TPR が 1.0、FPR が 0.0 のときに、 いずれかのポイントで表されるか、 他のすべてのしきい値が無視された場合は（0, 1）、または次の場合:
曲線下面積（AUC）
ROC 曲線の下の面積（AUC） ある確率で予測された確率が 陽性と陰性のサンプルがランダムに選択された場合、 表します。
辺の長さが 1 の正方形を含む上の完全なモデルは、 曲線下面積（AUC）は 1.0 です。これは 100% の確率でニューラル ネットワークの モデルは、ランダムに選択された陽性のサンプルを、 ランダムに選択されたネガティブな例です。言い換えれば、Google Chat の AUC は、モデルが予測を行う確率を ランダムに選択された円の右に、ランダムに選択された正方形の 表示されます。
より具体的に言うと、AUC を備えたスパム分類器は、 1.0 に設定すると、ランダムな迷惑メールに常に 迷惑メールに分類されます。各 Pod の実際の分類は、 選択したしきい値によって異なります。
バイナリ分類器の場合、ランダムな推測または コイン投げには（0,0）から（1,1）への対角線である ROC があります。AUC は 0.5 という確率で陽性と判定される確率は 50%、 ネガティブ サンプルです。
迷惑メール分類器の例では、AUC が 0.5 の迷惑メール分類器が、 ランダムなスパムメールでは、ランダムなスパムメールより 半分にとどまります
（任意、高度）適合率と再現率の曲線
AUC と ROC は、データセットがおおむね バランスを取る必要があります。データセットが不均衡な場合は、適合率と再現率の （PRC）とそれらの曲線の下の面積により、 モデルのパフォーマンスの可視化です。適合率と再現率の曲線は Y 軸に適合率、X 軸に再現率をプロットしています。 あります。
モデルとしきい値を選択するための AUC と ROC
AUC は、2 つの異なるモデルのパフォーマンスを比較する際に有用な測定値です。 データセットがおおむね均衡していれば（適合率と再現率の曲線を参照）。 データセットの説明を参照）。下面積が大きいモデルは、 一般的には曲線の方が適切です。
<ph type="x-smartling-placeholder">
ROC 曲線上の (0,1) に最も近い点は、 最もパフォーマンスの高いしきい値を 定義します詳しくは、 しきい値 混同行列 および 指標の選択とトレードオフ どのしきい値を選択するかは、このグラフで最も重要な 判断できます以下のポイント A、B、C について考えてみましょう。 それぞれがしきい値を表しています。
誤検出（誤検知）が大きな損害をもたらす場合は、 たとえ TPR であってもポイント A のように FPR が 削減されます逆に、偽陽性が安価で偽陰性が低い場合、 非常にコストがかかるポイント C のしきい値です TPR を最大化することが望ましい場合がある。費用がほぼ同じであればポイント B TPR と FPR のバランスが最適である可能性があります。
以下は、これまでに見たデータの ROC 曲線です。
演習：理解度をチェックする
（任意、上級）ボーナス質問
たとえば、迷惑メールが特定のアカウントに届く前に 受信トレイに振り分ける必要はありません。これで、 この状況用に迷惑メール分類器をトレーニングし、 除外クラスは「No-Spam」です。 次のうち、 どうすればよいでしょうか？