上一節會展示一組模型指標，且所有指標都是以 單一分類門檻值但如果你想評估 整體可能門檻的模型品質，您需要不同的工具。
接收者操作特徵曲線 (ROC)
ROC 曲線 以視覺化方式呈現所有門檻的模型成效。 全名為接收器操作特性 。
系統會計算真陽率 (TPR) 來繪製 ROC 曲線 和偽陽率 (FPR) 在所有可能門檻 (實務上， )，然後繪製 TPR 除以 FPR。完美模型 調整特定門檻的 TPR 為 1.0，FPR 為 0.0 以 (0, 1) 則忽略其他門檻，或符合以下規定：
曲線下的面積 (AUC)
ROC 曲線下面積 (AUC) 代表模型 假如隨機選擇的正面和負面示例，將為 正好大於負數
以上最完美的模型 (內含邊長為 1 的正方形) 設有 曲線 (AUC) 的 1.0 曲線這表示 100% 的機率 模型會正確地為隨機選擇的正值評分 隨機選出的排除範例也就是觀察 下列資料點，則「AUC」能指出模型達成此目標的機率 隨機選擇的圓形右側的正方形，與 門檻設定
具體來說，我們使用 AUC 的垃圾郵件分類器進行分類 1.0 的垃圾郵件將一律由隨機垃圾郵件指派， 垃圾郵件。每項工具實際分類後 電子郵件會根據您選擇的閾值。
如果是二進位分類器，則具備完全與隨機猜測或隨機猜測的模型 擲硬幣的 ROC 是從 (0,0) 到 (1,1) 的對角線。AUC 是 0.5 代表有 50% 的機率 排除範例
在垃圾郵件分類器範例中，含有 AUC 為 0.5 的垃圾郵件分類器指派了 比起隨機傳送，隨機的垃圾郵件更有可能成為垃圾郵件 只有一半的時間支援正常電子郵件。
(選用，進階) 精確度與喚回度曲線
當資料集粗略估計時，AUC 和 ROC 適合用來比較模型 並在類別之間平衡資料集不平衡時，精確度和喚回度 曲線 (PRC) 和曲線下的面積可能會提供更準確的比較結果 視覺化呈現模型成效精確度與喚回度曲線的建立方式 在 X 軸和 閾值
用於選擇模型和門檻的 AUC 和 ROC
AUC 很適合用來比較兩個不同模型 但前提是資料集要大致達到平衡(請參閱精確度與喚回度曲線， 以達到不平衡的資料集)。中面積較大的模型 通常代表曲線較佳。
ROC 曲線上最接近 (0,1) 的點表示 指定模型表現最佳門檻。如 門檻 混淆矩陣 和 選擇指標和權衡取捨 系統會根據您的 特定用途考慮下列中的 A、B 和 C 點 圖表，每個圖表都代表一個門檻：
如果偽陽性 (誤報) 的成本極高，可能會發生 選擇 FPR 較低的閾值，例如 TPR 的閾值 成本下降反過來說，如果偽陽性和偽陰性越便宜 (遺漏真陽性) 極高的成本，C 點門檻 最大化 TPR，可能比較適合如果費用大致相同，請 B 點 或許可以在 TPR 與 FPR 之間取得最佳平衡
我們看過資料的 ROC 曲線如下：
練習：隨堂測驗
(選用，進階) 加分題
想想看，有些垃圾郵件送到 ，將重要業務電子郵件傳送至垃圾郵件資料夾。您 但正好有正向類別 而且排除類別不是垃圾郵件 以下哪個要點？ 在 ROC 曲線上，您比較滿意分類器嗎？