上一節會展示一組模型指標,且所有指標都是以 單一分類門檻值但如果你想評估 整體可能門檻的模型品質,您需要不同的工具。
接收者操作特徵曲線 (ROC)
ROC 曲線 以視覺化方式呈現所有門檻的模型成效。 全名為接收器操作特性 。
系統會計算真陽率 (TPR) 來繪製 ROC 曲線 和偽陽率 (FPR) 在所有可能門檻 (實務上, ),然後繪製 TPR 除以 FPR。完美模型 調整特定門檻的 TPR 為 1.0,FPR 為 0.0 以 (0, 1) 則忽略其他門檻,或符合以下規定:

曲線下的面積 (AUC)
ROC 曲線下面積 (AUC) 代表模型 假如隨機選擇的正面和負面示例,將為 正好大於負數
以上最完美的模型 (內含邊長為 1 的正方形) 設有 曲線 (AUC) 的 1.0 曲線這表示 100% 的機率 模型會正確地為隨機選擇的正值評分 隨機選出的排除範例也就是觀察 下列資料點,則「AUC」能指出模型達成此目標的機率 隨機選擇的圓形右側的正方形,與 門檻設定
具體來說,我們使用 AUC 的垃圾郵件分類器進行分類 1.0 的垃圾郵件將一律由隨機垃圾郵件指派, 垃圾郵件。每項工具實際分類後 電子郵件會根據您選擇的閾值。
如果是二進位分類器,則具備完全與隨機猜測或隨機猜測的模型 擲硬幣的 ROC 是從 (0,0) 到 (1,1) 的對角線。AUC 是 0.5 代表有 50% 的機率 排除範例
在垃圾郵件分類器範例中,含有 AUC 為 0.5 的垃圾郵件分類器指派了 比起隨機傳送,隨機的垃圾郵件更有可能成為垃圾郵件 只有一半的時間支援正常電子郵件。

(選用,進階) 精確度與喚回度曲線
當資料集粗略估計時,AUC 和 ROC 適合用來比較模型 並在類別之間平衡資料集不平衡時,精確度和喚回度 曲線 (PRC) 和曲線下的面積可能會提供更準確的比較結果 視覺化呈現模型成效精確度與喚回度曲線的建立方式 在 X 軸和 閾值

用於選擇模型和門檻的 AUC 和 ROC
AUC 很適合用來比較兩個不同模型 但前提是資料集要大致達到平衡(請參閱精確度與喚回度曲線, 以達到不平衡的資料集)。中面積較大的模型 通常代表曲線較佳。


ROC 曲線上最接近 (0,1) 的點表示 指定模型表現最佳門檻。如 門檻 混淆矩陣 和 選擇指標和權衡取捨 系統會根據您的 特定用途考慮下列中的 A、B 和 C 點 圖表,每個圖表都代表一個門檻:

如果偽陽性 (誤報) 的成本極高,可能會發生 選擇 FPR 較低的閾值,例如 TPR 的閾值 成本下降反過來說,如果偽陽性和偽陰性越便宜 (遺漏真陽性) 極高的成本,C 點門檻 最大化 TPR,可能比較適合如果費用大致相同,請 B 點 或許可以在 TPR 與 FPR 之間取得最佳平衡
我們看過資料的 ROC 曲線如下:
練習:隨堂測驗








(選用,進階) 加分題
想想看,有些垃圾郵件送到 ,將重要業務電子郵件傳送至垃圾郵件資料夾。您 但正好有正向類別 而且排除類別不是垃圾郵件 以下哪個要點? 在 ROC 曲線上,您比較滿意分類器嗎?
