上一節會展示一組模型指標,且所有指標都是以 單一分類門檻值但如果你想評估 整體可能門檻的模型品質,您需要不同的工具。
接收者操作特徵曲線 (ROC)
ROC 曲線 以視覺化方式呈現所有門檻的模型成效。 全名為接收器操作特性 。
系統會計算真陽率 (TPR) 來繪製 ROC 曲線 和偽陽率 (FPR) 在所有可能門檻 (實務上, ),然後繪製 TPR 除以 FPR。完美模型 調整特定門檻的 TPR 為 1.0,FPR 為 0.0 以 (0, 1) 則忽略其他門檻,或符合以下規定:
![圖 1. 與 FPR (X 軸) 的 TPR (Y 軸) 圖
最佳模型的效能:從 (0,1) 到 (1,1) 的線條。](https://developers.google.cn/static/machine-learning/crash-course/images/auc_1-0.png?authuser=6&hl=zh-tw)
曲線下的面積 (AUC)
ROC 曲線下面積 (AUC) 代表模型 假如隨機選擇的正面和負面示例,將為 正好大於負數
以上最完美的模型 (內含邊長為 1 的正方形) 設有 曲線 (AUC) 的 1.0 曲線這表示 100% 的機率 模型會正確地為隨機選擇的正值評分 隨機選出的排除範例也就是觀察 下列資料點,則「AUC」能指出模型達成此目標的機率 隨機選擇的圓形右側的正方形,與 門檻設定
具體來說,我們使用 AUC 的垃圾郵件分類器進行分類 1.0 的垃圾郵件將一律由隨機垃圾郵件指派, 垃圾郵件。每項工具實際分類後 電子郵件會根據您選擇的閾值。
如果是二進位分類器,則具備完全與隨機猜測或隨機猜測的模型 擲硬幣的 ROC 是從 (0,0) 到 (1,1) 的對角線。AUC 是 0.5 代表有 50% 的機率 排除範例
在垃圾郵件分類器範例中,含有 AUC 為 0.5 的垃圾郵件分類器指派了 比起隨機傳送,隨機的垃圾郵件更有可能成為垃圾郵件 只有一半的時間支援正常電子郵件。
![圖 2:與 FPR (X 軸) 的 TPR (Y 軸) 圖
隨機測出 50 到 50 名猜測字的對角線長 (0,0) 的對角線
(1,1)。](https://developers.google.cn/static/machine-learning/crash-course/images/auc_0-5.png?authuser=6&hl=zh-tw)
(選用,進階) 精確度與喚回度曲線
當資料集粗略估計時,AUC 和 ROC 適合用來比較模型 並在類別之間平衡資料集不平衡時,精確度和喚回度 曲線 (PRC) 和曲線下的面積可能會提供更準確的比較結果 視覺化呈現模型成效精確度與喚回度曲線的建立方式 在 X 軸和 閾值
![精確度與喚回度曲線範例,具有向下的凸面曲線從 (0,1)
到 (1,0)](https://developers.google.cn/static/machine-learning/crash-course/images/prauc.png?authuser=6&hl=zh-tw)
用於選擇模型和門檻的 AUC 和 ROC
AUC 很適合用來比較兩個不同模型 但前提是資料集要大致達到平衡(請參閱精確度與喚回度曲線, 以達到不平衡的資料集)。中面積較大的模型 通常代表曲線較佳。
![圖 3.a.AUC=0.65 模型的 ROC/AUC 圖。](https://developers.google.cn/static/machine-learning/crash-course/images/auc_0-65.png?authuser=6&hl=zh-tw)
![圖 3.b.AUC=0.93 模型的 ROC/AUC 圖。](https://developers.google.cn/static/machine-learning/crash-course/images/auc_0-93.png?authuser=6&hl=zh-tw)
ROC 曲線上最接近 (0,1) 的點表示 指定模型表現最佳門檻。如 門檻 混淆矩陣 和 選擇指標和權衡取捨 系統會根據您的 特定用途考慮下列中的 A、B 和 C 點 圖表,每個圖表都代表一個門檻:
![圖 4. AUC=0.84 的 ROC 曲線顯示
最接近 (0,1) 標籤的捲積部分,依序加上 A、B、C 標籤。](https://developers.google.cn/static/machine-learning/crash-course/images/auc_abc.png?authuser=6&hl=zh-tw)
如果偽陽性 (誤報) 的成本極高,可能會發生 選擇 FPR 較低的閾值,例如 TPR 的閾值 成本下降反過來說,如果偽陽性和偽陰性越便宜 (遺漏真陽性) 極高的成本,C 點門檻 最大化 TPR,可能比較適合如果費用大致相同,請 B 點 或許可以在 TPR 與 FPR 之間取得最佳平衡
我們看過資料的 ROC 曲線如下:
練習:隨堂測驗
![ROC 曲線依序從 (0,0) 延伸至
(1、1)。曲線的 AUC 為 0.77。](https://developers.google.cn/static/machine-learning/crash-course/images/auc_0-77.png?authuser=6&hl=zh-tw)
![ROC 曲線大約從 (0,0) 到
(1,1),加上幾條鋸齒狀。曲線的 AUC 為 0.508。](https://developers.google.cn/static/machine-learning/crash-course/images/auc_0-508.png?authuser=6&hl=zh-tw)
![ROC 曲線往右滑動 (0,0) 到 (1,1)。
曲線的 AUC 為 0.623。](https://developers.google.cn/static/machine-learning/crash-course/images/auc_0-623.png?authuser=6&hl=zh-tw)
![ROC 曲線往右往右繞行
(0,0) 到 (1,1)。曲線的 AUC 為 0.31。](https://developers.google.cn/static/machine-learning/crash-course/images/auc_0-31.png?authuser=6&hl=zh-tw)
![ROC 曲線往右往右繞行
(0,0) 到 (1,1)。曲線的 AUC 為 0.32。](https://developers.google.cn/static/machine-learning/crash-course/images/auc_0-32.png?authuser=6&hl=zh-tw)
![ROC 曲線,約為
(0,0) 到 (1,1),曲線有代表
AUC 為 0.508。](https://developers.google.cn/static/machine-learning/crash-course/images/auc_0-508.png?authuser=6&hl=zh-tw)
![ROC 曲線是
(0,0) 到 (1,1)。曲線的 AUC 為 0.5。](https://developers.google.cn/static/machine-learning/crash-course/images/auc_0-5.png?authuser=6&hl=zh-tw)
![ROC 曲線由兩條垂直線組成:一個垂直線
從 (0,0) 到 (0,1) 的線條,以及從 (0,1) 到 (1,1) 的水平線。
這條曲線的 AUC 為 1.0。](https://developers.google.cn/static/machine-learning/crash-course/images/auc_1-0.png?authuser=6&hl=zh-tw)
(選用,進階) 加分題
想想看,有些垃圾郵件送到 ,將重要業務電子郵件傳送至垃圾郵件資料夾。您 但正好有正向類別 而且排除類別不是垃圾郵件 以下哪個要點? 在 ROC 曲線上,您比較滿意分類器嗎?
![AUC=0.84 的 ROC 曲線顯示了
接近 (0,1) 的曲線。A 點大約等於
(0.25, 0.75)。B 點大約為 (0.30, 0.90),
盡可能提高 TPR 的成效,同時盡量降低 FPR。點
C 約為 (0.4, 0.95)。](https://developers.google.cn/static/machine-learning/crash-course/images/auc_abc.png?authuser=6&hl=zh-tw)