ROC 和 AUC
請查看下列選項。
以下哪些 ROC 曲線產生的 AUC 值大於 0.5？
這是最適合的 ROC 曲線，因為其會在所有負數上方高於正值。其 AUC 為 1.0。
實際上，如果您的「完美」分類器的 AUC 為 1.0，您應該感到困惑，因為這可能會代表模型發生錯誤。例如，您的訓練資料可能不適合，或是標籤資料複製到其中一個功能。
這是最糟糕的 ROC 曲線，排名所有正數高於所有正數，AUC 為 0.0。如果想要反轉所有預測，請將負向轉化為正數，然後為陰性陰性轉換效果，則確實有完美的分類器！
這項 ROC 曲線的 AUC 為 0.5，代表隨機排序的隨機樣本高於 50% 的隨機示例。因此，對應的分類模型基本上是無價的，因為其預測能力不如隨機猜測。
此 ROC 曲線的 AUC 介於 0.5 至 1.0 之間，代表在 50% 以上的時間，高於某個隨機負值的隨機樣本。實際二進位檔分類的 AUC 值通常會落在這個範圍內。
此 ROC 曲線的 AUC 介於 0 到 0.5 之間，表示相較於隨機值低於 50% 的隨機樣本，它會在隨機正負排名中取得較高的排名。對應的模型執行效果比隨機猜測來得差！如果您看到這類 ROC 曲線，可能表示資料中有錯誤。
AUC 與資源調度預測
請查看下列選項。
如何將指定模型中的所有預測資料乘以 2.0 (例如模型預測為 0.4，再乘以 2.0，即可取得 0.8 的預測結果) 會變更由 AUC 測量的模型效能？
沒有影響，AUC 只關注相對預測分數。
是，AUC 是採用相對預測，因此保留相對排名的預測轉換不會影響 AUC。其他指標 (例如方形錯誤、記錄檔損失或預測偏誤) 情況並非如此，我們稍後會進行說明。
預測值現在會偏離，因此 AUC 會變得非常糟糕。
有趣的是，即使預測值不同 (而且可能與實際值相距甚遠)，則將所有值乘以 2.0 可保持預測值的相對順序。由於 AUC 只關注相對排名，因此不會影響任何簡單的預測。
這樣會使 AUC 更加完善，因為預測值彼此相鄰。
不同預測值之間的實際分配不會實際影響 AUC。即使是隨機繪製的正向預測值，只有一筆小而高於隨機繪製的負數，進而計為整體 AUC 分數的成功。