ROC ve AUC
Aşağıdaki seçenekleri keşfedin.
Aşağıdaki ROC eğrilerinden hangisi 0,5'ten büyük AUC değerleri sağlar?
Bu, tüm pozitifleri tüm negatif öğelerin üzerinde sıraladığı için mümkün olan en iyi ROC eğrisidir. AUC'si 1,0'dır.
Pratikte, AUC'si 1,0 olan "mükemmel" sınıflandırıcınız varsa modelinizde bir hata oluşabileceğinden şüpheli olmalısınız. Örneğin, eğitim verilerinize fazla uygun olabilirsiniz veya etiket verileri, özelliklerinizden birinde kopyalanabilir.
Bu, mümkün olan en kötü ROC eğrisidir; tüm negatifleri tüm pozitiflerin üstünde sıralar ve AUC'si 0,0'dır. Her tahmini tersine çevirirseniz (negatif öğeleri pozitiflere, negatifleri ise pozitifleri tersine çevirin), tam bir sınıflandırıcıya sahip olursunuz!
Bu ROC eğrisinin AUC'si 0,5'tir.Diğer bir deyişle, rastgele bir örnek örneğin% 50'den daha üst kısmında rastgele bir pozitif örnek sıralanır. Bu nedenle, karşılık gelen sınıflandırma modeli, tahmine dayalı rastgele bir tahminden daha iyi olmadığı için temelde değerli değildir.
Bu ROC eğrisinin 0,5 ile 1,0 arasında bir AUC'si vardır. Diğer bir deyişle, rastgele bir negatif örnekten% 50'den daha fazla rastgele bir pozitif örnek sıralanır. Gerçek dünya ikili sınıflandırma AUC değerleri genellikle bu aralıkta yer alır.
Bu ROC eğrisinin 0 ile 0,5 arasında bir AUC'si vardır.Diğer bir deyişle, rastgele bir negatif örnekten% 50'den daha düşük bir değerde rastgele bir olumlu örnek sıralanır.
İlgili model, rastgele tahminden daha kötü performans gösterir. Buna benzer bir ROC eğrisi görmeniz, muhtemelen verilerinizde bir hata olduğu anlamına gelir.
AUC ve Ölçeklendirme Tahminleri
Aşağıdaki seçenekleri keşfedin.
Belirli bir modeldeki tüm tahminleri 2,0 ile çarparsanız (örneğin, model 0,4 tahmin ederse 0,8 için bir tahmin almak üzere 2,0 ile çarpılır) modelin AUC tarafından ölçülen performansını değiştirir mi?
Değişiklik yok. AUC yalnızca göreli tahmin puanlarına önem verir.
Evet, AUC göreli tahminleri temel alır, bu nedenle göreli sıralamayı koruyan tahminlerin herhangi bir şekilde dönüştürülmesi AUC'yi etkilemez.
Kareli hata, günlük kaybı veya tahmin ön yargısı (daha sonra ele alınır) gibi diğer metrikler için böyle bir durum geçerli değildir.
Tahmin değerleri şimdi devre dışı olduğundan AUC'yi korkunç bir hale getirirdi.
İşin ilginç tarafı, tahmin değerleri farklı olsa da (gerçeğinden çok daha uzak) olsa da tüm tahminleri 2,0 ile çarptığınızda tahmin değerlerinin göreli sıralamaları aynı kalır. AUC yalnızca göreceli sıralamalara önem verdiği için tahminlerin basit şekilde ölçeklendirilmesinden etkilenmez.
Tahmin değerlerinin tümü birbirinden uzakta olduğundan AUC'yi daha iyi hale getirirdi.
Tahminler arasındaki yayılma miktarı AUC'yi etkilemez. Rastgele çizilmiş gerçek pozitif için tahmin puanı bile rastgele çizilmiş negatiften daha küçük bir epsilondur ve bu, genel AUC puanına katkıda bulunan bir başarı olarak sayılır.