Sınıflandırma: Hassasiyet ve Hatırlanabilirlik

Tahmini süre: 9 dakika

Hassasiyet

Hassasiyet, aşağıdaki soruyu yanıtlamaya çalışır:

Olumlu kimliklerin ne kadarı doğruydu?

Hassasiyet aşağıdaki şekilde tanımlanır:

$$\text{Precision} = \frac{TP}{TP+FP}$$

Not: Yanlış pozitifler oluşturmayan bir modelin kesinliği 1,0'dır.

Tümörleri analiz eden önceki bölümden makine öğrenimi modelimizin kesinliğini hesaplayalım:

Gerçek Pozitifler (TP): 1	Yanlış Pozitifler (yanlış pozitifler): 1
Yanlış negatifler (yanlış negatifler): 8	Gerçek Negatifler (TN'ler): 90

$$\text{Precision} = \frac{TP}{TP+FP} = \frac{1}{1+1} = 0.5$$

Modelimizin hassasiyeti 0, 5'tir.Diğer bir deyişle, bir tümörün kötü huylu olduğu tahmin edildiğinde% 50 doğrudur.

Geri çağırma

Geri çağırma aşağıdaki soruyu yanıtlamaya çalışır:

Gerçek pozitiflerin ne kadarı doğru tanımlandı?

Matematiksel olarak, geri çağırma aşağıdaki şekilde tanımlanır:

$$\text{Recall} = \frac{TP}{TP+FN}$$

Not: Yanlış negatif oluşturmayan bir modelin 1,0 geri çağırması bulunur.

Tümör sınıflandırıcımız için geri çağırmayı hesaplayalım:

Gerçek Pozitifler (TP): 1	Yanlış Pozitifler (yanlış pozitifler): 1
Yanlış negatifler (yanlış negatifler): 8	Gerçek Negatifler (TN'ler): 90

$$\text{Recall} = \frac{TP}{TP+FN} = \frac{1}{1+8} = 0.11$$

Modelimizin geri çağırmaları 0,11'dir.Diğer bir deyişle, tüm kötü huylu tümörlerin% 11'ini doğru bir şekilde tanımlar.

Hassasiyet ve Hatırlanabilirlik: Savaş Vuruşu

Bir modelin etkinliğini tam olarak değerlendirmek için hem hassasiyeti hem de geri çağırmayı incelemeniz gerekir. Maalesef hassasiyet ve geri çağırma çoğu zaman gergindir. Yani hassasiyeti artırmak, genellikle hatırlanabilirliği azaltır. Bir e-posta sınıflandırma modelinin 30 tahminini gösteren aşağıdaki resme bakarak bu fikri keşfedin. Sınıflandırma eşiğinin sağındakiler "spam" olarak, sol taraftakiler ise "spam değil" olarak sınıflandırılır.

Şekil 1. E-posta iletilerini spam veya spam değil olarak sınıflandırma.

Şekil 1'de gösterilen sonuçlara göre hassasiyeti ve geri çağırmayı hesaplayalım:

Gerçek Pozitifler (TP): 8	Yanlış Pozitifler (FP): 2
Yanlış Negatifler (FN): 3	Gerçek Negatifler (TN): 17

Hassasiyet, doğru şekilde sınıflandırılmış spam olarak işaretlenen e-postaların yüzdesini (yani 1. şekilde eşik çizgisinin sağındaki yeşil nokta) yüzdesini ölçer:

$$\text{Precision} = \frac{TP}{TP + FP} = \frac{8}{8+2} = 0.8$$

Geri çağırma, doğru şekilde sınıflandırılmış gerçek spam e-postaların yüzdesini, yani Şekil 1'deki eşik satırının sağındaki yeşil noktaların yüzdesini ölçer:

$$\text{Recall} = \frac{TP}{TP + FN} = \frac{8}{8 + 3} = 0.73$$

2. şekilde, sınıflandırma eşiğini yükseltmenin etkisi gösterilmektedir.

Şekil 2. Sınıflandırma eşiğini artırma.

Yanlış pozitiflerin sayısı azalır ancak yanlış negatifler artar. Sonuç olarak, hassasiyet artarken geri çağırma azalır:

Gerçek Pozitifler (TP): 7	Yanlış Pozitifler (yanlış pozitif): 1
Yanlış Negatifler (FN): 4	Gerçek Negatifler (TN): 18

$$\text{Precision} = \frac{TP}{TP + FP} = \frac{7}{7+1} = 0.88$$ $$\text{Recall} = \frac{TP}{TP + FN} = \frac{7}{7 + 4} = 0.64$$

Öte yandan, Şekil 3, sınıflandırma eşiğini düşürmenin (Şekil 1'deki orijinal konumundan) etkisini göstermektedir.

3. Şekil. Sınıflandırma eşiğini düşürme.

Yanlış pozitifler artar, yanlış negatifler ise azalır. Sonuç olarak, bu sefer hassasiyet azalır ve geri çağırma artar:

Gerçek Pozitifler (TP): 9	Yanlış Pozitifler (yanlış pozitif): 3
Yanlış Negatifler (FN): 2	Gerçek Negatifler (TN): 16

$$\text{Precision} = \frac{TP}{TP + FP} = \frac{9}{9+3} = 0.75$$ $$\text{Recall} = \frac{TP}{TP + FN} = \frac{9}{9 + 2} = 0.82$$

Hem kesinliğe hem de geri çağırmaya dayanan çeşitli metrikler geliştirilmiştir. Örneğin, F1 puanı başlıklı makaleyi inceleyin.

 

Temel Terimler

hassasiyeti

hatırla