정확성은 분류 모델을 평가하는 한 가지 측정항목입니다. 비공식적으로 정확성은 모델이 올바르게 예측한 비율입니다. 공식적으로 정확성의 정의는 다음과 같습니다.
이진 분류에서는 양성 및 음성 측면에서 다음과 같이 정확성을 계산할 수도 있습니다.
여기서 TP는 참양성, TN은 참음성, FP는 거짓양성, FN은 거짓음성입니다.
악성(양성 클래스) 또는 양성(네거티브 클래스)으로 분류된 100개 종양의 정확성을 계산해 보겠습니다.
참양성 (TP):
|
거짓양성 (FP):
|
거짓음성 (FN):
|
참음성 (TN):
|
정확성은 0.91, 즉 91% (총 100개의 예시 중 91개의 올바른 예측)를 나타냅니다. 즉, 종양 분류기가 악성 종양을 잘 식별하도록 하고 있어요.
실제로 양성 및 음성에 대한 상세한 분석을 통해 모델의 성능을 더 자세히 파악할 수 있습니다.
종양 예시 100개 중 91개는 양성이며 (TN 90개 및 FP 1개) 악성 9개 (TP 1개 및 8개 FN)입니다.
91개의 양성 종양 중 모델이 90개 양성 종양을 올바르게 식별합니다. 괜찮아요. 하지만 악성 종양 9개 중에서 악성 종양 1개만 정확히 악성으로 식별합니다. 악성 9개 중 8개는 진단되지 않기 때문이죠.
언뜻 보기에는 91% 의 정확성이 괜찮아 보일 수 있지만 항상 양성으로 예측하는 또 다른 종양 분류기 모델은 이 예에서 정확히 동일한 정확도 (91/100개의 정확한 예측)를 달성합니다. 즉, 모델로서 악성 종양과 양성 종양을 구분하는 예측 능력이 없는 모델보다 낫지 않습니다.
이와 같이 클래스 불균형 데이터 세트를 사용할 때 양성 라벨과 음성 라벨 수 사이에 상당한 차이가 있는 경우 정확성만으로는 모든 것을 알 수 없습니다.
다음 섹션에서는 클래스 불균형 문제를 평가하는 2가지 측정항목인 정밀도와 재현율을 살펴보겠습니다.