분류: 정확성

정확성은 분류 모델을 평가하는 한 가지 측정항목입니다. 비공식적으로 정확성은 모델이 올바르게 예측한 비율입니다. 공식적으로 정확성의 정의는 다음과 같습니다.

$$\text{Accuracy} = \frac{\text{Number of correct predictions}}{\text{Total number of predictions}}$$

이진 분류에서는 양성 및 음성 측면에서 다음과 같이 정확성을 계산할 수도 있습니다.

$$\text{Accuracy} = \frac{TP+TN}{TP+TN+FP+FN}$$

여기서 TP는 참양성, TN은 참음성, FP는 거짓양성, FN은 거짓음성입니다.

악성(양성 클래스) 또는 양성(네거티브 클래스)으로 분류된 100개 종양의 정확성을 계산해 보겠습니다.

참양성 (TP):
  • 현실: 악성
  • ML 모델 예측: 악성
  • TP 결과 수: 1개
거짓양성 (FP):
  • 현실: 양성
  • ML 모델 예측: 악성
  • FP 결과 수: 1개
거짓음성 (FN):
  • 현실: 악성
  • ML 모델 예측: 양성
  • FN 결과 수: 8
참음성 (TN):
  • 현실: 양성
  • ML 모델 예측: 양성
  • TN 결과 수: 90개
$$\text{Accuracy} = \frac{TP+TN}{TP+TN+FP+FN} = \frac{1+90}{1+90+1+8} = 0.91$$

정확성은 0.91, 즉 91% (총 100개의 예시 중 91개의 올바른 예측)를 나타냅니다. 즉, 종양 분류기가 악성 종양을 잘 식별하도록 하고 있어요.

실제로 양성 및 음성에 대한 상세한 분석을 통해 모델의 성능을 더 자세히 파악할 수 있습니다.

종양 예시 100개 중 91개는 양성이며 (TN 90개 및 FP 1개) 악성 9개 (TP 1개 및 8개 FN)입니다.

91개의 양성 종양 중 모델이 90개 양성 종양을 올바르게 식별합니다. 괜찮아요. 하지만 악성 종양 9개 중에서 악성 종양 1개만 정확히 악성으로 식별합니다. 악성 9개 중 8개는 진단되지 않기 때문이죠.

언뜻 보기에는 91% 의 정확성이 괜찮아 보일 수 있지만 항상 양성으로 예측하는 또 다른 종양 분류기 모델은 이 예에서 정확히 동일한 정확도 (91/100개의 정확한 예측)를 달성합니다. 즉, 모델로서 악성 종양과 양성 종양을 구분하는 예측 능력이 없는 모델보다 낫지 않습니다.

이와 같이 클래스 불균형 데이터 세트를 사용할 때 양성 라벨과 음성 라벨 수 사이에 상당한 차이가 있는 경우 정확성만으로는 모든 것을 알 수 없습니다.

다음 섹션에서는 클래스 불균형 문제를 평가하는 2가지 측정항목인 정밀도와 재현율을 살펴보겠습니다.