ROC 곡선
ROC 곡선(수신자 조작 특성 곡선)은 모든 분류 임곗값에서 분류 모델의 성능을 보여주는 그래프입니다. 이 곡선은 두 매개변수를 표시합니다.
- 참양성률
- 거짓양성률
참양성률(TPR)은 재현율의 동의어이므로 다음과 같이 정의됩니다.
거짓양성률(FPR)은 다음과 같이 정의됩니다.
ROC 곡선은 다양한 분류 임곗값에서 TPR과 FPR을 보여줍니다. 분류 임곗값을 낮추면 더 많은 항목이 양수로 분류되므로 거짓양성과 참양성이 모두 증가합니다. 다음 그림은 일반적인 ROC 곡선을 보여줍니다.
그림 4. 서로 다른 분류 임곗값에서 TP 비율 대 FP 비율.
ROC 곡선의 포인트를 계산하기 위해 분류 임곗값이 다른 여러 차례의 로지스틱 회귀 모델을 평가했지만, 이는 비효율적입니다. 다행히 이러한 정보를 제공할 수 있는 효율적인 정렬 기반 알고리즘인 AUC가 있습니다.
AUC: ROC 곡선 아래 영역
AUC는 ROC 곡선 아래 영역을 의미합니다. 즉, AUC는 (0,0)에서 (1,1)까지 전체 ROC 곡선 아래에 있는 전체 2차원 영역을 측정합니다 (적분을 생각해 보세요).
그림 5. AUC (ROC 곡선 아래 영역)
AUC는 가능한 모든 분류 임곗값에서 집계된 성능 측정값을 제공합니다. AUC를 해석하는 한 가지 방법은 모델이 임의의 양성 예의 순위를 무작위 음성 예보다 더 높게 평가할 가능성입니다. 예를 들어 다음은 로지스틱 회귀 예측의 오름차순으로 왼쪽에서 오른쪽으로 정렬되는 예시입니다.
그림 6. 예측은 로지스틱 회귀 점수의 오름차순으로 정렬됩니다.
AUC는 임의의 양성 (녹색) 예가 임의의 음성 (빨간색) 예의 오른쪽에 위치할 확률을 나타냅니다.
AUC 값의 범위는 0에서 1 사이입니다. 예측이 100% 틀린 모델의 AUC는 0.0입니다. 예측이 100% 정확할 경우 AUC는 1.0입니다.
AUC는 다음 두 가지 이유로 바람직합니다.
- AUC는 규모 불변입니다. 절댓값이 아닌 예측의 순위를 측정합니다.
- AUC는 분류 기준 불변입니다. 선택한 분류 임곗값과 관계없이 모델의 예측 품질을 측정합니다.
하지만 다음과 같은 이유로 두 가지 주의 사항이 있으며 이는 특정 사용 사례에서 AUC의 유용성을 제한할 수 있습니다.
확장 불변이 항상 바람직한 것은 아닙니다. 예를 들어 잘 보정된 확률 출력이 필요한 경우가 있는데 AUC는 이를 알려주지 않습니다.
분류 임계값 불변이 항상 바람직한 것은 아닙니다. 거짓음성 대비 거짓양성의 비용이 큰 경우 한 가지 유형의 분류 오류를 최소화하는 것이 중요합니다. 예를 들어 이메일 스팸 감지를 실행할 때 거짓양성을 최소화하는 것이 중요할 수 있습니다 (이렇게 하면 거짓음성이 크게 증가하더라도 상관없음). AUC는 이 유형의 최적화에 유용한 측정항목이 아닙니다.