분류: 정확성, 재현율, 정밀도, 관련 측정항목

참양성, 거짓양성, 음성은 몇 가지 유용한 계산을 위해 모델 평가를 위한 측정항목입니다 가장 많은 평가 측정항목 모델 및 작업, 비용에 따라 의미 있는 데이터 세트가 균형 잡힌 것인지 아니면 불균형입니다.

이 섹션의 모든 측정항목은 하나의 고정 임곗값에서 계산됩니다. 기준점이 변경되면 변경됩니다 사용자는 보통 임곗값을 설정하여 이러한 측정항목 중 하나를 최적화할 수 있습니다

정확성

정확성은 긍정적이든 부정적이든 정확하게 분류했습니다. 그것은 다음과 같이 수학적으로 정의됨:

\[\text{Accuracy} = \frac{\text{correct classifications}}{\text{total classifications}} = \frac{TP+TN}{TP+TN+FP+FN}\]

스팸 분류 예에서 정확성은 전체 분류되어 있습니다

완벽한 모델은 거짓양성과 거짓음성이 0이지만 1.0 또는 100%가 됩니다

그것은 실험의 4가지 결과를 모두 통합하기 때문에 혼동 행렬 (TP, FP, TN, FN), 주어진 균형 잡힌 두 클래스에서 비슷한 수의 예가 있는 데이터 세트로, 정확성은 모델 품질의 대략적인 측정 수단으로 사용할 수 있습니다 이러한 이유로 일반 또는 미지정 모델에 사용되는 기본 평가 측정항목 일반적이거나 지정되지 않은 작업 수행

그러나 데이터 세트의 균형이 맞지 않으면 또는 한 종류의 실수 (FN 또는 FP)가 다른 실수보다 더 큰 비용을 발생시키는 경우 대부분의 실제 애플리케이션에서는 한 번에 여러 가지 형식 중 하나에 맞춰 최적화하는 것이 다른 측정항목을 사용하세요

한 클래스가 매우 드물게 나타나는 심하게 불균형한 데이터 세트의 경우 100% 음성 예측 모델은 해당 시간에서 99% 점수를 얻습니다. 정확하다는 것을 알 수 있습니다.

재현율 또는 참양성률

참양성률 (TPR) 또는 참양성의 확률이 양성으로 올바르게 분류되었는데 이는 재현율:

재현율은 수학적으로 다음과 같이 정의됩니다.

\[\text{Recall (or TPR)} = \frac{\text{correctly classified actual positives}}{\text{all actual positives}} = \frac{TP}{TP+FN}\]

거짓음성은 거짓음성으로 잘못 분류된 실제 양성입니다. 분모에 나타납니다. 스팸 분류 예에서 재현율은 이메일이 스팸으로 분류될 때 스팸 재현율의 또 다른 이름은 감지 확률입니다. '이 인식된 스팸 이메일 중 몇 퍼센트가 어떻게 해야 할까요?"

완벽한 가상의 모델은 거짓음성이 0이므로 즉 재현율 (TPR)을 1.0으로 설정해야 합니다.

불균형 데이터 세트에서는 실제 양성의 수가 매우 낮음(예: 총 1~2개의 예시), 재현율이 의미가 적고 유용하지 않음 과시합니다.

거짓양성률

거짓양성률 (FPR) 잘못 분류된 모든 실제 음성의 비율입니다. 오탐률이라고도 합니다. 그것은 다음과 같이 수학적으로 정의됨:

\[\text{FPR} = \frac{\text{incorrectly classified actual negatives}} {\text{all actual negatives}} = \frac{FP}{FP+TN}\]

거짓양성은 잘못 분류된 실제 음성이므로 표시됩니다. 스팸 분류 예에서 FPR은 스팸으로 잘못 분류된 스팸이 아닌 이메일의 일부 또는 경보의 비율을 나타냅니다.

완벽한 모델은 거짓양성이 0이므로 FPR이 0.0, 다시 말해 0% 오탐률입니다

불균형 데이터 세트에서는 실제 음성의 수가 매우 낮음(예: 총 1~2개의 예시) FPR이 의미가 없고 유용성이 떨어짐 과시합니다.

정밀도

정밀도 모델의 모든 양성 분류에 대한 비율 확인할 수 있습니다. 수학적으로 다음과 같이 정의됩니다.

\[\text{Precision} = \frac{\text{correctly classified actual positives}} {\text{everything classified as positive}} = \frac{TP}{TP+FP}\]

스팸 분류 예에서 정밀도는 이메일 실제로는 스팸으로 분류되었습니다

완벽한 가상의 모델은 거짓양성이 0이므로 가장 낮은 정밀도(1.0)를 얻을 수 있습니다

불균형 데이터 세트에서는 실제 양성의 수가 매우 낮음(예: 총 1~2개의 예), 정밀도의 의미가 적고 유용성이 떨어짐 과시합니다.

거짓양성이 감소하면 정밀도가 개선되고, 거짓양성이 감소하면 재현율이 향상됩니다. 거짓음성이 감소한다는 것입니다 그러나 이전 섹션에서 본 것처럼 분류 임곗값을 사용하면 거짓양성의 수를 줄이고 거짓음성의 수를 늘리고 임곗값을 낮추면 효과적일 수 있습니다. 따라서 정밀도와 재현율은 종종 둘 중 하나가 개선되면 다른 하나가 악화될 수 있습니다

직접 해 보기:

측정항목에서 NaN은 무엇을 의미하나요?

NaN 또는 '숫자가 아님' 0으로 나누면 나타납니다. 이 측정항목을 사용할 수 있습니다. 예를 들어 TP와 FP가 모두 0인 경우 정밀도 공식의 분모가 0이므로 NaN이 됩니다. 동안 경우에 따라 NaN이 완벽한 성능을 나타낼 수 있으며 1.0으로 대체되었다면 실질적으로 1.0에 해당하는 모델에서 쓸모없어. 예를 들어 양성을 예측하지 않는 모델에는 TP가 0이 됩니다. 0 FP이므로 정밀도를 계산하면 NaN이 됩니다.

측정항목 선택 및 절충점

모델을 평가할 때 우선순위를 정하는 측정항목 임계값을 선택하는 것은 테스트의 비용, 이점 및 위험을 찾을 수 있습니다 스팸 분류 예에서는 종종 재현율을 우선시하거나, 모든 스팸 이메일을 제거하거나, 정밀도를 스팸 라벨이 지정된 이메일이 실제로 스팸인지 확인하거나 최소 정확도 수준 이상으로 표시합니다.

측정항목 안내
정확성

모델의 대략적인 지표로 사용 균형 있는 데이터 세트의 학습 진행 상황/수렴

모델 성능을 위해 다른 측정항목과 조합해서만 사용하세요.

불균형 데이터 세트를 피하세요. 다른 측정항목을 사용해 보세요.

재현율
(참양성률)
거짓음성이 더 큰 경우 사용 오탐보다 더 비쌉니다.
거짓양성률 거짓양성이 거짓음성보다 더 큰 비용이 듭니다
정밀도 매우 중요할 때 양성 예측이 정확해야 합니다.

(선택사항, 고급) F1 점수

F1 점수는 조화 평균( 평균)의 비율을 나타냅니다.

수학적으로는 다음과 같이 주어집니다.

\[\text{F1}=2*\frac{\text{precision * recall}}{\text{precision + recall}} = \frac{2\text{TP}}{2\text{TP + FP + FN}}\]

이 측정항목은 정밀도와 재현율의 중요도의 균형을 맞추며 클래스 불균형 데이터 세트보다 정확성이 더 낫습니다. 정밀도 두 머신 모두 만점이 1.0인 것을 기억할 경우 F1도 만점을 받을 수 있습니다. 입니다. 좀 더 넓게 보면 정밀도와 재현율의 값이 비슷할 때 F1은 가치를 더할 수 있어야 합니다 정밀도와 재현율이 멀리 떨어져 있을 때 F1은 어느 쪽이든 좋지 않은 측정항목과 유사해야 합니다

연습문제: 학습 내용 점검하기

모델은 TP 5개, TN 6개, FP 3개, FN 2개를 출력합니다. 재현율을 계산합니다.
0.714
재현율은 [\frac{TP}{TP+FN}=\frac{5}{7}]로 계산됩니다.
0.455
재현율은 정답이 아닌 모든 실제 양성을 고려함 사용할 수 있습니다. 재현율 공식은 [\frac{TP}{TP+FN}]입니다.
0.625
재현율은 양성이 아닌 모든 실제 양성을 고려함 사용할 수 있습니다. 재현율 공식은 [\frac{TP}{TP+FN}]입니다.
모델은 TP 3개, TN 4개, FP 2개, FN 1개를 출력합니다. 정밀도를 계산합니다.
0.6
정밀도는 [\frac{TP}{TP+FP}=\frac{3}{5}]로 계산됩니다.
0.75
정밀도는 모든 분류가 아닌 모든 포지티브 분류를 고려함 확인할 수 있습니다. 정밀도 공식은 [\frac{TP}{TP+FP}]입니다.
0.429
정밀도는 모든 분류가 아닌 모든 포지티브 분류를 고려함 정확하게 분류해야 합니다. 정밀도 공식은 [\frac{TP}{TP+FP}]입니다.
곤충 트랩 사진을 확인하는 이진 분류기를 빌드하고 있습니다. 확인할 수 있습니다. 모델이 근무 중인 곤충학자 (곤충 과학자)가 알림을 받습니다. 이름 이 곤충의 탐지는 번식을 방지하는 데 매우 중요합니다. 가 거짓 경보 (거짓양성)는 처리하기 쉽습니다. 곤충학자는 사진이 잘못 분류되어 그렇게 표시합니다. 허용되는 것으로 가정하고 어떤 측정항목에 이 모델을 최적화해야 할까요?
재현율
이 시나리오에서 허위 경보 (FP)는 비용이 저렴하고 결과는 비용이 많이 들어 재현율, 즉 실험 확률을 최대화하는 것이 있습니다
거짓양성률 (FPR)
이 시나리오에서 허위 경보 (FP)는 비용이 저렴합니다. 트라잉 실제 양성을 놓칠 위험이 있지만 이를 최소화하는 방법을 사용하는 것은 알 수 있습니다.
정밀도
이 시나리오에서 거짓 알람 (FP)은 특별히 양성 분류의 정확성을 개선하고자 합니다. 말이 되지 않습니다.