دقت یکی از معیارهای ارزیابی مدل های طبقه بندی است. به طور غیررسمی، دقت کسری از پیش‌بینی‌هایی است که مدل ما درست انجام داده است. به طور رسمی، دقت تعریف زیر را دارد:
برای طبقه بندی باینری، دقت را می توان بر حسب مثبت و منفی به صورت زیر محاسبه کرد:
جایی که TP = مثبت واقعی، TN = منفی واقعی، FP = مثبت کاذب، و FN = منفی کاذب.
بیایید دقت را برای مدل زیر محاسبه کنیم که 100 تومور را به عنوان بدخیم (کلاس مثبت) یا خوش خیم (طبقه منفی) طبقه بندی می کند:
مثبت واقعی (TP):
| مثبت کاذب (FP):
|
منفی کاذب (FN):
| منفی واقعی (TN):
|
دقت به 0.91 یا 91% می رسد (91 پیش بینی صحیح از 100 نمونه کل). یعنی طبقه‌بندی کننده تومور ما در شناسایی بدخیمی‌ها کار بسیار خوبی انجام می‌دهد، درست است؟
در واقع، بیایید تجزیه و تحلیل دقیق تری از نکات مثبت و منفی انجام دهیم تا بینش بیشتری نسبت به عملکرد مدل خود به دست آوریم.
از 100 نمونه تومور، 91 مورد خوش خیم (90 TN و 1 FP) و 9 مورد بدخیم هستند (1 TP و 8 FN).
از 91 تومور خوش خیم، مدل به درستی 90 تومور خوش خیم را شناسایی می کند. خوبه. با این حال، از 9 تومور بدخیم، مدل تنها 1 تومور بدخیم را به درستی شناسایی می‌کند - یک نتیجه وحشتناک، زیرا از هر 9 بدخیمی 8 مورد تشخیص داده نمی‌شود!
در حالی که دقت 91 درصد ممکن است در نگاه اول خوب به نظر برسد، یک مدل طبقه‌بندی کننده تومور دیگر که همیشه خوش خیم را پیش‌بینی می‌کند، دقیقاً همان دقت (91/100 پیش‌بینی صحیح) را در نمونه‌های ما به دست می‌آورد. به عبارت دیگر، مدل ما بهتر از مدلی نیست که توانایی پیش‌بینی صفر در تشخیص تومورهای بدخیم از تومورهای خوش‌خیم دارد.
هنگامی که شما با مجموعه داده های نامتعادل کلاسی کار می کنید، مانند این مورد، که در آن تفاوت قابل توجهی بین تعداد برچسب های مثبت و منفی وجود دارد، دقت به تنهایی داستان کامل را بیان نمی کند.
در بخش بعدی، دو معیار بهتر را برای ارزیابی مشکلات کلاس نامتعادل بررسی خواهیم کرد: دقت و یادآوری.