শ্রেণিবিন্যাস মডেলের মূল্যায়নের জন্য সঠিকতা হল একটি মেট্রিক। অনানুষ্ঠানিকভাবে, সঠিকতা হল ভবিষ্যদ্বাণীগুলির ভগ্নাংশ যা আমাদের মডেল সঠিক হয়েছে৷ আনুষ্ঠানিকভাবে, নির্ভুলতার নিম্নলিখিত সংজ্ঞা রয়েছে:
বাইনারি শ্রেণীবিভাগের জন্য, নির্ভুলতা ইতিবাচক এবং নেতিবাচকের পরিপ্রেক্ষিতে নিম্নরূপ গণনা করা যেতে পারে:
যেখানে TP = True Positives, TN = True Negatives, FP = False Positives, এবং FN = False Negative।
আসুন নিম্নলিখিত মডেলের জন্য নির্ভুলতা গণনা করার চেষ্টা করি যা 100 টি টিউমারকে ম্যালিগন্যান্ট (ধনাত্মক শ্রেণী) বা সৌম্য (নেতিবাচক শ্রেণী) হিসাবে শ্রেণীবদ্ধ করেছে:
ট্রু পজিটিভ (TP):
| ফলস পজিটিভ (FP):
|
মিথ্যা নেতিবাচক (FN):
| ট্রু নেগেটিভ (TN):
|
নির্ভুলতা 0.91 বা 91% (মোট 100টি উদাহরণের মধ্যে 91টি সঠিক ভবিষ্যদ্বাণী)। তার মানে আমাদের টিউমার ক্লাসিফায়ার ম্যালিগন্যান্সি সনাক্ত করার জন্য একটি দুর্দান্ত কাজ করছে, তাই না?
আসলে, আমাদের মডেলের কর্মক্ষমতা সম্পর্কে আরও অন্তর্দৃষ্টি পেতে ইতিবাচক এবং নেতিবাচকগুলির একটি ঘনিষ্ঠ বিশ্লেষণ করা যাক৷
100 টি টিউমার উদাহরণের মধ্যে 91 টি সৌম্য (90 টিএন এবং 1 এফপি) এবং 9টি ম্যালিগন্যান্ট (1 টিপি এবং 8 এফএন)।
91 টি সৌম্য টিউমারের মধ্যে, মডেলটি 90 টি সৌম্য হিসাবে সঠিকভাবে সনাক্ত করে। এটা ভালো. যাইহোক, 9টি ম্যালিগন্যান্ট টিউমারের মধ্যে, মডেলটি সঠিকভাবে 1টিকে ম্যালিগন্যান্ট হিসাবে চিহ্নিত করে-একটি ভয়ানক পরিণতি, কারণ 9টি ম্যালিগন্যান্সির মধ্যে 8টি নির্ণয় করা যায় না!
যদিও 91% নির্ভুলতা প্রথম নজরে ভাল বলে মনে হতে পারে, অন্য একটি টিউমার-ক্ল্যাসিফায়ার মডেল যা সর্বদা সৌম্য ভবিষ্যদ্বাণী করে আমাদের উদাহরণগুলিতে ঠিক একই নির্ভুলতা (91/100 সঠিক ভবিষ্যদ্বাণী) অর্জন করবে। অন্য কথায়, আমাদের মডেলটি এমন একটির চেয়ে ভাল নয় যার শূন্য ভবিষ্যদ্বাণী করার ক্ষমতা রয়েছে যেটি সৌম্য টিউমার থেকে ম্যালিগন্যান্ট টিউমারকে আলাদা করতে পারে।
যখন আপনি একটি শ্রেণী-ভারসাম্যহীন ডেটা সেটের সাথে কাজ করছেন তখন একা সঠিকতা পুরো গল্পটি বলে না, যেমন এটি একটি, যেখানে ইতিবাচক এবং নেতিবাচক লেবেলের সংখ্যার মধ্যে উল্লেখযোগ্য বৈষম্য রয়েছে৷
পরবর্তী বিভাগে, আমরা শ্রেণী-ভারসাম্যহীন সমস্যাগুলি মূল্যায়নের জন্য দুটি ভাল মেট্রিক দেখব: নির্ভুলতা এবং প্রত্যাহার।