সঠিকতা
নীচের বিকল্পগুলি অন্বেষণ করুন.
নিম্নলিখিত কোন পরিস্থিতিতে উচ্চ নির্ভুলতার মান নির্দেশ করবে যে ML মডেল একটি ভাল কাজ করছে?
একটি মারাত্মক, কিন্তু নিরাময়যোগ্য, চিকিৎসা অবস্থা জনসংখ্যার .01% আক্রান্ত করে। একটি ML মডেল বৈশিষ্ট্য হিসাবে উপসর্গ ব্যবহার করে এবং 99.99% এর নির্ভুলতার সাথে এই দুর্দশার পূর্বাভাস দেয়।
নির্ভুলতা এখানে একটি দুর্বল মেট্রিক। সর্বোপরি, এমনকি একটি "বোবা" মডেল যা সর্বদা "অসুস্থ নয়" ভবিষ্যদ্বাণী করে এখনও 99.99% সঠিক হবে। যে ব্যক্তি আসলে অসুস্থ তার জন্য ভুলভাবে "অসুস্থ নয়" ভবিষ্যদ্বাণী করা মারাত্মক হতে পারে।
একটি ব্যয়বহুল রোবোটিক মুরগি দিনে এক হাজার বার খুব ব্যস্ত রাস্তা পার হয়। একটি ML মডেল ট্র্যাফিক প্যাটার্নগুলি মূল্যায়ন করে এবং ভবিষ্যদ্বাণী করে যে কখন এই মুরগিটি 99.99% এর নির্ভুলতার সাথে নিরাপদে রাস্তা পার হতে পারে৷
একটি খুব ব্যস্ত রাস্তায় একটি 99.99% নির্ভুলতার মান দৃঢ়ভাবে পরামর্শ দেয় যে ML মডেলটি সুযোগের চেয়ে অনেক ভাল। কিছু সেটিংসে, যদিও, অল্প সংখ্যক ভুল করার খরচ এখনও অনেক বেশি। 99.99% নির্ভুলতার অর্থ হল ব্যয়বহুল মুরগির প্রতি 10 দিনে গড়ে প্রতিস্থাপন করতে হবে। (মুরগিটি আঘাত করে এমন গাড়ির ব্যাপক ক্ষতিও করতে পারে।)
রুলেট খেলায়, একটি বল একটি স্পিনিং হুইলে ড্রপ করা হয় এবং অবশেষে 38টি স্লটের একটিতে অবতরণ করে। ভিজ্যুয়াল ফিচার ব্যবহার করে (বলের স্পিন, বলটি ড্রপ করার সময় চাকার অবস্থান, চাকার ওপরে বলের উচ্চতা), একটি এমএল মডেল স্লটে ভবিষ্যদ্বাণী করতে পারে যে বলটি 4% নির্ভুলতার সাথে অবতরণ করবে। .
এই এমএল মডেল সুযোগের চেয়ে অনেক ভালো ভবিষ্যদ্বাণী করছে; একটি এলোমেলো অনুমান সঠিক হবে 1/38 সময়ের - 2.6% এর নির্ভুলতা। যদিও মডেলটির যথার্থতা "কেবল" 4%, সাফল্যের সুবিধাগুলি ব্যর্থতার অসুবিধাগুলিকে ছাড়িয়ে যায়৷
যথার্থতা
নীচের বিকল্পগুলি অন্বেষণ করুন.
একটি শ্রেণিবিন্যাস মডেল বিবেচনা করুন যা ইমেলকে দুটি বিভাগে বিভক্ত করে: "স্প্যাম" বা "স্প্যাম নয়।" আপনি যদি শ্রেণীবিভাগের থ্রেশহোল্ড বাড়ান, তাহলে নির্ভুলতার কী হবে?
অবশ্যই বাড়বে।
শ্রেণিবিন্যাস থ্রেশহোল্ড বাড়ানো সাধারণত নির্ভুলতা বৃদ্ধি করে; যাইহোক, আমরা থ্রেশহোল্ড বাড়াতে গিয়ে নির্ভুলতা একঘেয়েভাবে বাড়ানোর নিশ্চয়তা দেওয়া হয় না।
সম্ভবত বৃদ্ধি।
সাধারণভাবে, শ্রেণীবিন্যাস থ্রেশহোল্ড বাড়ানো মিথ্যা ইতিবাচক হ্রাস করে, এইভাবে নির্ভুলতা বাড়ায়।
সম্ভবত কমবে।
সাধারণভাবে, শ্রেণীবিন্যাস থ্রেশহোল্ড বাড়ানো মিথ্যা ইতিবাচক হ্রাস করে, এইভাবে নির্ভুলতা বাড়ায়।
অবশ্যই কমবে।
সাধারণভাবে, শ্রেণীবিন্যাস থ্রেশহোল্ড বাড়ানো মিথ্যা ইতিবাচক হ্রাস করে, এইভাবে নির্ভুলতা বাড়ায়।
স্মরণ করুন
নীচের বিকল্পগুলি অন্বেষণ করুন.
একটি শ্রেণিবিন্যাস মডেল বিবেচনা করুন যা ইমেলকে দুটি বিভাগে বিভক্ত করে: "স্প্যাম" বা "স্প্যাম নয়।" আপনি যদি শ্রেণীবিভাগের থ্রেশহোল্ড বাড়ান, তাহলে প্রত্যাহার করার কী হবে?
সবসময় বৃদ্ধি.
শ্রেণীবিন্যাস থ্রেশহোল্ড বাড়ানোর ফলে নিম্নলিখিত উভয়ই ঘটবে:
- প্রকৃত ইতিবাচক সংখ্যা কমবে বা একই থাকবে।
- মিথ্যা নেতিবাচক সংখ্যা বাড়বে বা একই থাকবে।
সর্বদা হ্রাস করুন বা একই থাকুন।
আমাদের শ্রেণীবিভাগের থ্রেশহোল্ড বাড়ানোর ফলে প্রকৃত ইতিবাচক সংখ্যা কমে যাবে বা একই থাকবে এবং মিথ্যা নেতিবাচকের সংখ্যা বৃদ্ধি পাবে বা একই থাকবে। এইভাবে, প্রত্যাহার হয় স্থির থাকবে বা হ্রাস পাবে।
সর্বদা অবিচল থাকুন।
আমাদের শ্রেণীবিভাগের থ্রেশহোল্ড বাড়ানোর ফলে প্রকৃত ইতিবাচক সংখ্যা কমে যাবে বা একই থাকবে এবং মিথ্যা নেতিবাচকের সংখ্যা বৃদ্ধি পাবে বা একই থাকবে। এইভাবে, প্রত্যাহার হয় স্থির থাকবে বা হ্রাস পাবে।
যথার্থতা এবং প্রত্যাহার
নীচের বিকল্পগুলি অন্বেষণ করুন.
দুটি মডেল বিবেচনা করুন - A এবং B - যেগুলি প্রতিটি একই ডেটাসেটকে মূল্যায়ন করে৷ নিম্নলিখিত বিবৃতি কোনটি সত্য?
যদি মডেল A মডেল B এর চেয়ে ভাল নির্ভুলতা থাকে, তাহলে মডেল A ভাল।
যদিও ভাল নির্ভুলতা ভাল, এটি প্রত্যাহারে একটি বড় হ্রাসের ব্যয়ে আসতে পারে। সাধারণভাবে, আমাদের যথার্থতা এবং প্রত্যাহার উভয়কেই একসাথে দেখতে হবে, বা AUC-এর মতো সারাংশ মেট্রিক্স যা আমরা পরবর্তীতে আলোচনা করব।
যদি মডেল A-এর মডেল B এর চেয়ে ভাল রিকল থাকে তবে মডেল A আরও ভাল।
যদিও আরও ভাল স্মরণ করা ভাল, এটি স্পষ্টতার একটি বড় হ্রাসের ব্যয়ে আসতে পারে। সাধারণভাবে, আমাদের যথার্থতা এবং প্রত্যাহার উভয়কেই একসাথে দেখতে হবে, বা AUC-এর মতো সারাংশ মেট্রিক, যা আমরা পরবর্তীতে আলোচনা করব।
মডেল A এর যদি মডেল B এর চেয়ে ভাল নির্ভুলতা এবং ভাল স্মরণ থাকে তবে মডেল A সম্ভবত ভাল।
সাধারণভাবে, একটি মডেল যা নির্ভুলতা এবং প্রত্যাহার উভয় ক্ষেত্রেই অন্য মডেলকে ছাড়িয়ে যায় সম্ভবত ভাল মডেল। স্পষ্টতই, আমাদের নিশ্চিত করতে হবে যে তুলনাটি একটি নির্ভুল/রিকল পয়েন্টে করা হচ্ছে যা এটি অর্থপূর্ণ হওয়ার জন্য অনুশীলনে কার্যকর। উদাহরণ স্বরূপ, ধরুন আমাদের স্প্যাম শনাক্তকরণ মডেলকে উপযোগী হতে এবং অপ্রয়োজনীয় মিথ্যা অ্যালার্ম এড়াতে কমপক্ষে 90% নির্ভুলতা থাকা দরকার। এই ক্ষেত্রে, একটি মডেলের সাথে {20% নির্ভুলতা, 99% রিকল} অন্যটির সাথে {15% নির্ভুলতা, 98% রিকল} তুলনা করা বিশেষভাবে শিক্ষামূলক নয়, কারণ কোনো মডেলই 90% নির্ভুলতার প্রয়োজনীয়তা পূরণ করে না। কিন্তু সেই সতর্কতা মাথায় রেখে, নির্ভুলতা এবং স্মরণ ব্যবহার করার সময় মডেলগুলির তুলনা করার বিষয়ে চিন্তা করার এটি একটি ভাল উপায়।