ন্যায্যতা: আপনার জ্ঞান পরীক্ষা করুন

সত্য বা মিথ্যা: ঐতিহাসিক পক্ষপাত ঘটে যখন একটি মডেলকে পুরানো তথ্যের উপর প্রশিক্ষণ দেওয়া হয়।

সত্য

মিথ্যা

প্রকৌশলীরা পরিবেশন আকার, উপাদান এবং প্রস্তুতির কৌশল সহ বিশ্বজুড়ে রেসিপি ওয়েবসাইটগুলি থেকে স্ক্র্যাপ করা বিভিন্ন বৈশিষ্ট্যের ডেটার উপর ভিত্তি করে খাবারের ক্যালোরি সামগ্রীর পূর্বাভাস দেওয়ার জন্য একটি রিগ্রেশন মডেল প্রশিক্ষণ দিচ্ছেন৷ নিম্নলিখিত কোন ডেটা সমস্যাগুলি পক্ষপাতের সম্ভাব্য উত্স যা আরও তদন্ত করা উচিত?

সব সঠিক উত্তর বেছে নিন।

40,000টি প্রশিক্ষণের উদাহরণের মধ্যে প্রায় 4,000টিতে "পরিষেবা আকার" বৈশিষ্ট্যটির জন্য একটি মান অনুপস্থিত ছিল।

প্রশিক্ষণের উদাহরণগুলির প্রায় 5,000টি ইম্পেরিয়াল ইউনিটে (আউন্স, পাউন্ড, ইত্যাদি) পরিমাপ ছিল, যেখানে অন্য 35,000 উদাহরণগুলির মেট্রিক ইউনিটে (গ্রাম, লিটার, ইত্যাদি) পরিমাপ ছিল।

40,000 প্রশিক্ষণের উদাহরণগুলির মধ্যে প্রায় 100টির মধ্যে উপাদানের মান ছিল যা ভুল হওয়ার সম্ভাবনা বেশি বলে মনে হয়েছিল (যেমন, 100টি মাখনের লাঠি)।

কিছু জনপ্রিয় খাবার অন্যান্য জনপ্রিয় খাবারের তুলনায় প্রশিক্ষণের তথ্যে উপস্থাপিত ছিল (যেমন, ডোসার জন্য 200টি প্রশিক্ষণ উদাহরণ ছিল, কিন্তু পিজ্জার জন্য মাত্র 10টি)।

80,000 টেক্সট বার্তার উপর একটি ব্যঙ্গাত্মক-সনাক্তকরণ মডেলকে প্রশিক্ষণ দেওয়া হয়েছিল: 40,000টি বার্তা প্রাপ্তবয়স্কদের (18 বছর বা তার বেশি) এবং 40,000টি অপ্রাপ্তবয়স্কদের পাঠানো (18 বছরের কম বয়সী)। মডেলটি তখন 20,000টি বার্তার একটি পরীক্ষামূলক সেটে মূল্যায়ন করা হয়েছিল: 10,000টি প্রাপ্তবয়স্কদের থেকে এবং 10,000টি অপ্রাপ্তবয়স্কদের থেকে। নিম্নলিখিত বিভ্রান্তি ম্যাট্রিক্স প্রতিটি গ্রুপের জন্য ফলাফল দেখায় (একটি ইতিবাচক ভবিষ্যদ্বাণী "ব্যঙ্গাত্মক" এর শ্রেণীবিভাগকে নির্দেশ করে; একটি নেতিবাচক ভবিষ্যদ্বাণী "ব্যঙ্গাত্মক নয়" এর শ্রেণীবিভাগকে নির্দেশ করে):

প্রাপ্তবয়স্কদের

ট্রু পজিটিভ (টিপি): 512	মিথ্যা ইতিবাচক (FPs): 51
মিথ্যা নেতিবাচক (FNs): 36	সত্য নেতিবাচক (TNs): 9401
যথার্থতা = TP/(TP + FP) = 0.909
রিকল = TP/(TP + FN) = 0.934

নাবালক

ট্রু পজিটিভ (টিপি): 2147	মিথ্যা ইতিবাচক (FPs): 96
মিথ্যা নেতিবাচক (FNs): 2177	ট্রু নেগেটিভ (TNs): 5580
যথার্থতা = TP/(TP + FP) = 0.957
রিকল = TP/(TP + FN) = 0.497

মডেলের টেস্ট-সেট কর্মক্ষমতা সম্পর্কে নিচের কোন বিবৃতিটি সত্য?

সব সঠিক উত্তর বেছে নিন।

মডেলটি অপ্রাপ্তবয়স্কদের উদাহরণগুলির চেয়ে প্রাপ্তবয়স্কদের উদাহরণগুলিতে ভাল পারফর্ম করে৷

প্রাপ্তবয়স্কদের দ্বারা প্রেরিত 10,000 বার্তা একটি শ্রেণি-ভারসাম্যহীন ডেটাসেট।

অপ্রাপ্তবয়স্কদের পাঠানো 10,000 বার্তাগুলি একটি শ্রেণি-ভারসাম্যহীন ডেটাসেট।

অপ্রাপ্তবয়স্কদের পাঠানো প্রায় 50% বার্তাগুলিকে ভুলভাবে "ব্যঙ্গাত্মক" হিসাবে শ্রেণীবদ্ধ করা হয়।

মডেলটি অপ্রাপ্তবয়স্কদের ব্যঙ্গাত্মক বার্তাগুলির প্রায় 50%কে "ব্যঙ্গাত্মক" হিসাবে শ্রেণীবদ্ধ করতে ব্যর্থ হয়।

নিচের কোন অনুমান উপরের ব্যঙ্গাত্মক-সনাক্তকরণ মডেলের জন্য পরীক্ষা সেটে উপগোষ্ঠী কর্মক্ষমতার অসঙ্গতি ব্যাখ্যা করতে পারে?

সব সঠিক উত্তর বেছে নিন।

মডেলটি "ব্যঙ্গাত্মক" ভবিষ্যদ্বাণী করার পক্ষে খুব বেশি ভুল করে। ফলস্বরূপ, অপ্রাপ্তবয়স্কদের পাঠ্য বার্তাগুলিকে শ্রেণিবদ্ধ করার সময় এটি আরও ত্রুটি করে, কারণ পরীক্ষার সেটে অপ্রাপ্তবয়স্কদের থেকে আরও ব্যঙ্গাত্মক বার্তা রয়েছে৷

মডেলটিকে প্রাপ্তবয়স্কদের তুলনায় অপ্রাপ্তবয়স্কদের থেকে বেশি নেতিবাচক (ব্যঙ্গাত্মক নয়) উদাহরণের ভিত্তিতে মূল্যায়ন করা হয়েছিল, যার ফলে অপ্রাপ্তবয়স্কদের জন্য আরও ত্রুটি দেখা দিয়েছে।

অপ্রাপ্তবয়স্কদের পাঠ্য বার্তাগুলিতে ব্যঙ্গাত্মক ছিল আরও সূক্ষ্ম, এবং এইভাবে মডেল দ্বারা পতাকাঙ্কিত হওয়ার সম্ভাবনা কম।

অপ্রাপ্তবয়স্কদের তুলনায় প্রাপ্তবয়স্কদের কাছ থেকে প্রকৃত ব্যঙ্গাত্মক বার্তা অনেক কম। যদি মডেলটিকে প্রাপ্তবয়স্ক বার্তাগুলির আরও শ্রেণী-ভারসাম্যযুক্ত সেটের উপর মূল্যায়ন করা হয়, তবে সেই উপগোষ্ঠীর জন্য এটি প্রত্যাহার করা যেতে পারে।

প্রকৌশলীরা বয়স জনসংখ্যা জুড়ে ব্যঙ্গাত্মক-সনাক্তকরণের নির্ভুলতার অসঙ্গতিগুলিকে মোকাবেলা করার জন্য উপরের কটাক্ষ মডেলটিকে পুনরায় প্রশিক্ষণ দেওয়ার জন্য কাজ করছেন, তবে মডেলটি ইতিমধ্যে উত্পাদনে প্রকাশ করা হয়েছে। নিচের কোন স্টপগ্যাপ কৌশলটি মডেলের ভবিষ্যদ্বাণীতে ত্রুটি কমাতে সাহায্য করবে?

অপ্রাপ্তবয়স্কদের পাঠানো পাঠ্য বার্তাগুলিতে মডেলের ব্যবহার সীমাবদ্ধ করুন৷

মডেল আউটপুট সামঞ্জস্য করুন যাতে এটি অপ্রাপ্তবয়স্কদের দ্বারা পাঠানো সমস্ত পাঠ্য বার্তাগুলির জন্য "ব্যঙ্গাত্মক" ফেরত দেয়, মডেলটি মূলত যা পূর্বাভাস দিয়েছে তা নির্বিশেষে৷

যখন মডেলটি অপ্রাপ্তবয়স্কদের পাঠানো টেক্সট বার্তাগুলির জন্য "ব্যঙ্গাত্মক নয়" ভবিষ্যদ্বাণী করে, তখন আউটপুট সামঞ্জস্য করুন যাতে মডেলটি পরিবর্তে "অনিশ্চিত" একটি মান প্রদান করে৷