আপনার এমএল বাস্তবায়ন কাজের মূল্য ছিল কিনা আপনি কিভাবে জানবেন? আপনি কখন উদযাপন শুরু করবেন: মডেলটি উৎপাদনে যাওয়ার পরে এবং তার প্রথম ভবিষ্যদ্বাণী পরিবেশন করার ঠিক পরে, অথবা শুধুমাত্র একটি পরিমাণগত ব্যবসায়িক মেট্রিক সঠিক দিকে যেতে শুরু করার পরে?
একটি প্রকল্প শুরু করার আগে, আপনার সাফল্যের মেট্রিক্স সংজ্ঞায়িত করা এবং ডেলিভারেবলগুলিতে সম্মত হওয়া গুরুত্বপূর্ণ। আপনাকে নিম্নলিখিত দুটি ধরণের মেট্রিক্স সংজ্ঞায়িত এবং ট্র্যাক করতে হবে:
ব্যবসার পরিমাপ। ব্যবসায়িক কর্মক্ষমতা পরিমাপ করার জন্য মেট্রিক্স, উদাহরণস্বরূপ, রাজস্ব, ক্লিক-থ্রু রেট বা ব্যবহারকারীর সংখ্যা।
মডেল মেট্রিক্স। মডেলের গুণমান পরিমাপ করার জন্য মেট্রিক্স , উদাহরণস্বরূপ, রুট মিন স্কোয়ারড ত্রুটি , নির্ভুলতা বা প্রত্যাহার ।
ব্যবসার পরিমাপ
ব্যবসার মেট্রিক্স সবচেয়ে গুরুত্বপূর্ণ। আপনি ML ব্যবহার করছেন এই কারণে: আপনি ব্যবসার উন্নতি করতে চান।
পরিমাপযোগ্য পণ্য বা ব্যবসার মেট্রিক্স দিয়ে শুরু করুন। মেট্রিক যতটা সম্ভব দানাদার এবং ফোকাস করা উচিত। নিম্নোক্ত ফোকাসড, পরিমাপযোগ্য ব্যবসায়িক মেট্রিক্সের উদাহরণ:
- একটি ডেটাসেন্টারের মাসিক বৈদ্যুতিক খরচ 30 শতাংশ কমিয়ে দিন।
- পণ্যের সুপারিশ থেকে আয় 12 শতাংশ বৃদ্ধি করুন।
- ক্লিক-থ্রু রেট 9 শতাংশ বৃদ্ধি করুন।
- অপ্ট-ইন সার্ভে থেকে গ্রাহকের মনোভাব 20 শতাংশ বৃদ্ধি করুন।
- পৃষ্ঠায় সময় 4 শতাংশ বৃদ্ধি করুন।
ব্যবসার মেট্রিক্স ট্র্যাকিং
আপনি যে ব্যবসায়িক মেট্রিকটি উন্নত করতে চান তা ট্র্যাক না করলে, এটি করার জন্য পরিকাঠামো বাস্তবায়ন করে শুরু করুন। ক্লিক-থ্রু রেট 15% বাড়ানোর লক্ষ্য নির্ধারণ করা যৌক্তিক নয় যদি আপনি বর্তমানে ক্লিক-থ্রু রেট পরিমাপ না করছেন।
আরও গুরুত্বপূর্ণ, নিশ্চিত করুন যে আপনি আপনার সমস্যার জন্য সঠিক মেট্রিক পরিমাপ করছেন। উদাহরণস্বরূপ, যদি আরও গুরুত্বপূর্ণ মেট্রিক সুপারিশ থেকে আয় হতে পারে তবে ক্লিক-থ্রু রেট ট্র্যাক করার জন্য উপকরণ লেখার জন্য সময় ব্যয় করবেন না।
আপনার প্রকল্পের অগ্রগতির সাথে সাথে, আপনি বুঝতে পারবেন লক্ষ্য সাফল্যের মেট্রিক আসলে একটি বাস্তবসম্মত লক্ষ্য কিনা। কিছু ক্ষেত্রে, আপনি নির্ধারণ করতে পারেন যে সংজ্ঞায়িত সাফল্যের মেট্রিক্সের কারণে প্রকল্পটি কার্যকর নয়।
মডেল মেট্রিক্স
আপনি কখন মডেলটি উৎপাদনে রাখবেন? যখন AUC একটি নির্দিষ্ট মান থাকে? যখন মডেল একটি নির্দিষ্ট F1 স্কোরে পৌঁছায়? এই প্রশ্নের উত্তর নির্ভর করে আপনি যে ধরনের সমস্যার সমাধান করছেন এবং আপনার ব্যবসায়িক মেট্রিক উন্নত করতে হবে বলে আপনি মনে করেন ভবিষ্যদ্বাণীর গুণমান।
কোন মেট্রিক্সের বিরুদ্ধে আপনার মডেলকে মূল্যায়ন করতে হবে তা নির্ধারণ করার সময়, নিম্নলিখিতগুলি বিবেচনা করুন:
অপ্টিমাইজ করার জন্য একটি একক মেট্রিক নির্ধারণ করুন । উদাহরণস্বরূপ, শ্রেণিবিন্যাস মডেলগুলি বিভিন্ন মেট্রিক্সের ( AUC , AUC-PR , ইত্যাদি) বিরুদ্ধে মূল্যায়ন করা যেতে পারে। যখন বিভিন্ন মেট্রিক্স বিভিন্ন মডেলের পক্ষে থাকে তখন সেরা মডেল নির্বাচন করা চ্যালেঞ্জিং হতে পারে। অতএব, মডেলগুলির বিরুদ্ধে মূল্যায়ন করার জন্য একটি একক মেট্রিকের উপর সম্মত হন।
পূরণ করার জন্য গ্রহণযোগ্যতা লক্ষ্য নির্ধারণ করুন । গ্রহণযোগ্যতা লক্ষ্য মডেল মূল্যায়ন মেট্রিক্স থেকে ভিন্ন. তারা লক্ষ্যগুলি উল্লেখ করে যেগুলি একটি মডেলকে পূরণ করতে হবে যা একটি উদ্দেশ্যযুক্ত ব্যবহারের ক্ষেত্রে গ্রহণযোগ্য বলে বিবেচিত হয়। উদাহরণস্বরূপ, একটি গ্রহণযোগ্যতা লক্ষ্য হতে পারে "ভুল আউটপুট 0.1% এর কম," বা "শীর্ষ পাঁচটি বিভাগের জন্য প্রত্যাহার 97% এর বেশি।"
উদাহরণস্বরূপ, ধরুন একটি বাইনারি শ্রেণিবিন্যাস মডেল প্রতারণামূলক লেনদেন সনাক্ত করে। এর অপ্টিমাইজেশান মেট্রিক প্রত্যাহার করা যেতে পারে যখন এর গ্রহণযোগ্যতা লক্ষ্য নির্ভুল হতে পারে। অন্য কথায়, আমরা প্রত্যাহারকে অগ্রাধিকার দিব (অধিকাংশ সময় সঠিকভাবে জালিয়াতি শনাক্ত করা) যখন একটি নির্দিষ্ট মান (প্রকৃত প্রতারণামূলক লেনদেন চিহ্নিত করা) বা তার উপরে থাকতে সঠিকতা চাই।
মডেল মেট্রিক্স এবং ব্যবসায়িক মেট্রিক্সের মধ্যে সংযোগ
মৌলিকভাবে, আপনি এমন একটি মডেল তৈরি করার চেষ্টা করছেন যার ভবিষ্যদ্বাণী গুণগতভাবে আপনার ব্যবসার মেট্রিকের সাথে যুক্ত। দুর্দান্ত মডেল মেট্রিক্স অগত্যা উন্নত ব্যবসার মেট্রিক্স বোঝায় না। আপনার দল চিত্তাকর্ষক মেট্রিক্স সহ একটি মডেল তৈরি করতে পারে, কিন্তু মডেলের ভবিষ্যদ্বাণীগুলি ব্যবসায়িক মেট্রিক উন্নত করতে ব্যর্থ হতে পারে।
আপনি যখন আপনার মডেলের ভবিষ্যদ্বাণীর গুণমান নিয়ে সন্তুষ্ট হন, তখন মডেলের মেট্রিক্স কীভাবে ব্যবসায়িক মেট্রিককে প্রভাবিত করে তা নির্ধারণ করার চেষ্টা করুন। সাধারণত দলগুলি 1% ব্যবহারকারীর কাছে মডেলটি স্থাপন করবে এবং তারপর ব্যবসার মেট্রিক নিরীক্ষণ করবে।
উদাহরণস্বরূপ, ধরা যাক আপনার দল গ্রাহক মন্থনের পূর্বাভাস দিয়ে আয় বাড়ানোর জন্য একটি মডেল তৈরি করেছে। তাত্ত্বিকভাবে, যদি আপনি ভবিষ্যদ্বাণী করতে পারেন যে একজন গ্রাহক প্ল্যাটফর্ম ছেড়ে যাবে কিনা, আপনি তাদের থাকতে উত্সাহিত করতে পারেন।
আপনার দল 95% ভবিষ্যদ্বাণী গুণমান সহ একটি মডেল তৈরি করে এবং ব্যবহারকারীদের একটি ছোট নমুনার উপর এটি পরীক্ষা করে। তবে রাজস্ব বাড়ে না। গ্রাহক মন্থন আসলে বৃদ্ধি. এখানে কিছু সম্ভাব্য ব্যাখ্যা আছে:
ভবিষ্যদ্বাণীগুলি কার্যকর হওয়ার জন্য যথেষ্ট তাড়াতাড়ি ঘটে না ৷ মডেলটি শুধুমাত্র সাত দিনের সময়সীমার মধ্যে গ্রাহক মন্থনের ভবিষ্যদ্বাণী করতে পারে, যা তাদের প্ল্যাটফর্মে রাখার জন্য প্রণোদনা দেওয়ার জন্য শীঘ্রই যথেষ্ট নয়।
অসম্পূর্ণ বৈশিষ্ট্য । হতে পারে অন্যান্য কারণগুলি গ্রাহক মন্থনে অবদান রাখে যা প্রশিক্ষণ ডেটাসেটে ছিল না।
থ্রেশহোল্ড যথেষ্ট উচ্চ নয় । মডেলটির উপযোগী হওয়ার জন্য 97% বা তার বেশি ভবিষ্যদ্বাণী গুণমান থাকতে হবে।
এই সহজ উদাহরণ দুটি পয়েন্ট হাইলাইট:
- মডেলের মেট্রিক্স এবং ব্যবসায়িক মেট্রিক্সের মধ্যে সংযোগ প্রমাণ করতে (এবং বুঝতে) প্রাথমিক ব্যবহারকারীর পরীক্ষা করা গুরুত্বপূর্ণ।
- দুর্দান্ত মডেল মেট্রিক্স উন্নত ব্যবসায়িক মেট্রিকের গ্যারান্টি দেয় না।
জেনারেটিভ এআই
জেনারেটিভ এআই আউটপুট মূল্যায়ন অনন্য চ্যালেঞ্জ উপস্থাপন করে। অনেক ক্ষেত্রে, ওপেন-এন্ডেড বা সৃজনশীল আউটপুটের মতো, এটি ঐতিহ্যগত ML আউটপুট মূল্যায়নের চেয়ে বেশি কঠিন।
এলএলএমগুলি বিভিন্ন মেট্রিক্সের সাথে পরিমাপ এবং মূল্যায়ন করা যেতে পারে। কোন মেট্রিক্সের বিরুদ্ধে আপনার মডেলকে মূল্যায়ন করতে হবে তা নির্ধারণ করা আপনার ব্যবহারের ক্ষেত্রে নির্ভর করে। আরও তথ্যের জন্য, এলএলএম মূল্যায়নের ভূমিকা দেখুন।
মনে রেখ
ব্যবসায়িক সাফল্যের সাথে মডেল সাফল্যকে বিভ্রান্ত করবেন না। অন্য কথায়, অসামান্য মেট্রিক্স সহ একটি মডেল ব্যবসায়িক সাফল্যের নিশ্চয়তা দেয় না।
অনেক দক্ষ প্রকৌশলী চিত্তাকর্ষক মেট্রিক্স সহ মডেল তৈরি করতে পারেন। একটি ভাল-পর্যাপ্ত মডেল প্রশিক্ষণ সাধারণত সমস্যা নয়। বরং, মডেলটি ব্যবসায়িক মেট্রিককে উন্নত করে না। ব্যবসায়িক মেট্রিক্স এবং মডেল মেট্রিক্সের মধ্যে একটি মিসলাইনমেন্ট থেকে একটি এমএল প্রকল্প ব্যর্থতার জন্য নির্ধারিত হতে পারে।