মেশিন লার্নিং শব্দকোষ: মেট্রিক্স

এই পৃষ্ঠায় মেট্রিক্স শব্দকোষের পদ রয়েছে। সকল শব্দকোষের জন্য এখানে ক্লিক করুন

নির্ভুলতা

#মৌলিক
#মেট্রিক

সঠিক শ্রেণীবিভাগের ভবিষ্যদ্বাণীর সংখ্যাকে ভবিষ্যদ্বাণীর মোট সংখ্যা দিয়ে ভাগ করলে। অর্থাৎ:

Accuracy=correct predictionscorrect predictions + incorrect predictions 

উদাহরণস্বরূপ, একটি মডেল যা 40টি সঠিক ভবিষ্যদ্বাণী করেছে এবং 10টি ভুল ভবিষ্যদ্বাণী করেছে তার সঠিকতা থাকবে:

Accuracy=4040 + 10=80%

বাইনারি শ্রেণীবিভাগ সঠিক ভবিষ্যদ্বাণী এবং ভুল ভবিষ্যদ্বাণীর বিভিন্ন বিভাগের জন্য নির্দিষ্ট নাম প্রদান করে। সুতরাং, বাইনারি শ্রেণীবিভাগের নির্ভুলতা সূত্রটি নিম্নরূপ:

Accuracy=TP+TNTP+TN+FP+FN

কোথায়:

নির্ভুলতা এবং প্রত্যাহার সঙ্গে তুলনা এবং বিপরীতে নির্ভুলতা.

যদিও কিছু পরিস্থিতিতে একটি মূল্যবান মেট্রিক, সঠিকতা অন্যদের জন্য অত্যন্ত বিভ্রান্তিকর। উল্লেখযোগ্যভাবে, নির্ভুলতা সাধারণত শ্রেণিবিন্যাসের মডেলের মূল্যায়নের জন্য একটি দুর্বল মেট্রিক যা শ্রেণি-ভারসাম্যহীন ডেটাসেটগুলি প্রক্রিয়া করে।

উদাহরণস্বরূপ, ধরুন একটি নির্দিষ্ট উপক্রান্তীয় শহরে প্রতি শতাব্দীতে মাত্র 25 দিন তুষারপাত হয়। যেহেতু তুষারহীন দিনগুলি (নেতিবাচক শ্রেণী) তুষার (ধনাত্মক শ্রেণী) সহ দিনের সংখ্যা অনেক বেশি, তাই এই শহরের জন্য তুষার ডেটাসেট শ্রেণী-ভারসাম্যহীন৷ একটি বাইনারি শ্রেণীবিভাগের মডেল কল্পনা করুন যেটি প্রতিদিন তুষারপাত বা তুষারপাতের ভবিষ্যদ্বাণী করে তবে প্রতিদিন "তুষার নেই" ভবিষ্যদ্বাণী করে। এই মডেলটি অত্যন্ত নির্ভুল কিন্তু এর কোন ভবিষ্যদ্বাণী করার ক্ষমতা নেই। নিম্নলিখিত সারণীটি ভবিষ্যদ্বাণীর এক শতাব্দীর ফলাফলগুলিকে সংক্ষিপ্ত করে:

শ্রেণী সংখ্যা
টিপি 0
টিএন 36499
এফপি 0
এফএন 25

এই মডেলের যথার্থতা তাই:

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (0 + 36499) / (0 + 36499 + 0 + 25) = 0.9993 = 99.93%

যদিও 99.93% নির্ভুলতা খুব চিত্তাকর্ষক শতাংশের মতো মনে হচ্ছে, মডেলটির আসলে কোন ভবিষ্যদ্বাণী করার ক্ষমতা নেই।

শ্রেণী-ভারসাম্যহীন ডেটাসেটে প্রশিক্ষিত মডেলের মূল্যায়নের জন্য যথার্থতার চেয়ে যথার্থতা এবং প্রত্যাহার সাধারণত বেশি দরকারী মেট্রিক।


আরও তথ্যের জন্য মেশিন লার্নিং ক্র্যাশ কোর্সে শ্রেণিবিন্যাস: যথার্থতা, স্মরণ, নির্ভুলতা এবং সম্পর্কিত মেট্রিক্স দেখুন।

পিআর বক্ররেখার অধীনে এলাকা

#মেট্রিক

PR AUC (PR বক্ররেখার অধীনে এলাকা) দেখুন।

ROC বক্ররেখার অধীনে এলাকা

#মেট্রিক

AUC (আরওসি বক্ররেখার অধীনে এলাকা) দেখুন।

AUC (ROC বক্ররেখার অধীনে এলাকা)

#মৌলিক
#মেট্রিক

0.0 এবং 1.0 এর মধ্যে একটি সংখ্যা যা একটি বাইনারি শ্রেণীবিন্যাস মডেলের নেতিবাচক শ্রেণী থেকে ইতিবাচক শ্রেণীগুলিকে পৃথক করার ক্ষমতা উপস্থাপন করে। AUC 1.0 এর যত কাছাকাছি হবে, মডেলের একে অপরের থেকে ক্লাস আলাদা করার ক্ষমতা তত ভাল।

উদাহরণস্বরূপ, নিম্নলিখিত চিত্রটি একটি শ্রেণীবদ্ধ মডেল দেখায় যা ইতিবাচক শ্রেণীগুলি (সবুজ ডিম্বাকৃতি) নেতিবাচক শ্রেণীগুলি (বেগুনি আয়তক্ষেত্রগুলি) থেকে পুরোপুরি আলাদা করে। এই অবাস্তবভাবে নিখুঁত মডেলটির একটি AUC 1.0 রয়েছে:

এক পাশে 8টি ইতিবাচক উদাহরণ সহ একটি সংখ্যা রেখা এবং           অন্য দিকে 9টি নেতিবাচক উদাহরণ।

বিপরীতভাবে, নিম্নলিখিত চিত্রটি একটি শ্রেণিবদ্ধ মডেলের ফলাফল দেখায় যা এলোমেলো ফলাফল তৈরি করেছে। এই মডেলটির একটি AUC 0.5 রয়েছে:

6টি ইতিবাচক উদাহরণ এবং 6টি নেতিবাচক উদাহরণ সহ একটি সংখ্যা রেখা৷           উদাহরণের ক্রমটি ইতিবাচক, নেতিবাচক,           ইতিবাচক, নেতিবাচক, ইতিবাচক, নেতিবাচক, ইতিবাচক, নেতিবাচক, ইতিবাচক           নেতিবাচক, ইতিবাচক, নেতিবাচক।

হ্যাঁ, পূর্ববর্তী মডেলটির একটি AUC 0.5 আছে, 0.0 নয়৷

বেশিরভাগ মডেল দুটি চরমের মধ্যে কোথাও আছে। উদাহরণস্বরূপ, নিম্নলিখিত মডেলটি নেতিবাচক থেকে ইতিবাচককে কিছুটা আলাদা করে, এবং তাই 0.5 এবং 1.0 এর মধ্যে একটি AUC রয়েছে:

6টি ইতিবাচক উদাহরণ এবং 6টি নেতিবাচক উদাহরণ সহ একটি সংখ্যা রেখা৷           উদাহরণের ক্রম হল ঋণাত্মক, ঋণাত্মক, ঋণাত্মক, ঋণাত্মক,           ইতিবাচক, নেতিবাচক, ইতিবাচক, ইতিবাচক, নেতিবাচক, ইতিবাচক, ইতিবাচক           ইতিবাচক

AUC আপনার শ্রেণীবিন্যাস থ্রেশহোল্ডের জন্য সেট করা যেকোনো মান উপেক্ষা করে। পরিবর্তে, AUC সমস্ত সম্ভাব্য শ্রেণীবিভাগ থ্রেশহোল্ড বিবেচনা করে।

AUC একটি ROC বক্ররেখার অধীনে এলাকা প্রতিনিধিত্ব করে। উদাহরণস্বরূপ, একটি মডেলের জন্য ROC বক্ররেখা যা সম্পূর্ণরূপে নেতিবাচক থেকে ইতিবাচককে পৃথক করে তা নিম্নরূপ দেখায়:

কার্টেসিয়ান প্লট। x-অক্ষ হল মিথ্যা ইতিবাচক হার; y-অক্ষ           সত্য ইতিবাচক হার. গ্রাফ 0,0 থেকে শুরু হয় এবং সোজা উপরে যায়           0,1 এ এবং তারপরে সরাসরি ডানদিকে 1,1 এ শেষ হবে।

AUC হল পূর্বের চিত্রে ধূসর অঞ্চলের এলাকা। এই অস্বাভাবিক ক্ষেত্রে, এলাকাটি কেবল ধূসর অঞ্চলের দৈর্ঘ্য (1.0) ধূসর অঞ্চলের প্রস্থ (1.0) দ্বারা গুণিত। সুতরাং, 1.0 এবং 1.0 এর গুণফল ঠিক 1.0 এর একটি AUC প্রদান করে, যা সর্বোচ্চ সম্ভাব্য AUC স্কোর।

বিপরীতভাবে, একটি ক্লাসিফায়ারের জন্য ROC বক্ররেখা যা মোটেও ক্লাস আলাদা করতে পারে না নিম্নরূপ। এই ধূসর অঞ্চলের ক্ষেত্রফল 0.5।

কার্টেসিয়ান প্লট। x-অক্ষ হল মিথ্যা ইতিবাচক হার; y-অক্ষ সত্য           ইতিবাচক হার। গ্রাফ 0,0 থেকে শুরু হয় এবং তির্যকভাবে 1,1 এ যায়।

একটি আরো সাধারণ ROC বক্ররেখা প্রায় নিম্নলিখিত মত দেখায়:

কার্টেসিয়ান প্লট। x-অক্ষ হল মিথ্যা ইতিবাচক হার; y-অক্ষ সত্য           ইতিবাচক হার। গ্রাফ 0,0 থেকে শুরু হয় এবং একটি অনিয়মিত চাপ নেয়           1,0 থেকে

ম্যানুয়ালি এই বক্ররেখার অধীনে এলাকা গণনা করা কষ্টসাধ্য হবে, এই কারণেই একটি প্রোগ্রাম সাধারণত বেশিরভাগ AUC মান গণনা করে।


AUC হল সম্ভাব্যতা যে একটি শ্রেণীবিভাগকারী আরও আত্মবিশ্বাসী হবে যে একটি এলোমেলোভাবে নির্বাচিত একটি ইতিবাচক উদাহরণ আসলে ইতিবাচক তার চেয়ে এলোমেলোভাবে নির্বাচিত নেতিবাচক উদাহরণটি ইতিবাচক।


আরও তথ্যের জন্য শ্রেণীবিভাগ দেখুন: মেশিন লার্নিং ক্র্যাশ কোর্সে ROC এবং AUC

k এ গড় নির্ভুলতা

#ভাষা
#মেট্রিক

একটি একক প্রম্পটে মডেলের কর্মক্ষমতা সংক্ষিপ্ত করার জন্য একটি মেট্রিক যা র‌্যাঙ্ক করা ফলাফল তৈরি করে, যেমন বইয়ের সুপারিশের একটি সংখ্যাযুক্ত তালিকা। k- এ গড় নির্ভুলতা হল, ভাল, প্রতিটি প্রাসঙ্গিক ফলাফলের জন্য k মানের নির্ভুলতার গড়। k এ গড় নির্ভুলতার সূত্রটি তাই:

average precision at k=1nni=1precision at k for each relevant item

কোথায়:

  • n তালিকায় প্রাসঙ্গিক আইটেমের সংখ্যা।

k এ প্রত্যাহার সঙ্গে বৈসাদৃশ্য।

ধরুন একটি বৃহৎ ভাষা মডেল নিম্নলিখিত প্রশ্ন দেওয়া হয়েছে:

List the 6 funniest movies of all time in order.

এবং বড় ভাষা মডেল নিম্নলিখিত তালিকা প্রদান করে:

  1. জেনারেল
  2. মানে মেয়েরা
  3. প্লাটুন
  4. ব্রাইডমেইডস
  5. নাগরিক কেন
  6. এটি স্পাইনাল ট্যাপ
প্রত্যাবর্তিত তালিকায় চারটি সিনেমা খুবই মজার (অর্থাৎ প্রাসঙ্গিক) কিন্তু দুটি সিনেমা নাটক (প্রাসঙ্গিক নয়)। নিম্নলিখিত সারণী ফলাফলের বিবরণ:
অবস্থান মুভি প্রাসঙ্গিক? k এ নির্ভুলতা
1 জেনারেল হ্যাঁ 1.0
2 মানে মেয়েরা হ্যাঁ 1.0
3 প্লাটুন না প্রাসঙ্গিক নয়
4 ব্রাইডমেইডস হ্যাঁ 0.75
5 নাগরিক কেন না প্রাসঙ্গিক নয়
6 এটি স্পাইনাল ট্যাপ হ্যাঁ 0.67

প্রাসঙ্গিক ফলাফলের সংখ্যা হল 4। অতএব, আপনি নিম্নরূপ 6 এ গড় নির্ভুলতা গণনা করতে পারেন:

average precision at 6=14(1.0 + 1.0 + 0.75 + 0.67)average precision at 6=~0.85

ভিত্তিরেখা

#মেট্রিক

অন্য মডেল (সাধারণত, একটি আরও জটিল) কতটা ভাল পারফর্ম করছে তা তুলনা করার জন্য একটি রেফারেন্স পয়েন্ট হিসাবে ব্যবহৃত একটি মডেল । উদাহরণস্বরূপ, একটি লজিস্টিক রিগ্রেশন মডেল একটি গভীর মডেলের জন্য একটি ভাল বেসলাইন হিসাবে কাজ করতে পারে।

একটি নির্দিষ্ট সমস্যার জন্য, বেসলাইন মডেল ডেভেলপারদের ন্যূনতম প্রত্যাশিত কর্মক্ষমতা পরিমাপ করতে সাহায্য করে যা একটি নতুন মডেলকে নতুন মডেলের উপযোগী হওয়ার জন্য অর্জন করতে হবে।

খরচ

#মেট্রিক

ক্ষতির প্রতিশব্দ।

বিপরীত ন্যায্যতা

#ন্যায্যতা
#মেট্রিক

একটি ন্যায্যতা মেট্রিক যা পরীক্ষা করে যে একটি শ্রেণীবিভাগকারী একজন ব্যক্তির জন্য একই ফলাফল তৈরি করে কি না এটি অন্য ব্যক্তির জন্য একই ফলাফল দেয় যা প্রথমটির সাথে অভিন্ন, এক বা একাধিক সংবেদনশীল বৈশিষ্ট্যের ক্ষেত্রে। কাউন্টারফ্যাকচুয়াল ন্যায্যতার জন্য একটি শ্রেণীবিভাগের মূল্যায়ন একটি মডেলে পক্ষপাতের সম্ভাব্য উত্সগুলিকে সারফেস করার একটি পদ্ধতি।

আরও তথ্যের জন্য নিচের যেকোনো একটি দেখুন:

ক্রস-এনট্রপি

#মেট্রিক

মাল্টি-ক্লাস ক্লাসিফিকেশন সমস্যায় লগ লসের সাধারণীকরণ। ক্রস-এনট্রপি দুটি সম্ভাব্যতা বন্টনের মধ্যে পার্থক্য পরিমাপ করে। বিভ্রান্তিও দেখুন।

ক্রমবর্ধমান বিতরণ ফাংশন (CDF)

#মেট্রিক

একটি ফাংশন যা লক্ষ্য মানের থেকে কম বা সমান নমুনার ফ্রিকোয়েন্সি নির্ধারণ করে। উদাহরণস্বরূপ, ক্রমাগত মানগুলির একটি স্বাভাবিক বন্টন বিবেচনা করুন। একটি CDF আপনাকে বলে যে আনুমানিক 50% নমুনা গড় থেকে কম বা সমান হওয়া উচিত এবং আনুমানিক 84% নমুনা গড় থেকে উপরে একটি আদর্শ বিচ্যুতির চেয়ে কম বা সমান হওয়া উচিত।

ডি

জনসংখ্যাগত সমতা

#ন্যায্যতা
#মেট্রিক

একটি ন্যায্যতা মেট্রিক যা একটি মডেলের শ্রেণীবিভাগের ফলাফল একটি প্রদত্ত সংবেদনশীল বৈশিষ্ট্যের উপর নির্ভরশীল না হলে সন্তুষ্ট হয়৷

উদাহরণস্বরূপ, যদি লিলিপুটিয়ান এবং ব্রোবডিংনাগিয়ান উভয়ই গ্লুবডুবড্রিব বিশ্ববিদ্যালয়ে আবেদন করে, তাহলে জনসংখ্যাগত সমতা অর্জন করা হয় যদি লিলিপুটিয়ানদের ভর্তির শতাংশ ব্রোবডিংনাগিয়ানদের ভর্তির শতাংশের সমান হয়, তা নির্বিশেষে যে একটি গোষ্ঠী অন্যের তুলনায় গড়ে বেশি যোগ্য কিনা।

সমতাপূর্ণ প্রতিকূলতা এবং সুযোগের সমতার সাথে বৈসাদৃশ্য, যা শ্রেণীবিভাগের ফলাফলকে সংবেদনশীল বৈশিষ্ট্যের উপর নির্ভর করার অনুমতি দেয়, কিন্তু নির্দিষ্ট নির্দিষ্ট গ্রাউন্ড ট্রুথ লেবেলগুলির জন্য সংবেদনশীল বৈশিষ্ট্যের উপর নির্ভর করার জন্য শ্রেণীবিভাগের ফলাফলকে অনুমতি দেয় না। ডেমোগ্রাফিক সমতা অপ্টিমাইজ করার সময় ট্রেডঅফ অন্বেষণ করার একটি ভিজ্যুয়ালাইজেশনের জন্য "স্মার্ট মেশিন লার্নিং দিয়ে বৈষম্যের আক্রমণ" দেখুন।

আরও তথ্যের জন্য মেশিন লার্নিং ক্র্যাশ কোর্সে ফেয়ারনেস: ডেমোগ্রাফিক প্যারিটি দেখুন।

আর্থ মুভারের দূরত্ব (EMD)

#মেট্রিক

দুটি বিতরণের আপেক্ষিক মিলের একটি পরিমাপ। আর্থ মুভারের দূরত্ব যত কম হবে, বন্টন তত বেশি হবে।

দূরত্ব সম্পাদনা করুন

#ভাষা
#মেট্রিক

দুটি টেক্সট স্ট্রিং একে অপরের সাথে কতটা অনুরূপ তার একটি পরিমাপ। মেশিন লার্নিং-এ, দূরত্ব সম্পাদনা নিম্নলিখিত কারণগুলির জন্য দরকারী:

  • সম্পাদনা দূরত্ব গণনা করা সহজ।
  • দূরত্ব সম্পাদনা দুটি স্ট্রিং একে অপরের অনুরূপ বলে পরিচিত তুলনা করতে পারে।
  • দূরত্ব সম্পাদনা করুন বিভিন্ন স্ট্রিং একটি প্রদত্ত স্ট্রিং অনুরূপ ডিগ্রী নির্ধারণ করতে পারে.

সম্পাদনা দূরত্বের বেশ কয়েকটি সংজ্ঞা রয়েছে, প্রতিটি ভিন্ন স্ট্রিং অপারেশন ব্যবহার করে। একটি উদাহরণের জন্য Levenshtein দূরত্ব দেখুন।

অভিজ্ঞতামূলক ক্রমবর্ধমান বিতরণ ফাংশন (eCDF বা EDF)

#মেট্রিক

একটি বাস্তব ডেটাসেট থেকে পরীক্ষামূলক পরিমাপের উপর ভিত্তি করে একটি ক্রমবর্ধমান বিতরণ ফাংশন । x-অক্ষ বরাবর যেকোনো বিন্দুতে ফাংশনের মান হল ডেটাসেটে পর্যবেক্ষণের ভগ্নাংশ যা নির্দিষ্ট মানের থেকে কম বা সমান।

এনট্রপি

#df
#মেট্রিক

তথ্য তত্ত্বে , সম্ভাব্যতা বন্টন কতটা অপ্রত্যাশিত তার বর্ণনা। বিকল্পভাবে, প্রতিটি উদাহরণে কতটা তথ্য রয়েছে তা হিসাবে এনট্রপিকেও সংজ্ঞায়িত করা হয়। একটি ডিস্ট্রিবিউশনের সর্বোচ্চ সম্ভাব্য এনট্রপি থাকে যখন একটি র্যান্ডম ভেরিয়েবলের সমস্ত মান সমানভাবে সম্ভব হয়।

দুটি সম্ভাব্য মান "0" এবং "1" সহ একটি সেটের এনট্রপি (উদাহরণস্বরূপ, একটি বাইনারি শ্রেণিবিন্যাস সমস্যায় লেবেল) নিম্নলিখিত সূত্র রয়েছে:

H = -p লগ p - q লগ q = -p লগ p - (1-p) * লগ (1-p)

কোথায়:

  • H হল এনট্রপি।
  • p হল "1" উদাহরণের ভগ্নাংশ।
  • q হল "0" উদাহরণের ভগ্নাংশ। উল্লেখ্য যে q = (1 - p)
  • লগ সাধারণত লগ 2 হয়। এই ক্ষেত্রে, এনট্রপি ইউনিট একটি বিট।

উদাহরণস্বরূপ, নিম্নলিখিত অনুমান করুন:

  • 100টি উদাহরণে "1" মান রয়েছে
  • 300টি উদাহরণে "0" মান রয়েছে

অতএব, এনট্রপি মান হল:

  • p = 0.25
  • q = 0.75
  • H = (-0.25) লগ 2 (0.25) - (0.75) লগ 2 (0.75) = 0.81 বিট প্রতি উদাহরণ

একটি সেট যা পুরোপুরি ভারসাম্যপূর্ণ (উদাহরণস্বরূপ, 200 "0" s এবং 200 "1"s) প্রতি উদাহরণে 1.0 বিট এনট্রপি থাকবে। একটি সেট আরও ভারসাম্যহীন হওয়ার সাথে সাথে এর এনট্রপি 0.0 এর দিকে চলে যায়।

ডিসিশন ট্রিতে , এনট্রপি শ্রেণীবিভাগের সিদ্ধান্ত গাছের বৃদ্ধির সময় বিভাজনকারীকে শর্ত নির্বাচন করতে সাহায্য করার জন্য তথ্য অর্জন করতে সাহায্য করে।

এনট্রপির সাথে তুলনা করুন:

এনট্রপিকে প্রায়শই শ্যাননের এনট্রপি বলা হয়।

আরও তথ্যের জন্য ডিসিশন ফরেস্ট কোর্সে সংখ্যাসূচক বৈশিষ্ট্য সহ বাইনারি শ্রেণীবিভাগের জন্য সঠিক স্প্লিটার দেখুন।

সুযোগের সমতা

#ন্যায্যতা
#মেট্রিক

একটি মডেল একটি সংবেদনশীল বৈশিষ্ট্যের সমস্ত মানগুলির জন্য সমানভাবে পছন্দসই ফলাফলের পূর্বাভাস দিচ্ছে কিনা তা মূল্যায়ন করার জন্য একটি ন্যায্যতা মেট্রিক ৷ অন্য কথায়, যদি একটি মডেলের জন্য আকাঙ্খিত ফলাফল ইতিবাচক শ্রেণী হয়, তাহলে লক্ষ্য হবে প্রকৃত ইতিবাচক হার সব দলের জন্য একই।

সুযোগের সমতা সমান মতভেদের সাথে সম্পর্কিত, যার জন্য সত্য ইতিবাচক হার এবং মিথ্যা ধনাত্মক হার উভয়ই সকল দলের জন্য একই হওয়া প্রয়োজন।

ধরুন Glubbdubdrib ইউনিভার্সিটি লিলিপুটিয়ান এবং ব্রবডিংনাগিয়ান উভয়কেই একটি কঠোর গণিত প্রোগ্রামে ভর্তি করেছে। লিলিপুটিয়ানদের মাধ্যমিক বিদ্যালয়গুলি গণিত ক্লাসের একটি শক্তিশালী পাঠ্যক্রম অফার করে এবং বেশিরভাগ শিক্ষার্থীই বিশ্ববিদ্যালয়ের প্রোগ্রামের জন্য যোগ্য। ব্রবডিংনাগিয়ানদের মাধ্যমিক বিদ্যালয়গুলি মোটেও গণিতের ক্লাস অফার করে না এবং ফলস্বরূপ, তাদের অনেক কম শিক্ষার্থীই যোগ্য। সুযোগের সমতা জাতীয়তা (লিলিপুটিয়ান বা ব্রোবডিংনাগিয়ান) এর ক্ষেত্রে "ভর্তি" এর পছন্দের লেবেলের জন্য সন্তুষ্ট হয় যদি যোগ্য শিক্ষার্থীরা লিলিপুটিয়ান বা ব্রোবডিংনাগিয়ান নির্বিশেষে ভর্তি হওয়ার সমান সম্ভাবনা থাকে।

উদাহরণস্বরূপ, ধরুন 100 জন লিলিপুটিয়ান এবং 100 জন ব্রোবডিংনাগিয়ান Glubbdubdrib বিশ্ববিদ্যালয়ে আবেদন করেন এবং ভর্তির সিদ্ধান্ত নিম্নরূপ নেওয়া হয়:

সারণী 1. লিলিপুটিয়ান আবেদনকারীরা (90% যোগ্য)

যোগ্য অযোগ্য
ভর্তি হয়েছে 45 3
প্রত্যাখ্যাত 45 7
মোট 90 10
ভর্তিকৃত যোগ্য শিক্ষার্থীর শতাংশ: 45/90 = 50%
প্রত্যাখ্যাত অযোগ্য ছাত্রদের শতাংশ: 7/10 = 70%
ভর্তিকৃত লিলিপুটিয়ান ছাত্রদের মোট শতাংশ: (45+3)/100 = 48%

সারণী 2. ব্রোবডিংনাগিয়ান আবেদনকারীরা (10% যোগ্য):

যোগ্য অযোগ্য
ভর্তি হয়েছে 5 9
প্রত্যাখ্যাত 5 81
মোট 10 90
ভর্তিকৃত যোগ্য শিক্ষার্থীর শতাংশ: 5/10 = 50%
প্রত্যাখ্যাত অযোগ্য ছাত্রদের শতাংশ: 81/90 = 90%
ভর্তিকৃত ব্রোবডিংনাগিয়ান ছাত্রদের মোট শতাংশ: (5+9)/100 = 14%

পূর্বের উদাহরণগুলি যোগ্য ছাত্রদের গ্রহণের সুযোগের সমতাকে সন্তুষ্ট করে কারণ যোগ্য লিলিপুটিয়ান এবং ব্রবডিংনাগিয়ান উভয়েরই ভর্তি হওয়ার 50% সম্ভাবনা রয়েছে।

সুযোগের সমতা সন্তুষ্ট হলেও, নিম্নলিখিত দুটি ন্যায্যতা মেট্রিক সন্তুষ্ট নয়:

  • জনসংখ্যাগত সমতা : লিলিপুটিয়ান এবং ব্রবডিংনাগিয়ানরা বিভিন্ন হারে বিশ্ববিদ্যালয়ে ভর্তি হয়; 48% লিলিপুটিয়ান ছাত্র ভর্তি করা হয়, কিন্তু ব্রবডিংনাগিয়ান ছাত্রদের মাত্র 14% ভর্তি হয়।
  • সমান মতভেদ : যদিও যোগ্য লিলিপুটিয়ান এবং ব্রবডিংনাগিয়ান উভয়েরই ভর্তি হওয়ার একই সুযোগ রয়েছে, অতিরিক্ত সীমাবদ্ধতা যে অযোগ্য লিলিপুটিয়ান এবং ব্রবডিংনাগিয়ান উভয়েরই প্রত্যাখ্যাত হওয়ার একই সুযোগ রয়েছে তা সন্তুষ্ট নয়। অযোগ্য লিলিপুটিয়ানদের প্রত্যাখ্যানের হার 70%, যেখানে অযোগ্য ব্রবডিংনাগিয়ানদের প্রত্যাখ্যানের হার 90%।

আরও তথ্যের জন্য মেশিন লার্নিং ক্র্যাশ কোর্সে ন্যায্যতা: সুযোগের সমতা দেখুন।

সমান মতভেদ

#ন্যায্যতা
#মেট্রিক

একটি মডেল ইতিবাচক শ্রেণী এবং নেতিবাচক উভয় শ্রেণীর ক্ষেত্রেই একটি সংবেদনশীল বৈশিষ্ট্যের সমস্ত মানের জন্য সমানভাবে ফলাফলের পূর্বাভাস দিচ্ছে কিনা তা মূল্যায়ন করার জন্য একটি ন্যায্যতা মেট্রিক - শুধুমাত্র একটি শ্রেণী বা অন্য একচেটিয়াভাবে নয়। অন্য কথায়, সত্যিকারের ইতিবাচক হার এবং মিথ্যা নেতিবাচক হার উভয়ই সকল দলের জন্য একই হওয়া উচিত।

সমান মতভেদ সুযোগের সমতার সাথে সম্পর্কিত, যা শুধুমাত্র একটি একক শ্রেণীর (ইতিবাচক বা নেতিবাচক) ত্রুটির হারের উপর ফোকাস করে।

উদাহরণস্বরূপ, ধরুন Glubbdubdrib বিশ্ববিদ্যালয় লিলিপুটিয়ান এবং ব্রোবডিংনাগিয়ান উভয়কেই একটি কঠোর গণিত প্রোগ্রামে ভর্তি করেছে। লিলিপুটিয়ানদের মাধ্যমিক বিদ্যালয়গুলি গণিত ক্লাসের একটি শক্তিশালী পাঠ্যক্রম অফার করে এবং বেশিরভাগ শিক্ষার্থীই বিশ্ববিদ্যালয়ের প্রোগ্রামের জন্য যোগ্য। ব্রবডিংনাগিয়ানদের মাধ্যমিক বিদ্যালয়গুলি মোটেও গণিতের ক্লাস অফার করে না এবং ফলস্বরূপ, তাদের অনেক কম শিক্ষার্থীই যোগ্য। সমতাপূর্ণ প্রতিকূলতাগুলি সন্তুষ্ট থাকে তবে শর্ত থাকে যে একজন আবেদনকারী লিলিপুটিয়ান বা ব্রোবডিংনাগিয়ান যাই হোক না কেন, যদি তারা যোগ্য হন, তবে তাদের প্রোগ্রামে ভর্তি হওয়ার সমান সম্ভাবনা, এবং যদি তারা যোগ্য না হয় তবে তাদের প্রত্যাখ্যাত হওয়ার সম্ভাবনা সমান। .

ধরুন 100 জন লিলিপুটিয়ান এবং 100 জন ব্রোবডিংনাগিয়ান Glubbdubdrib ইউনিভার্সিটিতে আবেদন করেন এবং ভর্তির সিদ্ধান্ত নিম্নরূপ নেওয়া হয়:

সারণি 3. লিলিপুটিয়ান আবেদনকারীরা (90% যোগ্য)

যোগ্য অযোগ্য
ভর্তি হয়েছে 45 2
প্রত্যাখ্যাত 45 8
মোট 90 10
ভর্তিকৃত যোগ্য শিক্ষার্থীর শতাংশ: 45/90 = 50%
প্রত্যাখ্যাত অযোগ্য ছাত্রদের শতাংশ: 8/10 = 80%
ভর্তিকৃত লিলিপুটিয়ান ছাত্রদের মোট শতাংশ: (45+2)/100 = 47%

সারণী 4. ব্রোবডিংনাগিয়ান আবেদনকারীরা (10% যোগ্য):

যোগ্য অযোগ্য
ভর্তি হয়েছে 5 18
প্রত্যাখ্যাত 5 72
মোট 10 90
ভর্তিকৃত যোগ্য শিক্ষার্থীর শতাংশ: 5/10 = 50%
প্রত্যাখ্যাত অযোগ্য ছাত্রদের শতাংশ: 72/90 = 80%
ভর্তিকৃত ব্রোবডিংনাগিয়ান ছাত্রদের মোট শতাংশ: (5+18)/100 = 23%

সমান মতপার্থক্য সন্তুষ্ট কারণ যোগ্য লিলিপুটিয়ান এবং ব্রবডিংনাগিয়ান উভয়েরই ভর্তি হওয়ার সম্ভাবনা 50%, এবং অযোগ্য লিলিপুটিয়ান এবং ব্রবডিংনাগিয়ানদের প্রত্যাখ্যাত হওয়ার 80% সম্ভাবনা রয়েছে।

"তত্ত্বাবধানে শিক্ষার সুযোগের সমতা" -এ সমতুল্য মতভেদকে আনুষ্ঠানিকভাবে সংজ্ঞায়িত করা হয়েছে: "ভবিষ্যদ্বাণীকারী Ŷ সুরক্ষিত অ্যাট্রিবিউট A এবং ফলাফল Y যদি Ŷ এবং A স্বাধীন হয়, Y এর উপর শর্তসাপেক্ষে সমান মতভেদকে সন্তুষ্ট করে।"

evas

#ভাষা
#generativeAI
#মেট্রিক

প্রাথমিকভাবে এলএলএম মূল্যায়নের সংক্ষিপ্ত রূপ হিসাবে ব্যবহৃত হয়। আরও বিস্তৃতভাবে, ইভাল হল যেকোনো ধরনের মূল্যায়নের সংক্ষিপ্ত রূপ।

মূল্যায়ন

#ভাষা
#generativeAI
#মেট্রিক

একটি মডেলের গুণমান পরিমাপ করার বা একে অপরের সাথে বিভিন্ন মডেলের তুলনা করার প্রক্রিয়া।

একটি তত্ত্বাবধানে থাকা মেশিন লার্নিং মডেলের মূল্যায়ন করতে, আপনি সাধারণত এটিকে একটি বৈধতা সেট এবং একটি পরীক্ষা সেটের বিপরীতে বিচার করেন। একটি LLM মূল্যায়ন সাধারণত বিস্তৃত গুণমান এবং নিরাপত্তা মূল্যায়ন জড়িত।

#মেট্রিক

একটি "রোল-আপ" বাইনারি শ্রেণিবিন্যাস মেট্রিক যা নির্ভুলতা এবং স্মরণ উভয়ের উপর নির্ভর করে। এখানে সূত্র আছে:

F1=2 * precision * recallprecision + recall

ধরুন নির্ভুলতা এবং স্মরণের নিম্নলিখিত মান রয়েছে:

  • নির্ভুলতা = 0.6
  • প্রত্যাহার = 0.4

আপনি নিম্নরূপ F 1 গণনা করুন:

F1=2 * 0.6 * 0.40.6 + 0.4=0.48

যখন নির্ভুলতা এবং প্রত্যাহার মোটামুটি একই রকম হয় (পূর্ববর্তী উদাহরণের মতো), F 1 তাদের গড়ের কাছাকাছি। যখন নির্ভুলতা এবং প্রত্যাহার উল্লেখযোগ্যভাবে পৃথক হয়, তখন F 1 নিম্ন মানের কাছাকাছি। যেমন:

  • নির্ভুলতা = 0.9
  • প্রত্যাহার = 0.1
F1=2 * 0.9 * 0.10.9 + 0.1=0.18

ন্যায্যতা মেট্রিক

#ন্যায্যতা
#মেট্রিক

"ন্যায্যতা" এর একটি গাণিতিক সংজ্ঞা যা পরিমাপযোগ্য। কিছু সাধারণভাবে ব্যবহৃত ন্যায্যতা মেট্রিক্স অন্তর্ভুক্ত:

অনেক ন্যায্যতা মেট্রিক পারস্পরিক একচেটিয়া; ন্যায্যতা মেট্রিক্সের অসঙ্গতি দেখুন।

মিথ্যা নেতিবাচক (এফএন)

#মৌলিক
#মেট্রিক

একটি উদাহরণ যেখানে মডেলটি ভুলভাবে নেতিবাচক শ্রেণীর ভবিষ্যদ্বাণী করে। উদাহরণস্বরূপ, মডেলটি ভবিষ্যদ্বাণী করে যে একটি নির্দিষ্ট ইমেল বার্তা স্প্যাম নয় (নেতিবাচক শ্রেণি), কিন্তু সেই ইমেল বার্তাটি আসলে স্প্যাম

মিথ্যা নেতিবাচক হার

#মেট্রিক

প্রকৃত ইতিবাচক উদাহরণের অনুপাত যার জন্য মডেলটি ভুলভাবে নেতিবাচক শ্রেণীর ভবিষ্যদ্বাণী করেছে। নিম্নলিখিত সূত্রটি মিথ্যা নেতিবাচক হার গণনা করে:

false negative rate=false negativesfalse negatives+true positives

আরও তথ্যের জন্য মেশিন লার্নিং ক্র্যাশ কোর্সে থ্রেশহোল্ড এবং কনফিউশন ম্যাট্রিক্স দেখুন।

মিথ্যা পজিটিভ (FP)

#মৌলিক
#মেট্রিক

একটি উদাহরণ যেখানে মডেল ভুলভাবে ইতিবাচক শ্রেণীর ভবিষ্যদ্বাণী করে। উদাহরণস্বরূপ, মডেলটি ভবিষ্যদ্বাণী করে যে একটি নির্দিষ্ট ইমেল বার্তাটি স্প্যাম (পজিটিভ ক্লাস), কিন্তু সেই ইমেল বার্তাটি আসলে স্প্যাম নয়

আরও তথ্যের জন্য মেশিন লার্নিং ক্র্যাশ কোর্সে থ্রেশহোল্ড এবং কনফিউশন ম্যাট্রিক্স দেখুন।

মিথ্যা ইতিবাচক হার (FPR)

#মৌলিক
#মেট্রিক

প্রকৃত নেতিবাচক উদাহরণের অনুপাত যার জন্য মডেলটি ভুলভাবে ইতিবাচক শ্রেণীর ভবিষ্যদ্বাণী করেছে। নিম্নলিখিত সূত্রটি মিথ্যা ইতিবাচক হার গণনা করে:

false positive rate=false positivesfalse positives+true negatives

মিথ্যা ধনাত্মক হার হল একটি ROC বক্ররেখার x-অক্ষ।

আরও তথ্যের জন্য শ্রেণীবিভাগ দেখুন: মেশিন লার্নিং ক্র্যাশ কোর্সে ROC এবং AUC

বৈশিষ্ট্যের গুরুত্ব

#df
#মেট্রিক

পরিবর্তনশীল গুরুত্বের প্রতিশব্দ।

সাফল্যের ভগ্নাংশ

#generativeAI
#মেট্রিক

একটি ML মডেলের তৈরি করা পাঠ্য মূল্যায়নের জন্য একটি মেট্রিক৷ সাফল্যের ভগ্নাংশ হল "সফল" জেনারেট করা টেক্সট আউটপুটের সংখ্যাকে জেনারেট করা টেক্সট আউটপুটের মোট সংখ্যা দিয়ে ভাগ করা হয়। উদাহরণস্বরূপ, যদি একটি বড় ভাষা মডেল কোডের 10 টি ব্লক তৈরি করে, যার মধ্যে পাঁচটি সফল হয়, তাহলে সাফল্যের ভগ্নাংশ হবে 50%।

যদিও সাফল্যের ভগ্নাংশ পরিসংখ্যান জুড়ে বিস্তৃতভাবে কার্যকর, ML-এর মধ্যে, এই মেট্রিকটি প্রাথমিকভাবে কোড জেনারেশন বা গণিত সমস্যাগুলির মতো যাচাইযোগ্য কাজগুলি পরিমাপের জন্য দরকারী।

জি

জিনি অপবিত্রতা

#df
#মেট্রিক

এনট্রপির অনুরূপ একটি মেট্রিক। স্প্লিটাররা শ্রেণীবিভাগের সিদ্ধান্ত গাছের শর্ত রচনা করতে জিনি অশুদ্ধতা বা এনট্রপি থেকে প্রাপ্ত মান ব্যবহার করে। তথ্য লাভ এনট্রপি থেকে উদ্ভূত হয়। জিনি অপবিত্রতা থেকে প্রাপ্ত মেট্রিকের জন্য কোন সার্বজনীনভাবে স্বীকৃত সমতুল্য শব্দ নেই; যাইহোক, এই নামহীন মেট্রিক তথ্য লাভের মতোই গুরুত্বপূর্ণ।

জিনি অপবিত্রতাকে জিনি ইনডেক্স বা সহজভাবে জিনিও বলা হয়।

জিনি অপরিষ্কার হল একই বন্টন থেকে নেওয়া ডেটার একটি নতুন অংশকে ভুল শ্রেণিবদ্ধ করার সম্ভাবনা। দুটি সম্ভাব্য মান "0" এবং "1" সহ একটি সেটের জিনি অশুদ্ধতা (উদাহরণস্বরূপ, একটি বাইনারি শ্রেণিবিন্যাসের সমস্যায় লেবেলগুলি) নিম্নলিখিত সূত্র থেকে গণনা করা হয়:

I = 1 - (p 2 + q 2 ) = 1 - (p 2 + (1-p) 2 )

কোথায়:

  • আমি জিনি অপবিত্রতা।
  • p হল "1" উদাহরণের ভগ্নাংশ।
  • q হল "0" উদাহরণের ভগ্নাংশ। উল্লেখ্য যে q = 1-p

উদাহরণস্বরূপ, নিম্নলিখিত ডেটাসেট বিবেচনা করুন:

  • 100টি লেবেল (ডেটাসেটের 0.25) মান "1" ধারণ করে
  • 300টি লেবেল (ডেটাসেটের 0.75) মান "0" ধারণ করে

অতএব, জিনি অপবিত্রতা হল:

  • p = 0.25
  • q = 0.75
  • I = 1 - (0.25 2 + 0.75 2 ) = 0.375

ফলস্বরূপ, একই ডেটাসেট থেকে একটি র্যান্ডম লেবেলে ভুল শ্রেণীবদ্ধ হওয়ার সম্ভাবনা 37.5% এবং সঠিকভাবে শ্রেণীবদ্ধ হওয়ার 62.5% সম্ভাবনা থাকে।

একটি পুরোপুরি ভারসাম্যপূর্ণ লেবেল (উদাহরণস্বরূপ, 200 "0" s এবং 200 "1"s) 0.5 এর জিনি অপরিষ্কার থাকবে। একটি অত্যন্ত ভারসাম্যহীন লেবেলে 0.0 এর কাছাকাছি একটি জিনি অপরিষ্কার থাকবে।


এইচ

কবজা ক্ষতি

#মেট্রিক

শ্রেণীবিভাগের জন্য ক্ষতির ফাংশনগুলির একটি পরিবার প্রতিটি প্রশিক্ষণ উদাহরণ থেকে সিদ্ধান্তের সীমানা যতটা সম্ভব দূরত্বে খুঁজে বের করার জন্য ডিজাইন করা হয়েছে, এইভাবে উদাহরণ এবং সীমানার মধ্যে মার্জিন সর্বাধিক করে। KSVM কব্জা লস ব্যবহার করে (অথবা একটি সম্পর্কিত ফাংশন, যেমন স্কোয়ার কব্জা ক্ষতি)। বাইনারি শ্রেণীবিভাগের জন্য, কব্জা ক্ষতি ফাংশন নিম্নরূপ সংজ্ঞায়িত করা হয়:

loss=max(0,1(yy))

যেখানে y হল সত্যিকারের লেবেল, হয় -1 বা +1, এবং y' হল ক্লাসিফায়ার মডেলের কাঁচা আউটপুট:

y=b+w1x1+w2x2+wnxn

ফলস্বরূপ, (y * y') বনাম কব্জা ক্ষতির একটি প্লট নিম্নরূপ দেখায়:

দুটি যুক্ত লাইন সেগমেন্ট নিয়ে গঠিত একটি কার্টেসিয়ান প্লট। প্রথম           লাইন সেগমেন্ট (-3, 4) এ শুরু হয় এবং (1, 0) এ শেষ হয়। দ্বিতীয় লাইন           সেগমেন্ট (1, 0) এ শুরু হয় এবং একটি ঢালের সাথে অনির্দিষ্টকালের জন্য চলতে থাকে           0 এর

আমি

ন্যায্যতা মেট্রিক্সের অসঙ্গতি

#ন্যায্যতা
#মেট্রিক

এই ধারণা যে ন্যায্যতার কিছু ধারণা পারস্পরিকভাবে বেমানান এবং একই সাথে সন্তুষ্ট হতে পারে না। ফলস্বরূপ, ন্যায্যতা পরিমাপ করার জন্য কোনো একক সার্বজনীন মেট্রিক নেই যা সমস্ত ML সমস্যার ক্ষেত্রে প্রয়োগ করা যেতে পারে।

যদিও এটি নিরুৎসাহিত বলে মনে হতে পারে, ন্যায্যতা মেট্রিক্সের অসঙ্গতি বোঝায় না যে ন্যায্যতার প্রচেষ্টা নিষ্ফল। পরিবর্তে, এটি পরামর্শ দেয় যে ন্যায্যতা অবশ্যই একটি প্রদত্ত এমএল সমস্যার জন্য প্রাসঙ্গিকভাবে সংজ্ঞায়িত করা উচিত, এর ব্যবহারের ক্ষেত্রে নির্দিষ্ট ক্ষতি রোধ করার লক্ষ্যে।

ন্যায্যতা মেট্রিক্সের অসঙ্গতি সম্পর্কে আরও বিশদ আলোচনার জন্য "ন্যায্যতার (im) সম্ভাবনার উপর" দেখুন।

স্বতন্ত্র ন্যায্যতা

#ন্যায্যতা
#মেট্রিক

একটি ন্যায্যতা মেট্রিক যা পরীক্ষা করে যে একই ব্যক্তিদের একইভাবে শ্রেণীবদ্ধ করা হয়েছে কিনা। উদাহরণস্বরূপ, Brobdingnagian Academy অভিন্ন গ্রেড এবং প্রমিত পরীক্ষার স্কোর সহ দুইজন শিক্ষার্থী ভর্তি হওয়ার সম্ভাবনা সমানভাবে নিশ্চিত করার মাধ্যমে স্বতন্ত্র ন্যায্যতাকে সন্তুষ্ট করতে চাইতে পারে।

মনে রাখবেন যে স্বতন্ত্র ন্যায্যতা আপনি কীভাবে "সাদৃশ্য" (এই ক্ষেত্রে, গ্রেড এবং পরীক্ষার স্কোর) সংজ্ঞায়িত করেন তার উপর সম্পূর্ণরূপে নির্ভর করে এবং যদি আপনার মিল মেট্রিক গুরুত্বপূর্ণ তথ্য (যেমন একজন শিক্ষার্থীর কঠোরতা) মিস করে তাহলে আপনি নতুন ন্যায্যতা সমস্যা প্রবর্তনের ঝুঁকি চালাতে পারেন পাঠ্যক্রম)।

স্বতন্ত্র ন্যায্যতার আরও বিশদ আলোচনার জন্য "সচেতনতার মাধ্যমে ন্যায্যতা" দেখুন।

তথ্য লাভ

#df
#মেট্রিক

ডিসিশন ফরেস্টে , একটি নোডের এনট্রপি এবং ওজনযুক্ত (উদাহরণ সংখ্যা দ্বারা) এর চিলড্রেন নোডের এনট্রপির যোগফলের মধ্যে পার্থক্য। একটি নোডের এনট্রপি হল সেই নোডের উদাহরণগুলির এনট্রপি।

উদাহরণস্বরূপ, নিম্নলিখিত এনট্রপি মান বিবেচনা করুন:

  • প্যারেন্ট নোডের এনট্রপি = 0.6
  • 16টি প্রাসঙ্গিক উদাহরণ সহ একটি চাইল্ড নোডের এনট্রপি = 0.2
  • 24টি প্রাসঙ্গিক উদাহরণ সহ অন্য চাইল্ড নোডের এনট্রপি = 0.1

সুতরাং 40% উদাহরণ একটি চাইল্ড নোডে এবং 60% অন্য চাইল্ড নোডে রয়েছে। অতএব:

  • চাইল্ড নোডের ওজনযুক্ত এনট্রপি যোগফল = (0.4 * 0.2) + (0.6 * 0.1) = 0.14

সুতরাং, তথ্য লাভ হল:

  • তথ্য লাভ = প্যারেন্ট নোডের এনট্রপি - চাইল্ড নোডের ওজনযুক্ত এনট্রপি যোগফল
  • তথ্য লাভ = 0.6 - 0.14 = 0.46

বেশিরভাগ বিভাজনকারী এমন পরিস্থিতি তৈরি করতে চায় যা সর্বাধিক তথ্য লাভ করে।

আন্তঃ-রেটার চুক্তি

#মেট্রিক

একটি কাজ করার সময় মানব রেটাররা কত ঘন ঘন সম্মত হন তার একটি পরিমাপ। যদি রেটাররা একমত না হন, টাস্ক নির্দেশাবলী উন্নত করা প্রয়োজন হতে পারে। এছাড়াও কখনও কখনও আন্তঃ টীকা চুক্তি বা ইন্টার-রেটর নির্ভরযোগ্যতা বলা হয়। এছাড়াও কোহেনের কাপ্পা দেখুন, যা সবচেয়ে জনপ্রিয় ইন্টার-রেটর চুক্তি পরিমাপগুলির মধ্যে একটি।

আরও তথ্যের জন্য শ্রেণীগত ডেটা দেখুন: মেশিন লার্নিং ক্র্যাশ কোর্সে সাধারণ সমস্যা

এল

L 1 ক্ষতি

#মৌলিক
#মেট্রিক

একটি ক্ষতি ফাংশন যা প্রকৃত লেবেল মান এবং মডেলের ভবিষ্যদ্বাণী করা মানগুলির মধ্যে পার্থক্যের পরম মান গণনা করে। উদাহরণস্বরূপ, এখানে পাঁচটি উদাহরণের একটি ব্যাচের জন্য L 1 ক্ষতির গণনা রয়েছে:

উদাহরণের প্রকৃত মান মডেলের পূর্বাভাসিত মান ব-দ্বীপের পরম মান
7 6 1
5 4 1
8 11 3
4 6 2
9 8 1
8 = L 1 ক্ষতি

L 1 ক্ষতি L 2 ক্ষতির চেয়ে বহিরাগতদের জন্য কম সংবেদনশীল।

গড় পরম ত্রুটি হল উদাহরণ প্রতি গড় L 1 ক্ষতি।

L1loss=ni=0|yiˆyi|

কোথায়:
  • n হল উদাহরণের সংখ্যা।
  • y হল লেবেলের প্রকৃত মান।
  • ˆy হল সেই মান যা মডেলটি y এর জন্য ভবিষ্যদ্বাণী করে।

আরও তথ্যের জন্য লিনিয়ার রিগ্রেশন: মেশিন লার্নিং ক্র্যাশ কোর্সে ক্ষতি দেখুন।

L 2 ক্ষতি

#মৌলিক
#মেট্রিক

একটি ক্ষতি ফাংশন যা প্রকৃত লেবেল মান এবং মডেলের ভবিষ্যদ্বাণী করা মানগুলির মধ্যে পার্থক্যের বর্গ গণনা করে৷ উদাহরণস্বরূপ, এখানে পাঁচটি উদাহরণের একটি ব্যাচের জন্য L 2 ক্ষতির গণনা রয়েছে:

উদাহরণের প্রকৃত মান মডেলের পূর্বাভাসিত মান ব-দ্বীপের বর্গক্ষেত্র
7 6 1
5 4 1
8 11 9
4 6 4
9 8 1
16 = L 2 ক্ষতি

বর্গক্ষেত্রের কারণে, L 2 ক্ষতি আউটলারের প্রভাবকে বাড়িয়ে তোলে। অর্থাৎ, L 2 ক্ষতি L 1 ক্ষতির চেয়ে খারাপ ভবিষ্যদ্বাণীতে আরও জোরালো প্রতিক্রিয়া দেখায়। উদাহরণস্বরূপ, পূর্ববর্তী ব্যাচের জন্য L 1 ক্ষতি 16 এর পরিবর্তে 8 হবে। লক্ষ্য করুন যে একটি একক আউটলায়ার 16টির মধ্যে 9টির জন্য দায়ী।

রিগ্রেশন মডেল সাধারণত লস ফাংশন হিসাবে L 2 ক্ষতি ব্যবহার করে।

গড় বর্গক্ষেত্র ত্রুটি হল উদাহরণ প্রতি গড় L 2 ক্ষতি। বর্গাকার ক্ষতি হল L 2 ক্ষতির অপর নাম।

L2loss=ni=0(yiˆyi)2

কোথায়:
  • n হল উদাহরণের সংখ্যা।
  • y হল লেবেলের প্রকৃত মান।
  • ˆy হল সেই মান যা মডেলটি y এর জন্য ভবিষ্যদ্বাণী করে।

আরও তথ্যের জন্য লজিস্টিক রিগ্রেশন: মেশিন লার্নিং ক্র্যাশ কোর্সে ক্ষতি এবং নিয়মিতকরণ দেখুন।

এলএলএম মূল্যায়ন (ইভাল)

#ভাষা
#generativeAI
#মেট্রিক

বড় ভাষা মডেল (LLMs) এর কর্মক্ষমতা মূল্যায়ন করার জন্য মেট্রিক্স এবং বেঞ্চমার্কের একটি সেট। উচ্চ স্তরে, এলএলএম মূল্যায়ন:

  • এলএলএম-এর উন্নতি প্রয়োজন এমন ক্ষেত্রগুলি চিহ্নিত করতে গবেষকদের সাহায্য করুন।
  • বিভিন্ন এলএলএম তুলনা করতে এবং একটি নির্দিষ্ট কাজের জন্য সেরা এলএলএম সনাক্ত করতে কার্যকর।
  • LLM গুলি নিরাপদ এবং ব্যবহারের জন্য নৈতিক তা নিশ্চিত করতে সাহায্য করুন৷

আরও তথ্যের জন্য মেশিন লার্নিং ক্র্যাশ কোর্সে বড় ভাষা মডেল (এলএলএম) দেখুন।

ক্ষতি

#মৌলিক
#মেট্রিক

একটি তত্ত্বাবধানে থাকা মডেলের প্রশিক্ষণের সময়, একটি মডেলের ভবিষ্যদ্বাণী তার লেবেল থেকে কতদূর রয়েছে তার একটি পরিমাপ।

একটি ক্ষতি ফাংশন ক্ষতি গণনা করে।

আরও তথ্যের জন্য লিনিয়ার রিগ্রেশন: মেশিন লার্নিং ক্র্যাশ কোর্সে ক্ষতি দেখুন।

ক্ষতি ফাংশন

#মৌলিক
#মেট্রিক

প্রশিক্ষণ বা পরীক্ষার সময়, একটি গাণিতিক ফাংশন যা উদাহরণগুলির একটি ব্যাচে ক্ষতি গণনা করে। একটি ক্ষতি ফাংশন খারাপ ভবিষ্যদ্বাণী করে এমন মডেলগুলির তুলনায় ভাল ভবিষ্যদ্বাণী করে এমন মডেলগুলির জন্য কম ক্ষতি প্রদান করে৷

প্রশিক্ষণের লক্ষ্য হল সাধারণত ক্ষতি কমানো যা একটি ক্ষতি ফাংশন ফেরত দেয়।

বিভিন্ন ধরনের ক্ষতি ফাংশন বিদ্যমান। আপনি যে ধরনের মডেল তৈরি করছেন তার জন্য উপযুক্ত ক্ষতির ফাংশন বেছে নিন। যেমন:

এম

গড় পরম ত্রুটি (MAE)

#মেট্রিক

L 1 ক্ষতি ব্যবহার করা হলে উদাহরণ প্রতি গড় ক্ষতি। নিম্নরূপ গড় পরম ত্রুটি গণনা করুন:

  1. একটি ব্যাচের জন্য L 1 ক্ষতি গণনা করুন।
  2. ব্যাচের উদাহরণের সংখ্যা দ্বারা L 1 ক্ষতিকে ভাগ করুন।

Mean Absolute Error=1nni=0|yiˆyi|

কোথায়:

  • n হল উদাহরণের সংখ্যা।
  • y হল লেবেলের প্রকৃত মান।
  • ˆy হল সেই মান যা মডেলটি y এর জন্য ভবিষ্যদ্বাণী করে।

উদাহরণস্বরূপ, নিম্নলিখিত পাঁচটি উদাহরণের ব্যাচে L 1 ক্ষতির হিসাব বিবেচনা করুন:

উদাহরণের প্রকৃত মান মডেলের পূর্বাভাসিত মান ক্ষতি (প্রকৃত এবং পূর্বাভাসের মধ্যে পার্থক্য)
7 6 1
5 4 1
8 11 3
4 6 2
9 8 1
8 = L 1 ক্ষতি

সুতরাং, L 1 ক্ষতি হল 8 এবং উদাহরণের সংখ্যা হল 5। অতএব, গড় পরম ত্রুটি হল:

Mean Absolute Error = L1 loss / Number of Examples
Mean Absolute Error = 8/5 = 1.6

গড় বর্গাকার ত্রুটি এবং রুট গড় বর্গাকার ত্রুটির সাথে কনট্রাস্ট মানে পরম ত্রুটি।

গড় নির্ভুলতা k এ গড় (mAP@k)

#ভাষা
#generativeAI
#মেট্রিক

একটি বৈধতা ডেটাসেট জুড়ে k স্কোরে সমস্ত গড় নির্ভুলতার পরিসংখ্যানগত গড়। k-এ গড় গড় নির্ভুলতার একটি ব্যবহার হল একটি সুপারিশ সিস্টেম দ্বারা উত্পন্ন সুপারিশের গুণমান বিচার করা।

যদিও "গড় গড়" শব্দগুচ্ছ অপ্রয়োজনীয় শোনায়, মেট্রিকের নামটি উপযুক্ত। সর্বোপরি, এই মেট্রিকটি k মানগুলিতে একাধিক গড় নির্ভুলতার গড় খুঁজে পায়।

ধরুন আপনি একটি সুপারিশ সিস্টেম তৈরি করেছেন যা প্রতিটি ব্যবহারকারীর জন্য প্রস্তাবিত উপন্যাসগুলির একটি ব্যক্তিগতকৃত তালিকা তৈরি করে। নির্বাচিত ব্যবহারকারীদের প্রতিক্রিয়ার উপর ভিত্তি করে, আপনি k স্কোরে নিম্নলিখিত পাঁচটি গড় নির্ভুলতা গণনা করেন (ব্যবহারকারী প্রতি একটি স্কোর):

  • 0.73
  • 0.77
  • 0.67
  • 0.82
  • 0.76

K তে গড় নির্ভুলতা তাই হল:

mean =0.73 + 0.77 + 0.67 + 0.82 + 0.765=0.75

গড় বর্গাকার ত্রুটি (MSE)

#মেট্রিক

L 2 ক্ষতি ব্যবহার করা হলে উদাহরণ প্রতি গড় ক্ষতি। নিম্নরূপ গড় বর্গাকার ত্রুটি গণনা করুন:

  1. একটি ব্যাচের জন্য L 2 ক্ষতি গণনা করুন।
  2. ব্যাচের উদাহরণের সংখ্যা দ্বারা L 2 ক্ষতিকে ভাগ করুন।
Mean Squared Error=1nni=0(yiˆyi)2কোথায়:
  • n হল উদাহরণের সংখ্যা।
  • y হল লেবেলের প্রকৃত মান।
  • ˆy হল y এর জন্য মডেলের পূর্বাভাস।

উদাহরণস্বরূপ, পাঁচটি উদাহরণের নিম্নলিখিত ব্যাচে ক্ষতি বিবেচনা করুন:

প্রকৃত মান মডেলের ভবিষ্যদ্বাণী ক্ষতি বর্গাকার ক্ষতি
7 6 1 1
5 4 1 1
8 11 3 9
4 6 2 4
9 8 1 1
16 = L 2 ক্ষতি

অতএব, গড় বর্গাকার ত্রুটি হল:

Mean Squared Error = L2 loss / Number of Examples
Mean Squared Error = 16/5 = 3.2

গড় স্কয়ারড ত্রুটি একটি জনপ্রিয় প্রশিক্ষণ অপ্টিমাইজার , বিশেষ করে লিনিয়ার রিগ্রেশনের জন্য।

গড় পরম ত্রুটি এবং রুট গড় বর্গাকার ত্রুটির সাথে কনট্রাস্ট গড় বর্গাকার ত্রুটি।

TensorFlow খেলার মাঠ ক্ষতির মান গণনা করতে গড় স্কোয়ার ত্রুটি ব্যবহার করে।

Outliers দৃঢ়ভাবে গড় স্কোয়ার ত্রুটি প্রভাবিত. উদাহরণস্বরূপ, 1-এর ক্ষতি হল 1-এর বর্গীয় ক্ষতি, কিন্তু 3-এর ক্ষতি হল 9-এর বর্গীয় ক্ষতি। পূর্ববর্তী সারণীতে, গড় বর্গ ত্রুটির ~56% জন্য 3 অ্যাকাউন্টের ক্ষতির উদাহরণ 1 হারানো উদাহরণগুলির প্রতিটির জন্য গড় বর্গ ত্রুটির মাত্র 6%।

আউটলায়াররা মিন অ্যাবসলিউট এররকে মিন স্কোয়ারড এররের মত দৃঢ়ভাবে প্রভাবিত করে না। উদাহরণস্বরূপ, গড় পরম ত্রুটির মাত্র ~38% জন্য 3টি অ্যাকাউন্টের ক্ষতি।

ক্লিপিং আপনার মডেলের ভবিষ্যদ্বাণী করার ক্ষমতার ক্ষতি থেকে চরম বহিরাগতদের প্রতিরোধ করার একটি উপায়।


মেট্রিক

#টেনসরফ্লো
#মেট্রিক

একটি পরিসংখ্যান যা আপনি যত্নশীল।

একটি উদ্দেশ্য হল একটি মেট্রিক যা একটি মেশিন লার্নিং সিস্টেম অপ্টিমাইজ করার চেষ্টা করে।

মেট্রিক্স API (tf.metrics)

#মেট্রিক

মডেল মূল্যায়নের জন্য একটি TensorFlow API। উদাহরণস্বরূপ, tf.metrics.accuracy নির্ধারণ করে কত ঘন ঘন একটি মডেলের ভবিষ্যদ্বাণী লেবেলের সাথে মেলে।

সর্বনিম্ন ক্ষতি

#মেট্রিক

জেনারেটিভ অ্যাডভারসারিয়াল নেটওয়ার্কগুলির জন্য একটি ক্ষতি ফাংশন, উত্পন্ন ডেটা এবং বাস্তব ডেটা বিতরণের মধ্যে ক্রস-এনট্রপির উপর ভিত্তি করে।

মিনিম্যাক্স ক্ষতি প্রথম কাগজে জেনারেটিভ অ্যাডভারসারিয়াল নেটওয়ার্ক বর্ণনা করতে ব্যবহৃত হয়।

আরও তথ্যের জন্য জেনারেটিভ অ্যাডভারসারিয়াল নেটওয়ার্ক কোর্সে লস ফাংশনগুলি দেখুন।

মডেল ক্ষমতা

#মেট্রিক

সমস্যার জটিলতা যা একটি মডেল শিখতে পারে। একটি মডেল যত জটিল সমস্যা শিখতে পারে, মডেলের ক্ষমতা তত বেশি। একটি মডেলের ক্ষমতা সাধারণত মডেল প্যারামিটারের সংখ্যার সাথে বৃদ্ধি পায়। ক্লাসিফায়ার ক্ষমতার একটি আনুষ্ঠানিক সংজ্ঞার জন্য, ভিসি মাত্রা দেখুন।

এন

নেতিবাচক ক্লাস

#মৌলিক
#মেট্রিক

বাইনারি শ্রেণীবিভাগে , একটি শ্রেণীকে ধনাত্মক এবং অন্যটিকে ঋণাত্মক বলা হয়। ইতিবাচক শ্রেণী হল সেই জিনিস বা ঘটনা যা মডেলটি পরীক্ষা করছে এবং নেতিবাচক শ্রেণী হল অন্য সম্ভাবনা। যেমন:

  • একটি মেডিকেল পরীক্ষায় নেতিবাচক শ্রেণী "টিউমার নয়" হতে পারে।
  • একটি ইমেল ক্লাসিফায়ারে নেতিবাচক শ্রেণী "স্প্যাম নয়" হতে পারে।

ইতিবাচক শ্রেণীর সাথে বৈসাদৃশ্য।

উদ্দেশ্য

#মেট্রিক

একটি মেট্রিক যা আপনার অ্যালগরিদম অপ্টিমাইজ করার চেষ্টা করছে।

উদ্দেশ্য ফাংশন

#মেট্রিক

গাণিতিক সূত্র বা মেট্রিক যা একটি মডেল অপ্টিমাইজ করার লক্ষ্য রাখে। উদাহরণস্বরূপ, রৈখিক রিগ্রেশনের জন্য উদ্দেশ্য ফাংশনটি সাধারণত স্কয়ারড লস হয়। অতএব, যখন একটি রৈখিক রিগ্রেশন মডেল প্রশিক্ষণ দেওয়া হয়, প্রশিক্ষণের লক্ষ্য হল গড় স্কয়ারড লস কমিয়ে আনা।

কিছু ক্ষেত্রে, লক্ষ্য হল উদ্দেশ্য ফাংশন সর্বাধিক করা । উদাহরণস্বরূপ, যদি উদ্দেশ্য ফাংশন নির্ভুলতা হয়, তাহলে লক্ষ্য হল সর্বোচ্চ নির্ভুলতা।

ক্ষতিও দেখুন।

পৃ

k এ পাস (pass@k)

#মেট্রিক

কোডের গুণমান নির্ধারণের জন্য একটি মেট্রিক (উদাহরণস্বরূপ, পাইথন) যা একটি বড় ভাষা মডেল তৈরি করে। আরও সুনির্দিষ্টভাবে, পাস এ k আপনাকে সম্ভাবনার কথা বলে যে কোডের k জেনারেটেড ব্লকের মধ্যে অন্তত একটি জেনারেটেড ব্লক তার সমস্ত ইউনিট পরীক্ষায় উত্তীর্ণ হবে।

বড় ভাষার মডেলগুলি প্রায়ই জটিল প্রোগ্রামিং সমস্যার জন্য ভাল কোড তৈরি করতে লড়াই করে। সফ্টওয়্যার ইঞ্জিনিয়াররা একই সমস্যার জন্য একাধিক ( k ) সমাধান তৈরি করতে বৃহৎ ভাষার মডেলকে অনুরোধ করে এই সমস্যাটির সাথে খাপ খায়। তারপরে, সফ্টওয়্যার ইঞ্জিনিয়াররা ইউনিট পরীক্ষার বিরুদ্ধে প্রতিটি সমাধান পরীক্ষা করে। k- এ পাসের গণনা ইউনিট পরীক্ষার ফলাফলের উপর নির্ভর করে:

  • যদি এই সমাধানগুলির মধ্যে এক বা একাধিক ইউনিট পরীক্ষায় উত্তীর্ণ হয়, তাহলে LLM সেই কোড জেনারেশন চ্যালেঞ্জ পাস করে
  • যদি সমাধানগুলির একটিও ইউনিট পরীক্ষায় উত্তীর্ণ না হয়, তাহলে এলএলএম সেই কোড জেনারেশন চ্যালেঞ্জে ব্যর্থ হয়

k এ পাসের সূত্রটি নিম্নরূপ:

pass at k=total number of passestotal number of challenges

সাধারণভাবে, k এর উচ্চতর মান k স্কোরে উচ্চতর পাস তৈরি করে; তবে, k- এর উচ্চতর মানগুলির জন্য আরও বড় ভাষা মডেল এবং ইউনিট পরীক্ষার সংস্থান প্রয়োজন।

ধরুন একজন সফ্টওয়্যার ইঞ্জিনিয়ার একটি বড় ভাষা মডেলকে n =50 চ্যালেঞ্জিং কোডিং সমস্যার জন্য k =10 সমাধান তৈরি করতে বলে। এখানে ফলাফল আছে:

  • 30 পাস
  • 20 ব্যর্থ

তাই 10 স্কোরে পাস হল:

pass at 10=3050=0.6

কর্মক্ষমতা

#মেট্রিক

নিম্নলিখিত অর্থ সহ ওভারলোড করা শব্দ:

  • সফ্টওয়্যার ইঞ্জিনিয়ারিংয়ের মধ্যে আদর্শ অর্থ। যথা: সফ্টওয়্যারের এই অংশটি কত দ্রুত (বা দক্ষতার সাথে) চালায়?
  • মেশিন লার্নিং এর অর্থ। এখানে, কর্মক্ষমতা নিম্নলিখিত প্রশ্নের উত্তর দেয়: এই মডেলটি কতটা সঠিক? যে, মডেলের ভবিষ্যদ্বাণী কতটা ভালো?

পরিবর্তনশীল গুরুত্ব

#df
#মেট্রিক

পরিবর্তনশীল গুরুত্বের একটি প্রকার যা বৈশিষ্ট্যের মানগুলিকে অনুমতি দেওয়ার পরে একটি মডেলের ভবিষ্যদ্বাণী ত্রুটির বৃদ্ধিকে মূল্যায়ন করে৷ পারমুটেশন পরিবর্তনশীল গুরুত্ব একটি মডেল-স্বাধীন মেট্রিক।

বিভ্রান্তি

#মেট্রিক

একটি মডেল তার কাজটি কতটা ভালভাবে সম্পন্ন করছে তার একটি পরিমাপ। উদাহরণ স্বরূপ, ধরুন আপনার কাজ হল ফোনের কীবোর্ডে ব্যবহারকারী টাইপ করা শব্দের প্রথম কয়েকটি অক্ষর পড়া এবং সম্ভাব্য সমাপ্তি শব্দের একটি তালিকা দেওয়া। বিভ্রান্তি, পি, এই কাজের জন্য ব্যবহারকারী টাইপ করার চেষ্টা করছেন এমন আসল শব্দটি ধারণ করার জন্য আপনার তালিকার জন্য আপনাকে অফার করতে হবে এমন অনুমানগুলির সংখ্যা।

বিভ্রান্তি নিম্নরূপ ক্রস-এনট্রপির সাথে সম্পর্কিত:

P=2cross entropy

ইতিবাচক ক্লাস

#মৌলিক
#মেট্রিক

আপনি যে ক্লাসের জন্য পরীক্ষা করছেন।

উদাহরণস্বরূপ, একটি ক্যান্সার মডেলের ইতিবাচক শ্রেণী "টিউমার" হতে পারে। একটি ইমেল ক্লাসিফায়ারের ইতিবাচক শ্রেণীটি "স্প্যাম" হতে পারে।

নেতিবাচক শ্রেণীর সাথে বৈসাদৃশ্য।

পজিটিভ ক্লাস শব্দটি বিভ্রান্তিকর হতে পারে কারণ অনেক পরীক্ষার "ইতিবাচক" ফলাফল প্রায়ই একটি অবাঞ্ছিত ফলাফল। উদাহরণস্বরূপ, অনেক মেডিকেল পরীক্ষায় ইতিবাচক শ্রেণি টিউমার বা রোগের সাথে মিলে যায়। সাধারণভাবে, আপনি চান একজন ডাক্তার আপনাকে বলুক, "অভিনন্দন! আপনার পরীক্ষার ফলাফল নেতিবাচক ছিল।" নির্বিশেষে, ইতিবাচক শ্রেণী হল ইভেন্ট যা পরীক্ষাটি খুঁজে পেতে চাইছে।

অবশ্যই, আপনি একই সাথে ইতিবাচক এবং নেতিবাচক উভয় শ্রেণীর জন্য পরীক্ষা করছেন।


PR AUC (PR বক্ররেখার অধীনে এলাকা)

#মেট্রিক

শ্রেণীবিন্যাস থ্রেশহোল্ডের বিভিন্ন মানের জন্য প্লটিং (রিকল, নির্ভুলতা) পয়েন্ট দ্বারা প্রাপ্ত ইন্টারপোলেটেড প্রিসিশন-রিকল বক্ররেখার অধীনে এলাকা।

নির্ভুলতা

#মেট্রিক

শ্রেণীবিভাগের মডেলগুলির জন্য একটি মেট্রিক যা নিম্নলিখিত প্রশ্নের উত্তর দেয়:

মডেলটি যখন ইতিবাচক শ্রেণীর ভবিষ্যদ্বাণী করেছিল, তখন ভবিষ্যদ্বাণীগুলির কত শতাংশ সঠিক ছিল?

এখানে সূত্র আছে:

Precision=true positivestrue positives+false positives

কোথায়:

  • সত্য ইতিবাচক মানে মডেল সঠিকভাবে ইতিবাচক শ্রেণীর ভবিষ্যদ্বাণী করেছে।
  • মিথ্যা ইতিবাচক মানে মডেল ভুলভাবে ইতিবাচক শ্রেণীর ভবিষ্যদ্বাণী করেছে।

উদাহরণস্বরূপ, ধরুন একটি মডেল 200টি ইতিবাচক ভবিষ্যদ্বাণী করেছে। এই 200টি ইতিবাচক ভবিষ্যদ্বাণীগুলির মধ্যে:

  • 150 সত্য ইতিবাচক ছিল.
  • 50টি মিথ্যা ইতিবাচক ছিল।

এই ক্ষেত্রে:

Precision=150150+50=0.75

সঠিকতা এবং প্রত্যাহার সঙ্গে বৈসাদৃশ্য.

আরও তথ্যের জন্য মেশিন লার্নিং ক্র্যাশ কোর্সে শ্রেণিবিন্যাস: যথার্থতা, স্মরণ, নির্ভুলতা এবং সম্পর্কিত মেট্রিক্স দেখুন।

k এ নির্ভুলতা (নির্ভুলতা@k)

#ভাষা
#মেট্রিক

আইটেমগুলির একটি র‌্যাঙ্ক করা (অর্ডার করা) তালিকা মূল্যায়নের জন্য একটি মেট্রিক। k এ নির্ভুলতা সেই তালিকার প্রথম k আইটেমের ভগ্নাংশ চিহ্নিত করে যা "প্রাসঙ্গিক"। অর্থাৎ:

precision at k=relevant items in first k items of the listk

k- এর মান অবশ্যই প্রত্যাবর্তিত তালিকার দৈর্ঘ্যের কম বা সমান হতে হবে। উল্লেখ্য যে প্রত্যাবর্তিত তালিকার দৈর্ঘ্য গণনার অংশ নয়।

প্রাসঙ্গিকতা প্রায়ই বিষয়গত হয়; এমনকি বিশেষজ্ঞ মানব মূল্যায়নকারীরাও প্রায়শই কোন আইটেমগুলি প্রাসঙ্গিক তা নিয়ে দ্বিমত পোষণ করেন।

এর সাথে তুলনা করুন:

ধরুন একটি বৃহৎ ভাষা মডেল নিম্নলিখিত প্রশ্ন দেওয়া হয়েছে:

List the 6 funniest movies of all time in order.

এবং বড় ভাষা মডেল নিম্নলিখিত টেবিলের প্রথম দুটি কলামে প্রদর্শিত তালিকা প্রদান করে:

অবস্থান মুভি প্রাসঙ্গিক?
1 জেনারেল হ্যাঁ
2 মানে মেয়েরা হ্যাঁ
3 প্লাটুন না
4 ব্রাইডমেইডস হ্যাঁ
5 নাগরিক কেন না
6 এটি স্পাইনাল ট্যাপ হ্যাঁ

প্রথম তিনটি মুভির মধ্যে দুটি প্রাসঙ্গিক, তাই 3 এ নির্ভুলতা হল:

precision at 3=23=0.67

প্রথম পাঁচটি মুভির মধ্যে চারটি খুব মজার, তাই 5টিতে নির্ভুলতা হল:

precision at 5=45=0.8

নির্ভুলতা-রিকল বক্ররেখা

#মেট্রিক

বিভিন্ন শ্রেণিবিন্যাস থ্রেশহোল্ডে নির্ভুলতার একটি বক্ররেখা বনাম রিকল

পূর্বাভাস পক্ষপাত

#মেট্রিক

ডেটাসেটের লেবেলের গড় থেকে ভবিষ্যদ্বাণীর গড় কত দূরে তা নির্দেশ করে একটি মান।

মেশিন লার্নিং মডেলের পক্ষপাতিত্ব শব্দের সাথে বা নৈতিকতা এবং ন্যায্যতার সাথে পক্ষপাতিত্বের সাথে বিভ্রান্ত হবেন না।

ভবিষ্যদ্বাণীমূলক সমতা

#ন্যায্যতা
#মেট্রিক

একটি ন্যায্যতা মেট্রিক যা পরীক্ষা করে যে প্রদত্ত শ্রেণিবিন্যাসকারীর জন্য, নির্ভুলতা হারগুলি বিবেচনাধীন সাবগ্রুপগুলির জন্য সমতুল্য কিনা।

উদাহরণস্বরূপ, একটি মডেল যা কলেজের গ্রহণযোগ্যতার ভবিষ্যদ্বাণী করে তা জাতীয়তার জন্য ভবিষ্যদ্বাণীমূলক সমতাকে সন্তুষ্ট করবে যদি লিলিপুটিয়ান এবং ব্রবডিংনাগিয়ানদের জন্য এর নির্ভুলতার হার একই হয়।

ভবিষ্যদ্বাণীমূলক সমতাকে কখনও কখনও ভবিষ্যদ্বাণীমূলক হার সমতাও বলা হয়।

ভবিষ্যদ্বাণীমূলক সমতার আরও বিশদ আলোচনার জন্য "ন্যায্যতার সংজ্ঞা ব্যাখ্যা করা হয়েছে" (বিভাগ 3.2.1) দেখুন।

ভবিষ্যদ্বাণীমূলক হার সমতা

#ন্যায্যতা
#মেট্রিক

ভবিষ্যদ্বাণীমূলক সমতার আরেকটি নাম।

সম্ভাবনা ঘনত্ব ফাংশন

#মেট্রিক

একটি ফাংশন যা সঠিক একটি নির্দিষ্ট মান সহ ডেটা নমুনার ফ্রিকোয়েন্সি সনাক্ত করে। যখন একটি ডেটাসেটের মান ক্রমাগত ফ্লোটিং-পয়েন্ট সংখ্যা হয়, তখন সঠিক মিল খুব কমই ঘটে। যাইহোক , x y y x নমুনার প্রত্যাশিত ফ্রিকোয়েন্সি পাওয়া যায়।

উদাহরণ স্বরূপ, 200 এর গড় এবং 30 এর একটি আদর্শ বিচ্যুতি সহ একটি সাধারণ বন্টন বিবেচনা করুন। 211.4 থেকে 218.7 রেঞ্জের মধ্যে থাকা ডেটা নমুনার প্রত্যাশিত ফ্রিকোয়েন্সি নির্ধারণ করতে, আপনি 211.4 থেকে 218.7 পর্যন্ত একটি স্বাভাবিক বিতরণের জন্য সম্ভাব্যতা ঘনত্ব ফাংশনকে একীভূত করতে পারেন। .

আর

প্রত্যাহার

#মেট্রিক

শ্রেণীবিভাগের মডেলগুলির জন্য একটি মেট্রিক যা নিম্নলিখিত প্রশ্নের উত্তর দেয়:

যখন গ্রাউন্ড ট্রুথ ইতিবাচক শ্রেণী ছিল, তখন কত শতাংশ ভবিষ্যদ্বাণী সঠিকভাবে ইতিবাচক শ্রেণী হিসেবে চিহ্নিত করেছে?

এখানে সূত্র আছে:

Recall=true positivestrue positives+false negatives

কোথায়:

  • সত্য ইতিবাচক মানে মডেল সঠিকভাবে ইতিবাচক শ্রেণীর ভবিষ্যদ্বাণী করেছে।
  • মিথ্যা নেতিবাচক মানে হল যে মডেল ভুলভাবে নেতিবাচক শ্রেণীর ভবিষ্যদ্বাণী করেছে।

উদাহরণস্বরূপ, ধরুন আপনার মডেলটি উদাহরণের উপর 200টি ভবিষ্যদ্বাণী করেছে যার জন্য গ্রাউন্ড ট্রুথ ইতিবাচক ক্লাস ছিল। এই 200টি ভবিষ্যদ্বাণীর মধ্যে:

  • 180টি সত্য ইতিবাচক ছিল।
  • 20টি মিথ্যা নেতিবাচক ছিল।

এই ক্ষেত্রে:

Recall=180180+20=0.9

শ্রেণীবিন্যাস মডেলের ভবিষ্যদ্বাণীমূলক শক্তি নির্ধারণের জন্য বিশেষভাবে উপযোগী, যেখানে ইতিবাচক শ্রেণি বিরল। উদাহরণস্বরূপ, একটি শ্রেণী-ভারসাম্যহীন ডেটাসেট বিবেচনা করুন যেখানে একটি নির্দিষ্ট রোগের জন্য ইতিবাচক শ্রেণী এক মিলিয়নের মধ্যে মাত্র 10 জন রোগীর মধ্যে ঘটে। ধরুন আপনার মডেল পাঁচ মিলিয়ন ভবিষ্যদ্বাণী করে যা নিম্নলিখিত ফলাফলগুলি দেয়:

  • 30 সত্যিকারের ইতিবাচক
  • 20 মিথ্যা নেতিবাচক
  • 4,999,000 সত্য নেতিবাচক
  • 950 মিথ্যা ইতিবাচক

এই মডেলের প্রত্যাহার তাই হল:

recall = TP / (TP + FN)
recall = 30 / (30 + 20) = 0.6 = 60%
বিপরীতে, এই মডেলের যথার্থতা হল:
accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (30 + 4,999,000) / (30 + 4,999,000 + 950 + 20) = 99.98%

নির্ভুলতার উচ্চ মান চিত্তাকর্ষক দেখায় কিন্তু মূলত অর্থহীন। সঠিকতার চেয়ে শ্রেণী-ভারসাম্যহীন ডেটাসেটের জন্য রিকল একটি অনেক বেশি দরকারী মেট্রিক।


শ্রেণীবিভাগ দেখুন: আরো তথ্যের জন্য সঠিকতা, স্মরণ, নির্ভুলতা এবং সম্পর্কিত মেট্রিক্স

k এ প্রত্যাহার করুন (recall@k)

#ভাষা
#মেট্রিক

আইটেমগুলির একটি র‌্যাঙ্ক করা (অর্ডার করা) তালিকা আউটপুট করে এমন সিস্টেমের মূল্যায়নের জন্য একটি মেট্রিক। k এ রিকল প্রত্যাবর্তিত প্রাসঙ্গিক আইটেমের মোট সংখ্যার মধ্যে সেই তালিকার প্রথম k আইটেমের প্রাসঙ্গিক আইটেমের ভগ্নাংশ চিহ্নিত করে।

recall at k=relevant items in first k items of the listtotal number of relevant items in the list

k এ নির্ভুলতার সাথে বৈসাদৃশ্য।

ধরুন একটি বৃহৎ ভাষা মডেল নিম্নলিখিত প্রশ্ন দেওয়া হয়েছে:

List the 10 funniest movies of all time in order.

এবং বৃহৎ ভাষা মডেল প্রথম দুটি কলামে প্রদর্শিত তালিকা প্রদান করে:

অবস্থান মুভি প্রাসঙ্গিক?
1 জেনারেল হ্যাঁ
2 মানে মেয়েরা হ্যাঁ
3 প্লাটুন না
4 ব্রাইডমেইডস হ্যাঁ
5 এটি স্পাইনাল ট্যাপ হ্যাঁ
6 বিমানের ! হ্যাঁ
7 গ্রাউন্ডহগ ডে হ্যাঁ
8 মন্টি পাইথন এবং হলি গ্রেইল হ্যাঁ
9 ওপেনহাইমার না
10 অজ্ঞাত হ্যাঁ

পূর্ববর্তী তালিকার আটটি সিনেমা খুব মজার, তাই তারা "তালিকায় প্রাসঙ্গিক আইটেম"। অতএব, k তে প্রত্যাহার করার সমস্ত গণনায় 8 হবে হর। লব সম্পর্কে কি? ঠিক আছে, প্রথম 4টি আইটেমের মধ্যে 3টি প্রাসঙ্গিক, তাই 4টিতে প্রত্যাহার করুন:

recall at 4=38=0.375

প্রথম 8টি মুভির মধ্যে 7টি খুব মজার, তাই 8টিতে রিকল হল:

recall at 8=78=0.875

ROC (রিসিভার অপারেটিং বৈশিষ্ট্য) বক্ররেখা

#মৌলিক
#মেট্রিক

বাইনারি শ্রেণীবিভাগে বিভিন্ন শ্রেণিবিন্যাসের থ্রেশহোল্ডের জন্য সত্য ইতিবাচক হার বনাম মিথ্যা ইতিবাচক হারের একটি গ্রাফ।

একটি ROC বক্ররেখার আকৃতি একটি বাইনারি শ্রেণিবিন্যাস মডেলের ইতিবাচক শ্রেণীগুলিকে নেতিবাচক শ্রেণী থেকে পৃথক করার ক্ষমতা নির্দেশ করে। ধরুন, উদাহরণস্বরূপ, একটি বাইনারি শ্রেণীবিভাগ মডেল সমস্ত নেতিবাচক শ্রেণীগুলিকে সমস্ত ইতিবাচক শ্রেণী থেকে পুরোপুরি আলাদা করে:

ডান পাশে 8টি ইতিবাচক উদাহরণ সহ একটি সংখ্যা রেখা এবং           বাম দিকে 7টি নেতিবাচক উদাহরণ।

পূর্ববর্তী মডেলের জন্য ROC বক্ররেখাটি নিম্নরূপ দেখায়:

একটি ROC বক্ররেখা। x-অক্ষ হল মিথ্যা ধনাত্মক হার এবং y-অক্ষ           সত্য ইতিবাচক হার. বক্ররেখার একটি উল্টানো L আকৃতি আছে। বক্ররেখা           (0.0,0.0) এ শুরু হয় এবং সরাসরি (0.0,1.0) পর্যন্ত যায়। তারপর বক্ররেখা           (0.0,1.0) থেকে (1.0,1.0) যায়।

বিপরীতে, নিম্নলিখিত চিত্রটি একটি ভয়ানক মডেলের জন্য কাঁচা লজিস্টিক রিগ্রেশন মানগুলিকে গ্রাফ করে যা নেতিবাচক শ্রেণীগুলিকে ইতিবাচক শ্রেণীগুলি থেকে আলাদা করতে পারে না:

ইতিবাচক উদাহরণ এবং নেতিবাচক ক্লাস সহ একটি সংখ্যা রেখা           সম্পূর্ণরূপে মিশ্রিত।

এই মডেলের জন্য ROC বক্ররেখা নিম্নরূপ দেখায়:

একটি ROC বক্ররেখা, যা আসলে (0.0,0.0) থেকে একটি সরল রেখা।           থেকে (1.0,1.0)।

ইতিমধ্যে, বাস্তব জগতে ফিরে, বেশিরভাগ বাইনারি শ্রেণীবিভাগ মডেলগুলি ইতিবাচক এবং নেতিবাচক শ্রেণীগুলিকে কিছু ডিগ্রীতে আলাদা করে, কিন্তু সাধারণত পুরোপুরি নয়। সুতরাং, একটি সাধারণ ROC বক্ররেখা দুটি চরমের মধ্যে কোথাও পড়ে:

একটি ROC বক্ররেখা। x-অক্ষ হল মিথ্যা ধনাত্মক হার এবং y-অক্ষ           সত্য ইতিবাচক হার. ROC বক্ররেখা একটি নড়বড়ে চাপের অনুমান           পশ্চিম থেকে উত্তরে কম্পাস পয়েন্ট অতিক্রম করা।

(0.0,1.0) এর নিকটতম একটি ROC বক্ররেখার বিন্দু তাত্ত্বিকভাবে আদর্শ শ্রেণিবিন্যাসের থ্রেশহোল্ডকে চিহ্নিত করে। যাইহোক, অন্যান্য বাস্তব-বিশ্বের সমস্যা আদর্শ শ্রেণীবিভাগের থ্রেশহোল্ড নির্বাচনকে প্রভাবিত করে। উদাহরণস্বরূপ, সম্ভবত মিথ্যা নেতিবাচক মিথ্যা ইতিবাচক তুলনায় অনেক বেশি ব্যথা সৃষ্টি করে।

AUC নামক একটি সংখ্যাসূচক মেট্রিক ROC বক্ররেখাকে একটি একক ভাসমান-বিন্দু মানের মধ্যে সংক্ষিপ্ত করে।

রুট গড় বর্গাকার ত্রুটি (RMSE)

#মৌলিক
#মেট্রিক

গড় বর্গ ত্রুটির বর্গমূল।

ROUGE (প্রত্যাহার-অরিয়েন্টেড আন্ডারস্টাডি ফর জিস্টিং ইভালুয়েশন)

#ভাষা
#মেট্রিক

মেট্রিক্সের একটি পরিবার যা স্বয়ংক্রিয় সংক্ষিপ্তসার এবং মেশিন অনুবাদ মডেলের মূল্যায়ন করে। ROUGE মেট্রিক্স কোন রেফারেন্স টেক্সট কোন ML মডেলের তৈরি করা টেক্সটকে ওভারল্যাপ করে তা নির্ধারণ করে। ROUGE পরিবারের প্রত্যেক সদস্যের পরিমাপ আলাদা ভাবে ওভারল্যাপ করে। উচ্চ ROUGE স্কোর নিম্ন ROUGE স্কোরের তুলনায় রেফারেন্স টেক্সট এবং জেনারেট করা টেক্সটের মধ্যে বেশি মিল নির্দেশ করে।

ROUGE পরিবারের প্রতিটি সদস্য সাধারণত নিম্নলিখিত মেট্রিক্স তৈরি করে:

  • যথার্থতা
  • স্মরণ করুন

বিস্তারিত এবং উদাহরণের জন্য, দেখুন:

রুজ-এল

#ভাষা
#মেট্রিক

ROUGE পরিবারের একজন সদস্য রেফারেন্স টেক্সট এবং জেনারেট করা টেক্সটে দীর্ঘতম সাধারণ পরবর্তী দৈর্ঘ্যের উপর দৃষ্টি নিবদ্ধ করেছেন। নিম্নলিখিত সূত্রগুলি ROUGE-L-এর জন্য প্রত্যাহার এবং নির্ভুলতা গণনা করে:

ROUGE-L recall=longest common sequencenumber of words in the reference text
ROUGE-L precision=longest common sequencenumber of words in the generated text

ROUGE-L রিকল এবং ROUGE-L নির্ভুলতাকে একটি একক মেট্রিকে রোল আপ করতে আপনি F 1 ব্যবহার করতে পারেন:

ROUGE-L F1=2ROUGE-L recallROUGE-L precisionROUGE-L recall+ROUGE-L precision
নিচের রেফারেন্স টেক্সট এবং জেনারেট করা টেক্সট বিবেচনা করুন।
শ্রেণী কে উৎপাদিত? পাঠ্য
রেফারেন্স টেক্সট মানব অনুবাদক আমি বিভিন্ন জিনিস বুঝতে চাই.
তৈরি করা পাঠ্য এমএল মডেল আমি অনেক কিছু শিখতে চাই।
অতএব:
  • দীর্ঘতম সাধারণ অনুসৃতি হল 5 ( আমি জিনিসগুলি চাই )
  • রেফারেন্স টেক্সট শব্দ সংখ্যা 9.
  • উৎপন্ন পাঠ্যের শব্দ সংখ্যা 7।
ফলস্বরূপ:
ROUGE-L recall=59=0.56
ROUGE-L precision=57=0.71
ROUGE-L F1=20.560.710.56+0.71=0.63

ROUGE-L রেফারেন্স টেক্সট এবং জেনারেট করা টেক্সটে যেকোনো নতুন লাইনকে উপেক্ষা করে, তাই দীর্ঘতম সাধারণ অনুগামী একাধিক বাক্য অতিক্রম করতে পারে। যখন রেফারেন্স টেক্সট এবং জেনারেট করা টেক্সট একাধিক বাক্য জড়িত থাকে, তখন ROUGE-L-এর একটি বৈচিত্র যাকে ROUGE-Lsum বলা হয় তা সাধারণত একটি ভালো মেট্রিক। ROUGE-Lsum একটি প্যাসেজের প্রতিটি বাক্যের জন্য সবচেয়ে দীর্ঘতম সাধারণ অনুসৃতি নির্ধারণ করে এবং তারপর সেই দীর্ঘতম সাধারণ অনুসৃতির গড় গণনা করে।

নিচের রেফারেন্স টেক্সট এবং জেনারেট করা টেক্সট বিবেচনা করুন।
শ্রেণী কে উৎপাদিত? পাঠ্য
রেফারেন্স টেক্সট মানব অনুবাদক মঙ্গলের পৃষ্ঠ শুষ্ক। প্রায় সব জলই গভীর ভূগর্ভস্থ।
তৈরি করা পাঠ্য এমএল মডেল মঙ্গলের একটি শুষ্ক পৃষ্ঠ আছে। তবে পানির সিংহভাগই ভূগর্ভস্থ।
অতএব:
প্রথম বাক্য দ্বিতীয় বাক্য
দীর্ঘতম সাধারণ ক্রম 2 (মঙ্গল শুষ্ক) 3 (জল ভূগর্ভস্থ)
রেফারেন্স পাঠ্যের বাক্যের দৈর্ঘ্য 6 7
তৈরি করা পাঠ্যের বাক্য দৈর্ঘ্য 5 8
ফলস্বরূপ:
recall of first sentence=26=0.33
recall of second sentence=37=0.43
ROUGE-Lsum recall=0.33+0.432=0.38
precision of first sentence=25=0.4
precision of second sentence=38=0.38
ROUGE-Lsum precision=0.4+0.382=0.39
ROUGE-Lsum F1=20.380.390.38+0.39=0.38

রুজ-এন

#ভাষা
#মেট্রিক

ROUGE পরিবারের মধ্যে মেট্রিক্সের একটি সেট যা রেফারেন্স টেক্সট এবং জেনারেট করা টেক্সটে একটি নির্দিষ্ট আকারের শেয়ার করা N-গ্রামের তুলনা করে। যেমন:

  • ROUGE-1 রেফারেন্স টেক্সট এবং জেনারেট করা টেক্সটে শেয়ার করা টোকেনের সংখ্যা পরিমাপ করে।
  • ROUGE-2 রেফারেন্স টেক্সট এবং জেনারেট করা টেক্সটে শেয়ার করা বিগ্রামের (2-গ্রাম) সংখ্যা পরিমাপ করে।
  • ROUGE-3 রেফারেন্স টেক্সট এবং জেনারেট করা টেক্সটে ভাগ করা ট্রিগ্রামের (3-গ্রাম) সংখ্যা পরিমাপ করে।

আপনি ROUGE-N পরিবারের যেকোনো সদস্যের জন্য ROUGE-N রিকল এবং ROUGE-N নির্ভুলতা গণনা করতে নিম্নলিখিত সূত্রগুলি ব্যবহার করতে পারেন:

ROUGE-N recall=number of matching N-gramsnumber of N-grams in the reference text
ROUGE-N precision=number of matching N-gramsnumber of N-grams in the generated text

ROUGE-N রিকল এবং ROUGE-N নির্ভুলতাকে একটি একক মেট্রিকে রোল আপ করতে আপনি F 1 ব্যবহার করতে পারেন:

ROUGE-N F1=2ROUGE-N recallROUGE-N precisionROUGE-N recall+ROUGE-N precision
ধরুন আপনি একজন মানব অনুবাদকের তুলনায় একটি ML মডেলের অনুবাদের কার্যকারিতা পরিমাপ করতে ROUGE-2 ব্যবহার করার সিদ্ধান্ত নিয়েছেন।
শ্রেণী কে উৎপাদিত? পাঠ্য বিগ্রামস
রেফারেন্স টেক্সট মানব অনুবাদক আমি বিভিন্ন জিনিস বুঝতে চাই. আমি চাই, বুঝতে চাই, বুঝতে চাই
তৈরি করা পাঠ্য এমএল মডেল আমি অনেক কিছু শিখতে চাই। আমি চাই, শিখতে চাই, অনেক কিছু শিখতে চাই
অতএব:
  • ম্যাচিং 2-গ্রামের সংখ্যা হল 3 ( আমি চাই , চাই , এবং জিনিসগুলি )।
  • রেফারেন্স টেক্সটে 2-গ্রামের সংখ্যা 8।
  • উত্পন্ন পাঠ্যটিতে 2-গ্রামের সংখ্যা 6।
ফলস্বরূপ:
ROUGE-2 recall=38=0.375
ROUGE-2 precision=36=0.5
ROUGE-2 F1=20.3750.50.375+0.5=0.43

রুজ-এস

#ভাষা
#মেট্রিক

ROUGE-N এর একটি ক্ষমাশীল ফর্ম যা স্কিপ-গ্রাম ম্যাচিং সক্ষম করে। অর্থাৎ, ROUGE-N শুধুমাত্র N-গ্রাম গণনা করে যা হুবহু মেলে, কিন্তু ROUGE-S এক বা একাধিক শব্দ দ্বারা পৃথক করা N-গ্রামগুলিকেও গণনা করে। উদাহরণস্বরূপ, নিম্নলিখিত বিবেচনা করুন:

ROUGE-N গণনা করার সময়, 2-গ্রাম, সাদা মেঘের সাথে সাদা মেঘের মিল নেই। যাইহোক, ROUGE-S গণনা করার সময়, সাদা মেঘের সাথে সাদা মেঘের সাথে মেলে।

আর-বর্গীয়

#মেট্রিক

একটি রিগ্রেশন মেট্রিক নির্দেশ করে যে একটি লেবেলে কতটা বৈচিত্র্য একটি পৃথক বৈশিষ্ট্য বা একটি বৈশিষ্ট্য সেটের কারণে। R-squared হল 0 এবং 1 এর মধ্যে একটি মান, যা আপনি নিম্নরূপ ব্যাখ্যা করতে পারেন:

  • 0-এর একটি R-স্কোয়ার মানে হল যে কোনও লেবেলের বৈচিত্র্যের কোনোটি বৈশিষ্ট্য সেটের কারণে নয়।
  • 1 এর একটি R-স্কোয়ার মানে হল একটি লেবেলের সমস্ত বৈচিত্র বৈশিষ্ট্য সেটের কারণে।
  • 0 এবং 1-এর মধ্যে একটি R-স্কোয়ার নির্দিষ্ট বৈশিষ্ট্য বা বৈশিষ্ট্য সেট থেকে লেবেলের বৈচিত্র্য কতটা অনুমান করা যেতে পারে তা নির্দেশ করে। উদাহরণ স্বরূপ, 0.10-এর R-squared মানে হল লেবেলের বৈচিত্র্যের 10 শতাংশ বৈশিষ্ট্য সেটের কারণে, 0.20-এর R-squared মানে হল যে 20 শতাংশ বৈশিষ্ট্য সেটের কারণে, ইত্যাদি।

R-squared হল একটি মডেলের ভবিষ্যদ্বাণী করা মান এবং গ্রাউন্ড ট্রুথের মধ্যে পিয়ারসন পারস্পরিক সম্পর্ক সহগের বর্গ।

এস

স্কোরিং

#রিসিস্টেম
#মেট্রিক

একটি সুপারিশ সিস্টেমের অংশ যা প্রার্থী প্রজন্মের পর্যায় দ্বারা উত্পাদিত প্রতিটি আইটেমের জন্য একটি মান বা র‌্যাঙ্কিং প্রদান করে।

সাদৃশ্য পরিমাপ

# ক্লাস্টারিং
#মেট্রিক

ক্লাস্টারিং অ্যালগরিদমে, যে কোনো দুটি উদাহরণ কতটা সমান (কতটা একই) তা নির্ধারণ করতে ব্যবহৃত মেট্রিক।

sparsity

#মেট্রিক

একটি ভেক্টর বা ম্যাট্রিক্সে শূন্য (বা নাল) সেট করা উপাদানের সংখ্যাকে সেই ভেক্টর বা ম্যাট্রিক্সের মোট এন্ট্রির সংখ্যা দিয়ে ভাগ করে। উদাহরণস্বরূপ, একটি 100-উপাদানের ম্যাট্রিক্স বিবেচনা করুন যাতে 98টি কোষ শূন্য থাকে। স্পার্সিটির গণনা নিম্নরূপ:

sparsity=98100=0.98

ফিচার স্পার্সিটি একটি ফিচার ভেক্টরের স্পারসিটি বোঝায়; মডেল স্পারসিটি মডেলের ওজনের স্পারসিটি বোঝায়।

বর্গক্ষেত্র কব্জা ক্ষতি

#মেট্রিক

বর্গক্ষেত্র কবজা ক্ষতি . বর্গাকার কব্জা ক্ষতি নিয়মিত কব্জা ক্ষতির চেয়ে বহিরাগতদের আরও কঠোরভাবে শাস্তি দেয়।

বর্গক্ষেত্র ক্ষতি

#মৌলিক
#মেট্রিক

L 2 ক্ষতির প্রতিশব্দ।

টি

পরীক্ষার ক্ষতি

#মৌলিক
#মেট্রিক

পরীক্ষার সেটের বিপরীতে একটি মডেলের ক্ষতির প্রতিনিধিত্বকারী একটি মেট্রিক ৷ একটি মডেল তৈরি করার সময়, আপনি সাধারণত পরীক্ষার ক্ষতি কমানোর চেষ্টা করেন। কারণ কম পরীক্ষার ক্ষতি হল কম প্রশিক্ষণের ক্ষতি বা কম বৈধতা হারানোর চেয়ে একটি শক্তিশালী মানের সংকেত।

পরীক্ষার ক্ষতি এবং প্রশিক্ষণের ক্ষতি বা বৈধতা হারানোর মধ্যে একটি বড় ব্যবধান কখনও কখনও পরামর্শ দেয় যে আপনাকে নিয়মিতকরণের হার বাড়াতে হবে।

টপ-কে নির্ভুলতা

#ভাষা
#মেট্রিক

উৎপন্ন তালিকার প্রথম k অবস্থানের মধ্যে একটি "টার্গেট লেবেল" প্রদর্শিত হওয়ার শতকরা হার। তালিকাগুলি ব্যক্তিগতকৃত সুপারিশ বা সফটম্যাক্স দ্বারা আদেশকৃত আইটেমগুলির একটি তালিকা হতে পারে।

টপ-কে নির্ভুলতা কে এ নির্ভুলতা হিসাবেও পরিচিত।

একটি মেশিন লার্নিং সিস্টেম বিবেচনা করুন যা গাছের পাতার ছবির উপর ভিত্তি করে গাছের সম্ভাব্যতা সনাক্ত করতে সফটম্যাক্স ব্যবহার করে। নিম্নলিখিত টেবিলটি পাঁচটি ইনপুট ট্রি ছবি থেকে তৈরি আউটপুট তালিকা দেখায়। প্রতিটি সারিতে একটি লক্ষ্য লেবেল এবং পাঁচটি সম্ভাব্য গাছ রয়েছে। উদাহরণ স্বরূপ, যখন টার্গেট লেবেলটি ম্যাপেল ছিল, তখন মেশিন লার্নিং মডেল এলমকে সবচেয়ে সম্ভাবনাময় গাছ হিসেবে, ওককে দ্বিতীয় সম্ভাব্য গাছ হিসেবে চিহ্নিত করেছে এবং আরও অনেক কিছু।

লক্ষ্য লেবেল 1 2 3 4 5
ম্যাপেল এলম ওক ম্যাপেল বিচ পপলার
কুকুর কাঠ ওক কুকুর কাঠ পপলার হিকরি ম্যাপেল
ওক ওক basswood পঙ্গপাল alder লিন্ডেন
লিন্ডেন ম্যাপেল paw-paw ওক basswood পপলার
ওক পঙ্গপাল লিন্ডেন ওক ম্যাপেল paw-paw

লক্ষ্য লেবেল প্রথম অবস্থানে শুধুমাত্র একবার প্রদর্শিত হয়, তাই শীর্ষ-1 নির্ভুলতা হল:

top-1 accuracy=15=0.2

টার্গেট লেবেল চারবার শীর্ষ তিনটি অবস্থানের একটিতে প্রদর্শিত হয়, তাই শীর্ষ-3 নির্ভুলতা হল:

top-1 accuracy=45=0.8

বিষাক্ততা

#ভাষা
#মেট্রিক

যে মাত্রায় বিষয়বস্তু অপমানজনক, হুমকি বা আপত্তিকর। অনেক মেশিন লার্নিং মডেল বিষাক্ততা সনাক্ত এবং পরিমাপ করতে পারে। এই মডেলগুলির বেশিরভাগই একাধিক পরামিতি সহ বিষাক্ততা সনাক্ত করে, যেমন আপত্তিজনক ভাষার স্তর এবং হুমকিমূলক ভাষার স্তর।

প্রশিক্ষণ ক্ষতি

#মৌলিক
#মেট্রিক

একটি নির্দিষ্ট প্রশিক্ষণ পুনরাবৃত্তির সময় একটি মডেলের ক্ষতির প্রতিনিধিত্বকারী একটি মেট্রিক ৷ উদাহরণ স্বরূপ, ধরুন লস ফাংশন হল গড় স্কয়ারড ত্রুটি । সম্ভবত 10 তম পুনরাবৃত্তির জন্য প্রশিক্ষণের ক্ষতি (মান বর্গীয় ত্রুটি) হল 2.2, এবং 100 তম পুনরাবৃত্তির জন্য প্রশিক্ষণের ক্ষতি হল 1.9৷

একটি ক্ষতি বক্ররেখা প্লট প্রশিক্ষণ ক্ষতি বনাম পুনরাবৃত্তি সংখ্যা. একটি ক্ষতি বক্ররেখা প্রশিক্ষণ সম্পর্কে নিম্নলিখিত ইঙ্গিত প্রদান করে:

  • একটি নিম্নগামী ঢাল বোঝায় যে মডেলটি উন্নত হচ্ছে।
  • একটি ঊর্ধ্বগামী ঢাল বোঝায় যে মডেলটি খারাপ হচ্ছে।
  • একটি সমতল ঢাল বোঝায় যে মডেলটি অভিসারে পৌঁছেছে।

উদাহরণস্বরূপ, নিম্নোক্ত কিছুটা আদর্শিক ক্ষতি বক্ররেখা দেখায়:

  • প্রাথমিক পুনরাবৃত্তির সময় একটি খাড়া নিম্নগামী ঢাল, যা দ্রুত মডেল উন্নতি বোঝায়।
  • প্রশিক্ষণের শেষের কাছাকাছি না হওয়া পর্যন্ত ধীরে ধীরে চ্যাপ্টা (কিন্তু এখনও নীচের দিকে) ঢাল, যা প্রাথমিক পুনরাবৃত্তির সময় কিছুটা ধীর গতিতে মডেলের উন্নতিকে বোঝায়।
  • প্রশিক্ষণের শেষের দিকে একটি সমতল ঢাল, যা একত্রিত হওয়ার পরামর্শ দেয়।

প্রশিক্ষণের ক্ষতি বনাম পুনরাবৃত্তির প্লট। এই ক্ষতি বক্ররেখা শুরু হয়      একটি খাড়া নিম্নগামী ঢাল সঙ্গে. ঢাল পর্যন্ত ধীরে ধীরে সমতল      ঢাল শূন্য হয়ে যায়।

যদিও প্রশিক্ষণের ক্ষতি গুরুত্বপূর্ণ, সাধারণীকরণও দেখুন।

সত্য নেতিবাচক (TN)

#মৌলিক
#মেট্রিক

একটি উদাহরণ যেখানে মডেল সঠিকভাবে নেতিবাচক শ্রেণীর ভবিষ্যদ্বাণী করে। উদাহরণস্বরূপ, মডেলটি অনুমান করে যে একটি নির্দিষ্ট ইমেল বার্তাটি স্প্যাম নয় এবং সেই ইমেল বার্তাটি সত্যিই স্প্যাম নয়

সত্য ইতিবাচক (TP)

#মৌলিক
#মেট্রিক

একটি উদাহরণ যেখানে মডেল সঠিকভাবে ইতিবাচক শ্রেণীর ভবিষ্যদ্বাণী করে। উদাহরণস্বরূপ, মডেলটি অনুমান করে যে একটি নির্দিষ্ট ইমেল বার্তা স্প্যাম, এবং সেই ইমেল বার্তাটি সত্যিই স্প্যাম।

সত্য ইতিবাচক হার (টিপিআর)

#মৌলিক
#মেট্রিক

প্রত্যাহার জন্য সমার্থক. অর্থাৎ:

true positive rate=true positivestrue positives+false negatives

প্রকৃত ধনাত্মক হার হল একটি ROC বক্ররেখার y-অক্ষ।

ভি

বৈধতা ক্ষতি

#মৌলিক
#মেট্রিক

প্রশিক্ষণের একটি নির্দিষ্ট পুনরাবৃত্তির সময় বৈধতা সেটে একটি মডেলের ক্ষতির প্রতিনিধিত্বকারী একটি মেট্রিক

সাধারণীকরণ বক্ররেখাও দেখুন।

পরিবর্তনশীল গুরুত্ব

#df
#মেট্রিক

স্কোরের একটি সেট যা মডেলের প্রতিটি বৈশিষ্ট্যের আপেক্ষিক গুরুত্ব নির্দেশ করে।

উদাহরণস্বরূপ, একটি সিদ্ধান্ত গাছ বিবেচনা করুন যা বাড়ির দাম অনুমান করে। ধরুন এই সিদ্ধান্ত গাছ তিনটি বৈশিষ্ট্য ব্যবহার করে: আকার, বয়স এবং শৈলী। যদি তিনটি বৈশিষ্ট্যের জন্য পরিবর্তনশীল গুরুত্বের একটি সেট গণনা করা হয় {size=5.8, age=2.5, style=4.7}, তাহলে বয়স বা শৈলীর চেয়ে আকার সিদ্ধান্ত গাছের জন্য বেশি গুরুত্বপূর্ণ।

বিভিন্ন পরিবর্তনশীল গুরুত্বের মেট্রিক্স বিদ্যমান, যা মডেলের বিভিন্ন দিক সম্পর্কে এমএল বিশেষজ্ঞদের অবহিত করতে পারে।

ডব্লিউ

Wasserstein ক্ষতি

#মেট্রিক

উৎপন্ন ডেটা এবং বাস্তব ডেটা বিতরণের মধ্যে আর্থ মুভারের দূরত্বের উপর ভিত্তি করে জেনারেটিভ অ্যাডভারসারিয়াল নেটওয়ার্কগুলিতে সাধারণত ব্যবহৃত ক্ষতির ফাংশনগুলির মধ্যে একটি।