আউট অফ ব্যাগ মূল্যায়ন
এলোমেলো বনের জন্য একটি বৈধতা ডেটাসেটের প্রয়োজন হয় না। বেশিরভাগ এলোমেলো বন মডেলের গুণমান মূল্যায়নের জন্য আউট-অফ-ব্যাগ-মূল্যায়ন ( OOB মূল্যায়ন ) নামে একটি কৌশল ব্যবহার করে। OOB মূল্যায়ন প্রশিক্ষণ সেটটিকে এমনভাবে আচরণ করে যেন এটি একটি ক্রস-ভ্যালিডেশনের পরীক্ষার সেটে ছিল।
যেমনটি আগে ব্যাখ্যা করা হয়েছে, একটি এলোমেলো বনের প্রতিটি সিদ্ধান্ত গাছকে সাধারণত ~67% প্রশিক্ষণ উদাহরণের উপর প্রশিক্ষিত করা হয়। অতএব, প্রতিটি সিদ্ধান্ত গাছ প্রশিক্ষণের উদাহরণগুলির ~ 33% দেখতে পায় না। OOB-মূল্যায়নের মূল ধারণাটি নিম্নরূপ:
- প্রশিক্ষণ সেটে এলোমেলো বন মূল্যায়ন করতে।
- প্রতিটি উদাহরণের জন্য, শুধুমাত্র সিদ্ধান্ত গাছ ব্যবহার করুন যা প্রশিক্ষণের সময় উদাহরণটি দেখেনি।
নিম্নলিখিত সারণীটি 6টি উদাহরণের উপর প্রশিক্ষিত 3টি সিদ্ধান্ত গাছ সহ একটি এলোমেলো বনের OOB মূল্যায়নকে চিত্রিত করে। (হ্যাঁ, এটি ব্যাগিং বিভাগের মতো একই টেবিল)। টেবিলটি দেখায় যে OOB মূল্যায়নের সময় কোন উদাহরণ সহ কোন সিদ্ধান্ত গাছ ব্যবহার করা হয়।
সারণি 7. OOB মূল্যায়ন - প্রদত্ত উদাহরণের প্রশিক্ষণের সময় একটি প্রদত্ত প্রশিক্ষণের উদাহরণ কতবার ব্যবহৃত হয়েছে তা সংখ্যাগুলি উপস্থাপন করে
| প্রশিক্ষণের উদাহরণ | OOB মূল্যায়নের উদাহরণ | ||||||
|---|---|---|---|---|---|---|---|
| #1 | #2 | #3 | #4 | #5 | #6 | ||
| মূল ডেটাসেট | 1 | 1 | 1 | 1 | 1 | 1 | |
| সিদ্ধান্ত গাছ 1 | 1 | 1 | 0 | 2 | 1 | 1 | #3 |
| সিদ্ধান্ত গাছ 2 | 3 | 0 | 1 | 0 | 2 | 0 | #2, #4, এবং #6 |
| সিদ্ধান্ত গাছ 3 | 0 | 1 | 3 | 1 | 0 | 1 | # 1 এবং # 5 |
সারণি 7 এ দেখানো উদাহরণে, প্রশিক্ষণের উদাহরণ 1-এর জন্য OOB ভবিষ্যদ্বাণীগুলি সিদ্ধান্ত ট্রি #3 দিয়ে গণনা করা হবে (যেহেতু সিদ্ধান্ত গাছ #1 এবং #2 প্রশিক্ষণের জন্য এই উদাহরণটি ব্যবহার করেছে)। অনুশীলনে, একটি যুক্তিসঙ্গত আকারের ডেটাসেটে এবং কয়েকটি সিদ্ধান্ত গাছের সাথে, সমস্ত উদাহরণের একটি OOB পূর্বাভাস রয়েছে।
compute_oob_performances=True দিয়ে প্রশিক্ষণ দেওয়া হলে প্রশিক্ষণ লগে OOB-মূল্যায়ন পাওয়া যায়।র্যান্ডম ফরেস্ট মডেলের জন্য স্থানান্তর পরিবর্তনশীল গুরুত্ব গণনা করতে OOB মূল্যায়নও কার্যকর। পরিবর্তনশীল গুরুত্ব থেকে মনে রাখবেন যে পরিবর্তনশীল পরিবর্তনশীল গুরুত্ব যখন এই ভেরিয়েবলটি এলোমেলো করা হয় তখন মডেলের মানের ড্রপ পরিমাপ করে একটি পরিবর্তনশীলের গুরুত্ব পরিমাপ করে। র্যান্ডম ফরেস্ট "OOB পারমুটেশন ভ্যারিয়েবল গুরুত্ব" হল একটি পারমুটেশন পরিবর্তনশীল গুরুত্ব যা OOB মূল্যায়ন ব্যবহার করে গণনা করা হয়।
compute_oob_variable_importances=True দিয়ে প্রশিক্ষিত করা হলে প্রশিক্ষণ লগগুলিতে OOB পারমুটেশন পরিবর্তনশীল গুরুত্ব পাওয়া যায়।