ওভারফিটিং: ক্ষতি বক্ররেখা ব্যাখ্যা করা

মেশিন লার্নিং অনেক সহজ হবে যদি আপনি প্রথমবার আপনার মডেলকে প্রশিক্ষণ দেওয়ার সময় আপনার সমস্ত ক্ষতির বক্ররেখা এইরকম দেখায়:

চিত্র 20. একটি মেশিন লার্নিং মডেল প্রশিক্ষণের সময় আদর্শ ক্ষতির বক্ররেখা দেখানো একটি প্লট। লস বক্ররেখা x-অক্ষে প্রশিক্ষণের ধাপের সংখ্যার বিপরীতে y-অক্ষে লস প্লট করে। প্রশিক্ষণের ধাপের সংখ্যা বাড়ার সাথে সাথে ক্ষতি বেশি হতে শুরু করে, তারপরে দ্রুত হ্রাস পায় এবং শেষ পর্যন্ত ন্যূনতম ক্ষতিতে পৌঁছাতে সমতল হয়।
চিত্র 20. একটি আদর্শ ক্ষতি বক্ররেখা।

দুর্ভাগ্যবশত, ক্ষতি বক্ররেখা প্রায়ই ব্যাখ্যা করা চ্যালেঞ্জিং হয়. এই পৃষ্ঠায় ব্যায়াম সমাধান করতে ক্ষতি বক্ররেখা সম্পর্কে আপনার অন্তর্দৃষ্টি ব্যবহার করুন.

ব্যায়াম 1: দোদুল্যমান ক্ষতি বক্ররেখা

চিত্র 21. একটি ক্ষতির বক্ররেখা (y-অক্ষের ক্ষতি; x-অক্ষে প্রশিক্ষণের ধাপের সংখ্যা) যেখানে ক্ষতি সমতল হয় না। পরিবর্তে, ক্ষতি অনিয়মিতভাবে oscillates.
চিত্র 21. দোদুল্যমান ক্ষতি বক্ররেখা।
চিত্র 21-এ দেখানো ক্ষতির বক্ররেখা উন্নত করার চেষ্টা করার জন্য আপনি কী তিনটি জিনিস করতে পারেন।
খারাপ উদাহরণ সনাক্ত করতে একটি ডেটা স্কিমার বিরুদ্ধে আপনার ডেটা পরীক্ষা করুন এবং তারপর প্রশিক্ষণ সেট থেকে খারাপ উদাহরণগুলি সরিয়ে দিন।
শেখার হার কমিয়ে দিন।
অল্প সংখ্যক বিশ্বস্ত উদাহরণে প্রশিক্ষণ সেট কমিয়ে দিন।
শেখার হার বাড়ান।
প্রশিক্ষণ সেটে উদাহরণের সংখ্যা বাড়ান।

ব্যায়াম 2. একটি ধারালো লাফ দিয়ে ক্ষতি বক্ররেখা

চিত্র 22. একটি ক্ষতির বক্ররেখার প্লট যা দেখায় যে ক্ষয়ক্ষতি একটি নির্দিষ্ট সংখ্যক প্রশিক্ষণের ধাপ পর্যন্ত হ্রাস পাচ্ছে এবং তারপরে আরও প্রশিক্ষণের ধাপগুলির সাথে হঠাৎ বৃদ্ধি পাচ্ছে।
চিত্র 22. ক্ষতির তীব্র বৃদ্ধি।
নিচের কোন দুটি বিবৃতি চিত্র 22-এ দেখানো বিস্ফোরণ ক্ষতির সম্ভাব্য কারণ চিহ্নিত করে।
নিয়মিতকরণের হার খুব বেশি।
ইনপুট ডেটাতে এক বা একাধিক NaN থাকে—উদাহরণস্বরূপ, শূন্য দ্বারা বিভাজনের কারণে একটি মান।
ইনপুট ডেটাতে আউটলায়ারগুলির একটি বিস্ফোরণ রয়েছে৷
শেখার হার খুবই কম।

অনুশীলন 3. পরীক্ষার ক্ষতি প্রশিক্ষণের ক্ষতি থেকে বিচ্ছিন্ন হয়

চিত্র 23. প্রশিক্ষণের ক্ষতির বক্ররেখা একত্রিত হতে দেখা যায়, তবে একটি নির্দিষ্ট সংখ্যক প্রশিক্ষণের পদক্ষেপের পরে বৈধতা ক্ষতি বাড়তে শুরু করে।
চিত্র 23. বৈধতা ক্ষতির তীব্র বৃদ্ধি।
নিচের কোন বিবৃতিটি প্রশিক্ষণ এবং পরীক্ষার সেটের ক্ষতির বক্ররেখার মধ্যে এই পার্থক্যের কারণটি সবচেয়ে ভালোভাবে চিহ্নিত করে?
শেখার হার খুব বেশি।
মডেল প্রশিক্ষণ সেট overfitting হয়.

ব্যায়াম 4. ক্ষতির বক্ররেখা আটকে যায়

চিত্র 24. একটি ক্ষতি বক্ররেখার একটি প্লট যা দেখায় যে ক্ষতিটি প্রশিক্ষণের সাথে একত্রিত হতে শুরু করে কিন্তু তারপরে একটি আয়তক্ষেত্রাকার তরঙ্গের মতো দেখতে বারবার প্যাটার্ন প্রদর্শন করে।
চিত্র 24. একটি নির্দিষ্ট সংখ্যক ধাপের পরে বিশৃঙ্খল ক্ষতি।
চিত্র 24-এ দেখানো অনিয়মিত ক্ষতি বক্ররেখার জন্য নিম্নলিখিত বিবৃতিগুলির মধ্যে কোনটি সম্ভাব্য ব্যাখ্যা?
নিয়মিতকরণের হার খুব বেশি।
প্রশিক্ষণ সেটে অনেকগুলি বৈশিষ্ট্য রয়েছে৷
প্রশিক্ষণ সেটে উদাহরণের পুনরাবৃত্তিমূলক ক্রম রয়েছে।
পূর্ববর্তী
L2 নিয়মিতকরণ (10 মিনিট)
পরবর্তী
আপনার জ্ঞান পরীক্ষা করুন (10 মিনিট)