L 2 নিয়মিতকরণ
নীচের বিকল্পগুলি অন্বেষণ করুন.
100টি ইনপুট বৈশিষ্ট্য সহ একটি লিনিয়ার মডেল কল্পনা করুন: 10 অত্যন্ত তথ্যপূর্ণ. 90টি তথ্যপূর্ণ নয়। অনুমান করুন যে সমস্ত বৈশিষ্ট্যের মান -1 এবং 1 এর মধ্যে রয়েছে। নিচের কোন বিবৃতিটি সত্য?
L 2 নিয়মিতকরণ অনেকগুলি অ-তথ্যমূলক ওজনকে প্রায় (কিন্তু ঠিক নয়) 0.0 হতে উত্সাহিত করবে।
হ্যাঁ, L 2 নিয়মিতকরণ ওজনকে 0.0 এর কাছাকাছি হতে উৎসাহিত করে, কিন্তু ঠিক 0.0 নয়।
L 2 নিয়মিতকরণ বেশিরভাগ অ-তথ্যমূলক ওজনকে ঠিক 0.0 হতে উত্সাহিত করবে।
L 2 নিয়মিতকরণে ওজনকে ঠিক 0.0-এ জোর করার প্রবণতা নেই। L 2 নিয়মিতকরণ ছোট ওজনের চেয়ে বড় ওজনকে শাস্তি দেয়। ওজন 0.0-এর কাছাকাছি চলে আসায়, L 2 কম জোর করে 0.0-এর দিকে "ঠেলে" দেয়৷
L 2 নিয়মিতকরণ কিছু অ-তথ্যপূর্ণ বৈশিষ্ট্যগুলির জন্য মডেলকে একটি মাঝারি ওজন শিখতে পারে।
আশ্চর্যজনকভাবে, এটি ঘটতে পারে যখন একটি অ-তথ্যমূলক বৈশিষ্ট্য লেবেলের সাথে সম্পর্কযুক্ত হয়। এই ক্ষেত্রে, মডেলটি ভুলভাবে এই ধরনের অ-তথ্যমূলক বৈশিষ্ট্যগুলিকে কিছু "ক্রেডিট" দেয় যা তথ্যমূলক বৈশিষ্ট্যগুলিতে যাওয়া উচিত ছিল৷
L 2 নিয়মিতকরণ এবং সম্পর্কযুক্ত বৈশিষ্ট্য
নীচের বিকল্পগুলি অন্বেষণ করুন.
দুটি দৃঢ়ভাবে সম্পর্কযুক্ত বৈশিষ্ট্য সহ একটি রৈখিক মডেল কল্পনা করুন; অর্থাৎ, এই দুটি বৈশিষ্ট্য একে অপরের প্রায় অভিন্ন অনুলিপি কিন্তু একটি বৈশিষ্ট্যে অল্প পরিমাণ এলোমেলো শব্দ রয়েছে। যদি আমরা এই মডেলটিকে L 2 নিয়মিতকরণের সাথে প্রশিক্ষণ দিই, তাহলে এই দুটি বৈশিষ্ট্যের ওজনের কী হবে?
উভয় বৈশিষ্ট্যই মোটামুটি সমান, মাঝারি ওজন থাকবে।
L 2 নিয়মিতকরণ বৈশিষ্ট্যগুলিকে মোটামুটি সমতুল্য ওজনের দিকে বাধ্য করবে যা মডেলটিতে দুটি বৈশিষ্ট্যের মধ্যে কেবল একটি থাকলে তারা যা হত তার প্রায় অর্ধেক।
একটি বৈশিষ্ট্য একটি বড় ওজন থাকবে; অন্যটির ওজন প্রায় 0.0 হবে।
L 2 নিয়মিতকরণ ছোট ওজনের চেয়ে বড় ওজনকে শাস্তি দেয়। সুতরাং, এমনকি যদি একটি ওজন অন্যটির তুলনায় দ্রুত কমতে শুরু করে, L 2 নিয়মিতকরণের ফলে বড় ওজনকে ছোট ওজনের চেয়ে দ্রুত কমতে বাধ্য করা হবে।
একটি বৈশিষ্ট্য একটি বড় ওজন থাকবে; অন্যটির ওজন ঠিক 0.0 হবে।
L 2 নিয়মিতকরণ খুব কমই ওজনকে ঠিক 0.0-তে বাধ্য করে। বিপরীতে, L 1 নিয়মিতকরণ (পরে আলোচনা করা হয়েছে) ওজনকে ঠিক 0.0 করতে বাধ্য করে ।