লজিস্টিক রিগ্রেশন: ক্ষতি এবং নিয়মিতকরণ

লজিস্টিক রিগ্রেশন মডেল দুটি মূল পার্থক্য সহ লিনিয়ার রিগ্রেশন মডেলের মতো একই প্রক্রিয়া ব্যবহার করে প্রশিক্ষিত হয়:

নিম্নলিখিত বিভাগগুলি এই দুটি বিবেচনাকে আরও গভীরভাবে আলোচনা করে।

লগ ক্ষতি

লিনিয়ার রিগ্রেশন মডিউলে , আপনি ক্ষতি ফাংশন হিসাবে বর্গক্ষেত্র ক্ষতি (যাকে L 2 ক্ষতিও বলা হয়) ব্যবহার করেছেন। বর্গক্ষেত্র ক্ষতি একটি রৈখিক মডেলের জন্য ভাল কাজ করে যেখানে আউটপুট মান পরিবর্তনের হার স্থির থাকে। উদাহরণস্বরূপ, লিনিয়ার মডেল y=b+3x1 দেওয়া হয়েছে, প্রতিবার যখন আপনি ইনপুট মান x1 1 দ্বারা বৃদ্ধি করবেন, আউটপুট মান y 3 দ্বারা বৃদ্ধি পাবে।

যাইহোক, লজিস্টিক রিগ্রেশন মডেলের পরিবর্তনের হার ধ্রুবক নয় । আপনি একটি সম্ভাব্যতা গণনা করতে দেখেছেন, সিগময়েড বক্ররেখাটি রৈখিক না হয়ে s-আকৃতির। যখন লগ-অডস (z) মান 0-এর কাছাকাছি হয়, তখন z-এ ছোট বৃদ্ধির ফলে z একটি বড় ধনাত্মক বা ঋণাত্মক সংখ্যার তুলনায় y-এ অনেক বড় পরিবর্তন হয়। নিম্নলিখিত সারণীটি 5 থেকে 10 পর্যন্ত ইনপুট মানের জন্য সিগমায়েড ফাংশনের আউটপুট দেখায়, সেইসাথে ফলাফলের পার্থক্যগুলি ক্যাপচার করার জন্য প্রয়োজনীয় সংশ্লিষ্ট নির্ভুলতা দেখায়।

ইনপুট লজিস্টিক আউটপুট নির্ভুলতার প্রয়োজনীয় সংখ্যা
5 0.993 3
6 0.997 3
7 0.999 3
8 0.9997 4
9 0.9999 4
10 0.99998 5

আপনি যদি সিগমায়েড ফাংশনের ত্রুটিগুলি গণনা করতে বর্গক্ষেত্র ক্ষতি ব্যবহার করেন, যেহেতু আউটপুট 0 এবং 1 এর কাছাকাছি এবং কাছাকাছি এসেছে, তাহলে এই মানগুলি ট্র্যাক করার জন্য প্রয়োজনীয় নির্ভুলতা সংরক্ষণ করতে আপনার আরও মেমরির প্রয়োজন হবে।

পরিবর্তে, লজিস্টিক রিগ্রেশনের লস ফাংশন হল লগ লস । লগ লস সমীকরণ শুধুমাত্র ডেটা থেকে ভবিষ্যদ্বাণী পর্যন্ত দূরত্বের পরিবর্তে পরিবর্তনের মাত্রার লগারিদম প্রদান করে। লগ ক্ষতি নিম্নরূপ গণনা করা হয়:

Log Loss=(x,y)Dylog(y)(1y)log(1y)

কোথায়:

  • (x,y)D অনেকগুলি লেবেলযুক্ত উদাহরণ ধারণকারী ডেটাসেট, যা (x,y) জোড়া
  • y একটি লেবেলযুক্ত উদাহরণের লেবেল। যেহেতু এই লজিস্টিক রিগ্রেশন, প্রতিটি মান y হয় 0 বা 1 হতে হবে।
  • y আপনার মডেলের ভবিষ্যদ্বাণী (কোনও জায়গায় 0 এবং 1 এর মধ্যে), বৈশিষ্ট্যগুলির সেট দেওয়া হয়েছে৷ x.

লজিস্টিক রিগ্রেশনে নিয়মিতকরণ

নিয়মিতকরণ , প্রশিক্ষণের সময় মডেল জটিলতাকে শাস্তি দেওয়ার একটি প্রক্রিয়া, লজিস্টিক রিগ্রেশন মডেলিংয়ের ক্ষেত্রে অত্যন্ত গুরুত্বপূর্ণ। নিয়মিতকরণ ব্যতীত, লজিস্টিক রিগ্রেশনের অ্যাসিম্পোটিক প্রকৃতি 0 এর দিকে ড্রাইভিং ক্ষতি চালিয়ে যাবে যেখানে মডেলটিতে প্রচুর সংখ্যক বৈশিষ্ট্য রয়েছে। ফলস্বরূপ, বেশিরভাগ লজিস্টিক রিগ্রেশন মডেলগুলি মডেল জটিলতা কমাতে নিম্নলিখিত দুটি কৌশলগুলির মধ্যে একটি ব্যবহার করে: