পুনরাবৃত্তিমূলক পদ্ধতির চিত্রে ( চিত্র 1 ) "কম্পিউট প্যারামিটার আপডেট" শিরোনামের একটি সবুজ হ্যান্ড-ওয়েভি বাক্স রয়েছে। আমরা এখন সেই অ্যালগরিদমিক পরী ধুলোকে আরও উল্লেখযোগ্য কিছু দিয়ে প্রতিস্থাপন করব।
ধরুন আমাদের কাছে \(w_1\)এর সমস্ত সম্ভাব্য মানের জন্য ক্ষতি গণনা করার জন্য সময় এবং কম্পিউটিং সংস্থান ছিল। আমরা যে ধরণের রিগ্রেশন সমস্যাগুলি পরীক্ষা করে দেখছি, তার ফলস্বরূপ ক্ষতির প্লট বনাম \(w_1\) সর্বদা উত্তল হবে। অন্য কথায়, প্লট সবসময় বাটি আকৃতির হবে, এই ধরনের:
চিত্র 2. রিগ্রেশন সমস্যা উত্তল ক্ষতি বনাম ওজন প্লট ফলন.
উত্তল সমস্যা শুধুমাত্র একটি সর্বনিম্ন আছে; অর্থাৎ, শুধুমাত্র একটি জায়গা যেখানে ঢাল ঠিক 0। সেই ন্যূনতম হল যেখানে লস ফাংশন একত্রিত হয়।
সম্পূর্ণ ডেটা সেটের উপর \(w_1\)এর প্রতিটি অনুমেয় মানের জন্য ক্ষতির ফাংশন গণনা করা কনভারজেন্স পয়েন্ট খুঁজে বের করার একটি অদক্ষ উপায় হবে। আসুন একটি উন্নত প্রক্রিয়া পরীক্ষা করি—যাকে মেশিন লার্নিংয়ে খুবই জনপ্রিয়—যাকে গ্রেডিয়েন্ট ডিসেন্ট বলা হয়।
গ্রেডিয়েন্ট ডিসেন্টের প্রথম পর্যায় হল \(w_1\)এর জন্য একটি প্রারম্ভিক মান (একটি প্রারম্ভিক বিন্দু) বেছে নেওয়া। প্রারম্ভিক বিন্দু খুব একটা ব্যাপার না; তাই, অনেক অ্যালগরিদম সহজভাবে \(w_1\) এ 0 সেট করে বা একটি এলোমেলো মান বেছে নেয়। নিম্নলিখিত চিত্রটি দেখায় যে আমরা 0 এর থেকে সামান্য বড় একটি শুরু বিন্দু বেছে নিয়েছি:
চিত্র 3. গ্রেডিয়েন্ট ডিসেন্টের জন্য একটি সূচনা বিন্দু।
গ্রেডিয়েন্ট ডিসেন্ট অ্যালগরিদম তারপর শুরু বিন্দুতে ক্ষতি বক্ররেখার গ্রেডিয়েন্ট গণনা করে। এখানে চিত্র 3-এ, ক্ষতির গ্রেডিয়েন্ট বক্ররেখার ডেরিভেটিভ (ঢাল) সমান, এবং আপনাকে বলে যে কোন পথটি "উষ্ণ" বা "ঠান্ডা"। যখন একাধিক ওজন থাকে, গ্রেডিয়েন্ট হল ওজনের সাপেক্ষে আংশিক ডেরিভেটিভের একটি ভেক্টর।
মনে রাখবেন যে একটি গ্রেডিয়েন্ট একটি ভেক্টর, তাই এটির নিম্নলিখিত বৈশিষ্ট্য দুটি রয়েছে:
- একটি দিক
- একটি মাত্রা
গ্রেডিয়েন্ট সর্বদা ক্ষতি ফাংশনে খাড়া বৃদ্ধির দিকে নির্দেশ করে। গ্রেডিয়েন্ট ডিসেন্ট অ্যালগরিদম যত তাড়াতাড়ি সম্ভব ক্ষতি কমাতে নেতিবাচক গ্রেডিয়েন্টের দিকে একটি পদক্ষেপ নেয়।
চিত্র 4. গ্রেডিয়েন্ট ডিসেন্ট নেতিবাচক গ্রেডিয়েন্টের উপর নির্ভর করে।
লস ফাংশন বক্ররেখা বরাবর পরবর্তী বিন্দু নির্ধারণ করতে, গ্রেডিয়েন্ট ডিসেন্ট অ্যালগরিদম গ্রেডিয়েন্টের মাত্রার কিছু ভগ্নাংশ সূচনা বিন্দুতে যোগ করে যেমনটি নিম্নলিখিত চিত্রে দেখানো হয়েছে:
চিত্র 5. একটি গ্রেডিয়েন্ট ধাপ আমাদের ক্ষতি বক্ররেখার পরবর্তী বিন্দুতে নিয়ে যায়।
গ্রেডিয়েন্ট ডিসেন্ট তারপর এই প্রক্রিয়াটি পুনরাবৃত্তি করে, ন্যূনতমের কাছাকাছি প্রান্তে আসে।