ক্ষতি হ্রাস: গ্রেডিয়েন্ট ডিসেন্ট

আনুমানিক সময়: 10 মিনিট

পুনরাবৃত্তিমূলক পদ্ধতির চিত্রে ( চিত্র 1 ) "কম্পিউট প্যারামিটার আপডেট" শিরোনামের একটি সবুজ হ্যান্ড-ওয়েভি বাক্স রয়েছে। আমরা এখন সেই অ্যালগরিদমিক পরী ধুলোকে আরও উল্লেখযোগ্য কিছু দিয়ে প্রতিস্থাপন করব।

ধরুন আমাদের কাছে \(w_1\)এর সমস্ত সম্ভাব্য মানের জন্য ক্ষতি গণনা করার জন্য সময় এবং কম্পিউটিং সংস্থান ছিল। আমরা যে ধরণের রিগ্রেশন সমস্যাগুলি পরীক্ষা করে দেখছি, তার ফলস্বরূপ ক্ষতির প্লট বনাম \(w_1\) সর্বদা উত্তল হবে। অন্য কথায়, প্লট সবসময় বাটি আকৃতির হবে, এই ধরনের:

চিত্র 2. রিগ্রেশন সমস্যা উত্তল ক্ষতি বনাম ওজন প্লট ফলন.

উত্তল সমস্যা শুধুমাত্র একটি সর্বনিম্ন আছে; অর্থাৎ, শুধুমাত্র একটি জায়গা যেখানে ঢাল ঠিক 0। সেই ন্যূনতম হল যেখানে লস ফাংশন একত্রিত হয়।

সম্পূর্ণ ডেটা সেটের উপর \(w_1\)এর প্রতিটি অনুমেয় মানের জন্য ক্ষতির ফাংশন গণনা করা কনভারজেন্স পয়েন্ট খুঁজে বের করার একটি অদক্ষ উপায় হবে। আসুন একটি উন্নত প্রক্রিয়া পরীক্ষা করি—যাকে মেশিন লার্নিংয়ে খুবই জনপ্রিয়—যাকে গ্রেডিয়েন্ট ডিসেন্ট বলা হয়।

গ্রেডিয়েন্ট ডিসেন্টের প্রথম পর্যায় হল \(w_1\)এর জন্য একটি প্রারম্ভিক মান (একটি প্রারম্ভিক বিন্দু) বেছে নেওয়া। প্রারম্ভিক বিন্দু খুব একটা ব্যাপার না; তাই, অনেক অ্যালগরিদম সহজভাবে \(w_1\) এ 0 সেট করে বা একটি এলোমেলো মান বেছে নেয়। নিম্নলিখিত চিত্রটি দেখায় যে আমরা 0 এর থেকে সামান্য বড় একটি শুরু বিন্দু বেছে নিয়েছি:

চিত্র 3. গ্রেডিয়েন্ট ডিসেন্টের জন্য একটি সূচনা বিন্দু।

গ্রেডিয়েন্ট ডিসেন্ট অ্যালগরিদম তারপর শুরু বিন্দুতে ক্ষতি বক্ররেখার গ্রেডিয়েন্ট গণনা করে। এখানে চিত্র 3-এ, ক্ষতির গ্রেডিয়েন্ট বক্ররেখার ডেরিভেটিভ (ঢাল) সমান, এবং আপনাকে বলে যে কোন পথটি "উষ্ণ" বা "ঠান্ডা"। যখন একাধিক ওজন থাকে, গ্রেডিয়েন্ট হল ওজনের সাপেক্ষে আংশিক ডেরিভেটিভের একটি ভেক্টর।

আংশিক ডেরাইভেটিভ এবং গ্রেডিয়েন্ট সম্পর্কে আরও জানতে প্লাস আইকনে ক্লিক করুন।

মেশিন লার্নিংয়ের চারপাশের গণিত আকর্ষণীয় এবং আমরা আনন্দিত যে আপনি আরও জানতে লিঙ্কটিতে ক্লিক করেছেন। তবে, অনুগ্রহ করে মনে রাখবেন যে TensorFlow আপনার জন্য সমস্ত গ্রেডিয়েন্ট গণনা পরিচালনা করে, তাই আপনাকে এখানে দেওয়া ক্যালকুলাসটি আসলে বুঝতে হবে না।

আংশিক অন্তরকলন

একটি মাল্টিভেরিয়েবল ফাংশন হল একাধিক আর্গুমেন্ট সহ একটি ফাংশন, যেমন:

$$f(x,y) = e^{2y}\sin(x)$$

\(f\) \(x\)এর সাপেক্ষে আংশিক ডেরিভেটিভ l10n-placeholder7 , নিম্নরূপ নির্দেশিত:

$$ \partial f \over \partial x $$

শুধুমাত্র \(f\) এর একটি ফাংশন হিসাবে বিবেচিত \(x\)এর ডেরিভেটিভ। নিম্নলিখিত খুঁজে পেতে:

$$\partial f \over \partial x $$

আপনাকে অবশ্যই \(y\) ধ্রুবক ধরে রাখতে হবে (তাই \(f\) এখন একটি পরিবর্তনশীল \(x\)এর একটি ফাংশন), এবং \(f\)এর ক্ষেত্রে \(x\)placeholder16-এর নিয়মিত ডেরিভেটিভ নিতে হবে। উদাহরণস্বরূপ, যখন \(y\) 1 এ স্থির করা হয়, তখন পূর্ববর্তী ফাংশনটি হয়ে যায়:

$$ f(x) = e^2\sin(x) $$

এটি একটি পরিবর্তনশীল \(x\)এর একটি ফাংশন, যার ডেরিভেটিভ হল:

$$ e^2\cos(x) $$

সাধারণভাবে, \(y\) কে স্থির হিসাবে চিন্তা করে, \(f\) এর সাপেক্ষে \(x\) এর আংশিক ডেরিভেটিভ নিম্নরূপ গণনা করা হয়:

$$\frac{\partial f}{\partial x}(x,y) = e^{2y}\cos(x)$$

একইভাবে, যদি আমরা এর পরিবর্তে \(x\) স্থির রাখি, \(f\) এর সাপেক্ষে \(y\) এর আংশিক ডেরিভেটিভ হল:

$$ \frac{\partial f}{\partial y}(x,y) = 2e^{2y}\sin(x) $$

স্বজ্ঞাতভাবে, একটি আংশিক ডেরিভেটিভ আপনাকে বলে যে আপনি যখন একটি ভেরিয়েবলকে কিছুটা বিরক্ত করেন তখন ফাংশনটি কতটা পরিবর্তিত হয়। পূর্ববর্তী উদাহরণে:

$$ \frac{\partial f}{\partial x} (0,1) = e^2 \approx 7.4 $$

সুতরাং আপনি যখন \((0,1)\)এ শুরু করবেন, \(y\) ধ্রুবক ধরে রাখুন এবং \(x\) একটু সরান,\(f\) \(x\)যে পরিমাণ পরিবর্তন করেছেন তার প্রায় 7.4 গুণ পরিবর্তিত হবে।

মেশিন লার্নিংয়ে, আংশিক ডেরিভেটিভগুলি বেশিরভাগ ফাংশনের গ্রেডিয়েন্টের সাথে একত্রে ব্যবহৃত হয়।

গ্রেডিয়েন্ট

একটি ফাংশনের গ্রেডিয়েন্ট , নিম্নরূপ নির্দেশিত, সমস্ত স্বাধীন ভেরিয়েবলের সাপেক্ষে আংশিক ডেরিভেটিভের ভেক্টর:

$$ \nabla f $$

উদাহরণস্বরূপ, যদি:

$$ f(x,y) = e^{2y}\sin(x) $$

তারপর:

$$\nabla f(x,y) = \left(\frac{\partial f}{\partial x}(x,y), \frac{\partial f}{\partial y}(x,y)\right) = (e^{2y}\cos(x), 2e^{2y}\sin(x))$$

নিম্নলিখিত নোট করুন:

$$\nabla f$$	ফাংশনের সর্বাধিক বৃদ্ধির দিক নির্দেশ করে।
$$ {-\nabla f} $$	ফাংশনের সর্বাধিক হ্রাসের দিক নির্দেশ করে।

ভেক্টরে মাত্রার সংখ্যা \(f\)এর সূত্রে ভেরিয়েবলের সংখ্যার সমান; অন্য কথায়, ভেক্টরটি ফাংশনের ডোমেইন স্পেসের মধ্যে পড়ে। উদাহরণস্বরূপ, নিম্নলিখিত ফাংশন \(f(x,y)\)এর গ্রাফ:

$$ f(x,y) = 4 + (x - 2)^2 + 2y^2 $$

\(z = f(x,y)\) এর সাথে তিনটি মাত্রায় দেখা হলে \((2,0,4)\)এ ন্যূনতম একটি উপত্যকার মত দেখায়:

\(f(x,y)\) এর গ্রেডিয়েন্ট হল একটি দ্বি-মাত্রিক ভেক্টর যা আপনাকে বলে যে উচ্চতা সর্বাধিক বৃদ্ধির জন্য\((x,y)\) দিকে যেতে হবে। এইভাবে, গ্রেডিয়েন্টের নেতিবাচক আপনাকে সর্বোচ্চ উচ্চতা হ্রাসের দিকে নিয়ে যায়। অন্য কথায়, গ্রেডিয়েন্ট ভেক্টরের নেতিবাচক উপত্যকায় নির্দেশ করে।

মেশিন লার্নিং-এ, গ্রেডিয়েন্ট ডিসেন্টে গ্রেডিয়েন্ট ব্যবহার করা হয়। আমাদের প্রায়শই অনেক ভেরিয়েবলের লস ফাংশন থাকে যা আমরা কমানোর চেষ্টা করি এবং আমরা ফাংশনের গ্রেডিয়েন্টের নেতিবাচক অনুসরণ করে এটি করার চেষ্টা করি।

মনে রাখবেন যে একটি গ্রেডিয়েন্ট একটি ভেক্টর, তাই এটির নিম্নলিখিত বৈশিষ্ট্য দুটি রয়েছে:

• একটি দিক
• একটি মাত্রা

গ্রেডিয়েন্ট সর্বদা ক্ষতি ফাংশনে খাড়া বৃদ্ধির দিকে নির্দেশ করে। গ্রেডিয়েন্ট ডিসেন্ট অ্যালগরিদম যত তাড়াতাড়ি সম্ভব ক্ষতি কমাতে নেতিবাচক গ্রেডিয়েন্টের দিকে একটি পদক্ষেপ নেয়।

চিত্র 4. গ্রেডিয়েন্ট ডিসেন্ট নেতিবাচক গ্রেডিয়েন্টের উপর নির্ভর করে।

লস ফাংশন বক্ররেখা বরাবর পরবর্তী বিন্দু নির্ধারণ করতে, গ্রেডিয়েন্ট ডিসেন্ট অ্যালগরিদম গ্রেডিয়েন্টের মাত্রার কিছু ভগ্নাংশ সূচনা বিন্দুতে যোগ করে যেমনটি নিম্নলিখিত চিত্রে দেখানো হয়েছে:

চিত্র 5. একটি গ্রেডিয়েন্ট ধাপ আমাদের ক্ষতি বক্ররেখার পরবর্তী বিন্দুতে নিয়ে যায়।

গ্রেডিয়েন্ট ডিসেন্ট তারপর এই প্রক্রিয়াটি পুনরাবৃত্তি করে, ন্যূনতমের কাছাকাছি প্রান্তে আসে।

দ্রষ্টব্য: গ্রেডিয়েন্ট ডিসেন্ট সম্পাদন করার সময়, আমরা একই সাথে সমস্ত মডেল প্যারামিটারগুলিকে টিউন করতে উপরের প্রক্রিয়াটিকে সাধারণীকরণ করি। উদাহরণস্বরূপ, \(w_1\) এবং বায়াস \(b\)উভয়ের সর্বোত্তম মান খুঁজে পেতে, আমরা \(w_1\) এবং \(b\)উভয়ের ক্ষেত্রে গ্রেডিয়েন্ট গণনা করি। এর পরে, আমরা তাদের নিজ নিজ গ্রেডিয়েন্টের উপর ভিত্তি করে \(w_1\)এবং \(b\) এর মানগুলি পরিবর্তন করি। তারপরে আমরা ন্যূনতম ক্ষতি না হওয়া পর্যন্ত এই পদক্ষেপগুলি পুনরাবৃত্তি করি।

মূল শর্তাবলী

গ্রেডিয়েন্ট ডিসেন্ট

পদক্ষেপ