এই ইউনিটটি আধা-এলোমেলো অনুসন্ধানে ফোকাস করে।
কেন আধা-র্যান্ডম অনুসন্ধান ব্যবহার?
আধা-এলোমেলো অনুসন্ধান (কম-অসংগতি সিকোয়েন্সের উপর ভিত্তি করে) হল আমাদের অভিনব ব্ল্যাকবক্স অপ্টিমাইজেশান সরঞ্জামগুলির উপর অগ্রাধিকার যখন একটি পুনরাবৃত্তিমূলক টিউনিং প্রক্রিয়ার অংশ হিসাবে ব্যবহার করা হয় যাতে টিউনিং সমস্যা (যাকে আমরা "অন্বেষণ ফেজ" হিসাবে উল্লেখ করি) অন্তর্দৃষ্টি সর্বাধিক করার উদ্দেশ্যে করা হয়৷ বায়েসিয়ান অপ্টিমাইজেশান এবং অনুরূপ সরঞ্জামগুলি শোষণ পর্বের জন্য আরও উপযুক্ত। এলোমেলোভাবে স্থানান্তরিত কম-অসঙ্গতি ক্রমগুলির উপর ভিত্তি করে আধা-এলোমেলো অনুসন্ধানকে "বিচলিত, এলোমেলো গ্রিড অনুসন্ধান" হিসাবে ভাবা যেতে পারে, কারণ এটি অভিন্নভাবে, তবে এলোমেলোভাবে, একটি প্রদত্ত অনুসন্ধান স্থান অন্বেষণ করে এবং এলোমেলো অনুসন্ধানের চেয়ে অনুসন্ধানের পয়েন্টগুলিকে ছড়িয়ে দেয়।
আরও অত্যাধুনিক ব্ল্যাকবক্স অপ্টিমাইজেশান টুলগুলির (যেমন বেয়েসিয়ান অপ্টিমাইজেশান, বিবর্তনীয় অ্যালগরিদম) এর উপর আধা-এলোমেলো অনুসন্ধানের সুবিধার মধ্যে রয়েছে:
- অনুসন্ধানের স্থানের নমুনা অ-অভিযোজিতভাবে পরীক্ষা-নিরীক্ষা না করে পোস্ট-হক বিশ্লেষণে টিউনিং উদ্দেশ্য পরিবর্তন করা সম্ভব করে তোলে। উদাহরণ স্বরূপ, আমরা সাধারণত প্রশিক্ষণের যেকোনো সময়ে অর্জিত বৈধতা ত্রুটির পরিপ্রেক্ষিতে সর্বোত্তম ট্রায়াল খুঁজে পেতে চাই। যাইহোক, আধা-এলোমেলো অনুসন্ধানের অ-অভিযোজিত প্রকৃতি কোনো পরীক্ষা-নিরীক্ষা না করেই চূড়ান্ত বৈধতা ত্রুটি, প্রশিক্ষণ ত্রুটি, বা কিছু বিকল্প মূল্যায়ন মেট্রিকের উপর ভিত্তি করে সেরা ট্রায়াল খুঁজে পাওয়া সম্ভব করে তোলে।
- আধা-এলোমেলো অনুসন্ধান একটি সামঞ্জস্যপূর্ণ এবং পরিসংখ্যানগতভাবে পুনরুত্পাদনযোগ্য উপায়ে আচরণ করে। সার্চ অ্যালগরিদম পরিবর্তন করলেও ছয় মাস আগে থেকে একটি অধ্যয়ন পুনরুত্পাদন করা সম্ভব হবে, যতক্ষণ না এটি একই অভিন্ন বৈশিষ্ট্য বজায় রাখে। যদি অত্যাধুনিক বায়েসিয়ান অপ্টিমাইজেশান সফ্টওয়্যার ব্যবহার করা হয়, তাহলে বাস্তবায়নটি সংস্করণগুলির মধ্যে একটি গুরুত্বপূর্ণ উপায়ে পরিবর্তিত হতে পারে, এটি একটি পুরানো অনুসন্ধান পুনরুত্পাদন করা অনেক কঠিন করে তোলে। পুরানো বাস্তবায়নে ফিরে যাওয়া সবসময় সম্ভব নয় (যেমন যদি অপ্টিমাইজেশন টুলটি একটি পরিষেবা হিসাবে চালানো হয়)।
- সার্চ স্পেস এর ইউনিফর্ম এক্সপ্লোরেশন ফলাফল সম্পর্কে যুক্তি করা সহজ করে এবং তারা অনুসন্ধানের স্থান সম্পর্কে কী পরামর্শ দিতে পারে। উদাহরণস্বরূপ, যদি আধা-এলোমেলো অনুসন্ধানের সর্বোত্তম বিন্দুটি অনুসন্ধান স্থানের সীমানায় থাকে, তবে এটি একটি ভাল (কিন্তু নির্বোধ নয়) সংকেত যে অনুসন্ধান স্থানের সীমা পরিবর্তন করা উচিত। যাইহোক, একটি অভিযোজিত ব্ল্যাকবক্স অপ্টিমাইজেশান অ্যালগরিদম কিছু দুর্ভাগ্যজনক প্রাথমিক পরীক্ষার কারণে অনুসন্ধানের স্থানের মাঝখানে অবহেলা করতে পারে, এমনকি যদি এটি সমানভাবে ভাল পয়েন্ট ধারণ করে, কারণ এটি এই সঠিক ধরণের অ-অভিন্নতা যা একটি ভাল অপ্টিমাইজেশান অ্যালগরিদম নিয়োগ করতে হবে। অনুসন্ধানের গতি বাড়ানোর জন্য।
- সমান্তরাল বনাম ক্রমানুসারে বিভিন্ন সংখ্যক ট্রায়াল চালানো অভিযোজিত অ্যালগরিদমের বিপরীতে আধা-র্যান্ডম অনুসন্ধান (বা অন্যান্য অ-অভিযোজিত অনুসন্ধান অ্যালগরিদম) ব্যবহার করার সময় পরিসংখ্যানগতভাবে ভিন্ন ফলাফল দেয় না।
- আরও পরিশীলিত অনুসন্ধান অ্যালগরিদমগুলি সর্বদা অসম্ভাব্য পয়েন্টগুলি সঠিকভাবে পরিচালনা করতে পারে না, বিশেষত যদি সেগুলি নিউরাল নেটওয়ার্ক হাইপারপ্যারামিটার টিউনিংকে মাথায় রেখে ডিজাইন করা না হয়।
- আধা-এলোমেলো অনুসন্ধান সহজ এবং বিশেষত ভাল কাজ করে যখন অনেক টিউনিং ট্রায়াল সমান্তরালভাবে চলছে। উপাখ্যান 1 , একটি অভিযোজিত অ্যালগরিদমের জন্য একটি আধা-এলোমেলো অনুসন্ধানকে হারানো খুব কঠিন যার বাজেট 2X, বিশেষ করে যখন অনেকগুলি পরীক্ষা সমান্তরালভাবে চালানোর প্রয়োজন হয় (এবং এইভাবে পূর্ববর্তী পরীক্ষার ফলাফলগুলি ব্যবহার করার খুব কম সুযোগ থাকে যখন নতুন ট্রায়াল চালু করা হচ্ছে)। Bayesian অপ্টিমাইজেশান এবং অন্যান্য উন্নত ব্ল্যাকবক্স অপ্টিমাইজেশান পদ্ধতিতে দক্ষতা ছাড়া, আপনি নীতিগতভাবে, প্রদান করতে সক্ষম এমন সুবিধাগুলি অর্জন করতে পারবেন না। বাস্তবসম্মত ডিপ লার্নিং টিউনিং অবস্থায় উন্নত ব্ল্যাকবক্স অপ্টিমাইজেশান অ্যালগরিদম বেঞ্চমার্ক করা কঠিন। এগুলি বর্তমান গবেষণার একটি খুব সক্রিয় ক্ষেত্র, এবং আরও পরিশীলিত অ্যালগরিদমগুলি অনভিজ্ঞ ব্যবহারকারীদের জন্য তাদের নিজস্ব ক্ষতির সাথে আসে৷ এই পদ্ধতিগুলির বিশেষজ্ঞরা ভাল ফলাফল পেতে সক্ষম, কিন্তু উচ্চ-সমান্তরাল পরিস্থিতিতে অনুসন্ধানের স্থান এবং বাজেট অনেক বেশি গুরুত্বপূর্ণ।
তাতে বলা হয়েছে, যদি আপনার কম্পিউটেশনাল রিসোর্স শুধুমাত্র অল্প সংখ্যক ট্রায়ালকে সমান্তরালভাবে চালানোর অনুমতি দেয় এবং আপনি ক্রমানুসারে অনেক ট্রায়াল চালানোর সামর্থ্য রাখেন, তাহলে আপনার টিউনিং ফলাফলগুলিকে ব্যাখ্যা করা কঠিন করে তোলা সত্ত্বেও Bayesian অপ্টিমাইজেশান অনেক বেশি আকর্ষণীয় হয়ে ওঠে।
আমি আধা-র্যান্ডম অনুসন্ধানের বাস্তবায়ন কোথায় পেতে পারি?
ওপেন-সোর্স ভিজিয়ারের আধা-এলোমেলো অনুসন্ধানের একটি বাস্তবায়ন রয়েছে। এই ভিজিয়ার ব্যবহারের উদাহরণে algorithm="QUASI_RANDOM_SEARCH" সেট করুন। এই হাইপারপ্যারামিটার সুইপস উদাহরণে একটি বিকল্প বাস্তবায়ন বিদ্যমান। এই উভয় বাস্তবায়ন একটি প্রদত্ত অনুসন্ধান স্থানের জন্য একটি হাল্টন সিকোয়েন্স তৈরি করে ( ক্রিটিকাল হাইপার-প্যারামিটারে সুপারিশকৃত একটি স্থানান্তরিত, স্ক্র্যাম্বলড হ্যাল্টন সিকোয়েন্স বাস্তবায়নের উদ্দেশ্যে: নো র্যান্ডম, নো ক্রাই ।
যদি একটি কম-অসঙ্গতি অনুক্রমের উপর ভিত্তি করে একটি আধা-র্যান্ডম অনুসন্ধান অ্যালগরিদম উপলব্ধ না হয়, তবে এর পরিবর্তে ছদ্ম র্যান্ডম ইউনিফর্ম অনুসন্ধান প্রতিস্থাপন করা সম্ভব, যদিও এটি কিছুটা কম কার্যকরী হওয়ার সম্ভাবনা রয়েছে। 1-2 মাত্রায়, গ্রিড অনুসন্ধানও গ্রহণযোগ্য, যদিও উচ্চ মাত্রায় নয়। ( বার্গস্ট্রা এবং বেঙ্গিও, 2012 দেখুন)।
আধা-র্যান্ডম অনুসন্ধানের সাথে ভাল ফলাফল পেতে কতগুলি ট্রায়াল প্রয়োজন?
সাধারণভাবে আধা-র্যান্ডম অনুসন্ধানের সাথে ফলাফল পেতে কতগুলি ট্রায়াল প্রয়োজন তা নির্ধারণ করার কোন উপায় নেই, তবে আপনি নির্দিষ্ট উদাহরণগুলি দেখতে পারেন। চিত্র 3 দেখায়, একটি গবেষণায় পরীক্ষার সংখ্যা ফলাফলের উপর যথেষ্ট প্রভাব ফেলতে পারে:
চিত্র 3: ResNet-50 100টি ট্রায়াল সহ ImageNet-এ টিউন করা হয়েছে। বুটস্ট্র্যাপিং ব্যবহার করে, টিউনিং বাজেটের বিভিন্ন পরিমাণ সিমুলেট করা হয়েছিল। প্রতিটি ট্রায়াল বাজেটের জন্য সেরা পারফরম্যান্সের বক্স প্লট প্লট করা হয়েছে।
চিত্র 3 সম্পর্কে নিম্নলিখিত লক্ষ্য করুন:
- ইন্টারকোয়ার্টাইল রেঞ্জ যখন 6টি ট্রায়ালের নমুনা নেওয়া হয়েছিল তখন 20টি ট্রায়ালের নমুনা নেওয়া হয়েছিল তার চেয়ে অনেক বড়।
- এমনকি 20টি ট্রায়ালের মধ্যেও, বিশেষ করে ভাগ্যবান এবং দুর্ভাগ্যের অধ্যয়নের মধ্যে পার্থক্য সম্ভবত বিভিন্ন র্যান্ডম বীজে এই মডেলের রিট্রেনগুলির মধ্যে সাধারণ বৈচিত্র্যের চেয়ে বড়, নির্দিষ্ট হাইপারপ্যারামিটার সহ, যা এই কাজের চাপের জন্য একটি বৈধতা ত্রুটির জন্য প্রায় +/- 0.1% হতে পারে ~23% এর হার।
বেন রেখট এবং কেভিন জেমিসন উল্লেখ করেছেন যে 2X-বাজেট র্যান্ডম অনুসন্ধান একটি বেসলাইন হিসাবে কতটা শক্তিশালী ( হাইপারব্যান্ড কাগজটি একই রকম যুক্তি দেয়), তবে এটি অবশ্যই অনুসন্ধানের স্থান এবং সমস্যাগুলি খুঁজে পাওয়া সম্ভব যেখানে অত্যাধুনিক বায়েসিয়ান অপ্টিমাইজেশান কৌশলগুলি ক্রাশ করে। র্যান্ডম সার্চ যার বাজেটের 2X আছে। যাইহোক, আমাদের অভিজ্ঞতায় 2X-বাজেট এলোমেলো অনুসন্ধানকে হারানো উচ্চ-সমান্তরাল শাসনব্যবস্থায় অনেক কঠিন হয়ে যায় কারণ বেয়েসিয়ান অপ্টিমাইজেশানের পূর্ববর্তী পরীক্ষার ফলাফলগুলি পর্যবেক্ষণ করার কোন সুযোগ নেই। ↩
এই ইউনিটটি আধা-এলোমেলো অনুসন্ধানে ফোকাস করে।
কেন আধা-র্যান্ডম অনুসন্ধান ব্যবহার?
আধা-এলোমেলো অনুসন্ধান (কম-অসংগতি সিকোয়েন্সের উপর ভিত্তি করে) হল আমাদের অভিনব ব্ল্যাকবক্স অপ্টিমাইজেশান সরঞ্জামগুলির উপর অগ্রাধিকার যখন একটি পুনরাবৃত্তিমূলক টিউনিং প্রক্রিয়ার অংশ হিসাবে ব্যবহার করা হয় যাতে টিউনিং সমস্যা (যাকে আমরা "অন্বেষণ ফেজ" হিসাবে উল্লেখ করি) অন্তর্দৃষ্টি সর্বাধিক করার উদ্দেশ্যে করা হয়৷ বায়েসিয়ান অপ্টিমাইজেশান এবং অনুরূপ সরঞ্জামগুলি শোষণ পর্বের জন্য আরও উপযুক্ত। এলোমেলোভাবে স্থানান্তরিত কম-অসঙ্গতি ক্রমগুলির উপর ভিত্তি করে আধা-এলোমেলো অনুসন্ধানকে "বিচলিত, এলোমেলো গ্রিড অনুসন্ধান" হিসাবে ভাবা যেতে পারে, কারণ এটি অভিন্নভাবে, তবে এলোমেলোভাবে, একটি প্রদত্ত অনুসন্ধান স্থান অন্বেষণ করে এবং এলোমেলো অনুসন্ধানের চেয়ে অনুসন্ধানের পয়েন্টগুলিকে ছড়িয়ে দেয়।
আরও অত্যাধুনিক ব্ল্যাকবক্স অপ্টিমাইজেশান টুলগুলির (যেমন বেয়েসিয়ান অপ্টিমাইজেশান, বিবর্তনীয় অ্যালগরিদম) এর উপর আধা-এলোমেলো অনুসন্ধানের সুবিধার মধ্যে রয়েছে:
- অনুসন্ধানের স্থানের নমুনা অ-অভিযোজিতভাবে পরীক্ষা-নিরীক্ষা না করে পোস্ট-হক বিশ্লেষণে টিউনিং উদ্দেশ্য পরিবর্তন করা সম্ভব করে তোলে। উদাহরণ স্বরূপ, আমরা সাধারণত প্রশিক্ষণের যেকোনো সময়ে অর্জিত বৈধতা ত্রুটির পরিপ্রেক্ষিতে সর্বোত্তম ট্রায়াল খুঁজে পেতে চাই। যাইহোক, আধা-এলোমেলো অনুসন্ধানের অ-অভিযোজিত প্রকৃতি কোনো পরীক্ষা-নিরীক্ষা না করেই চূড়ান্ত বৈধতা ত্রুটি, প্রশিক্ষণ ত্রুটি, বা কিছু বিকল্প মূল্যায়ন মেট্রিকের উপর ভিত্তি করে সেরা ট্রায়াল খুঁজে পাওয়া সম্ভব করে তোলে।
- আধা-এলোমেলো অনুসন্ধান একটি সামঞ্জস্যপূর্ণ এবং পরিসংখ্যানগতভাবে পুনরুত্পাদনযোগ্য উপায়ে আচরণ করে। সার্চ অ্যালগরিদম পরিবর্তন করলেও ছয় মাস আগে থেকে একটি অধ্যয়ন পুনরুত্পাদন করা সম্ভব হবে, যতক্ষণ না এটি একই অভিন্ন বৈশিষ্ট্য বজায় রাখে। যদি অত্যাধুনিক বায়েসিয়ান অপ্টিমাইজেশান সফ্টওয়্যার ব্যবহার করা হয়, তাহলে বাস্তবায়নটি সংস্করণগুলির মধ্যে একটি গুরুত্বপূর্ণ উপায়ে পরিবর্তিত হতে পারে, এটি একটি পুরানো অনুসন্ধান পুনরুত্পাদন করা অনেক কঠিন করে তোলে। পুরানো বাস্তবায়নে ফিরে যাওয়া সবসময় সম্ভব নয় (যেমন যদি অপ্টিমাইজেশন টুলটি একটি পরিষেবা হিসাবে চালানো হয়)।
- সার্চ স্পেস এর ইউনিফর্ম এক্সপ্লোরেশন ফলাফল সম্পর্কে যুক্তি করা সহজ করে এবং তারা অনুসন্ধানের স্থান সম্পর্কে কী পরামর্শ দিতে পারে। উদাহরণস্বরূপ, যদি আধা-এলোমেলো অনুসন্ধানের সর্বোত্তম বিন্দুটি অনুসন্ধান স্থানের সীমানায় থাকে, তবে এটি একটি ভাল (কিন্তু নির্বোধ নয়) সংকেত যে অনুসন্ধান স্থানের সীমা পরিবর্তন করা উচিত। যাইহোক, একটি অভিযোজিত ব্ল্যাকবক্স অপ্টিমাইজেশান অ্যালগরিদম কিছু দুর্ভাগ্যজনক প্রাথমিক পরীক্ষার কারণে অনুসন্ধানের স্থানের মাঝখানে অবহেলা করতে পারে, এমনকি যদি এটি সমানভাবে ভাল পয়েন্ট ধারণ করে, কারণ এটি এই সঠিক ধরণের অ-অভিন্নতা যা একটি ভাল অপ্টিমাইজেশান অ্যালগরিদম নিয়োগ করতে হবে। অনুসন্ধানের গতি বাড়ানোর জন্য।
- সমান্তরাল বনাম ক্রমানুসারে বিভিন্ন সংখ্যক ট্রায়াল চালানো অভিযোজিত অ্যালগরিদমের বিপরীতে আধা-র্যান্ডম অনুসন্ধান (বা অন্যান্য অ-অভিযোজিত অনুসন্ধান অ্যালগরিদম) ব্যবহার করার সময় পরিসংখ্যানগতভাবে ভিন্ন ফলাফল দেয় না।
- আরও পরিশীলিত অনুসন্ধান অ্যালগরিদমগুলি সর্বদা অসম্ভাব্য পয়েন্টগুলি সঠিকভাবে পরিচালনা করতে পারে না, বিশেষত যদি সেগুলি নিউরাল নেটওয়ার্ক হাইপারপ্যারামিটার টিউনিংকে মাথায় রেখে ডিজাইন করা না হয়।
- আধা-এলোমেলো অনুসন্ধান সহজ এবং বিশেষত ভাল কাজ করে যখন অনেক টিউনিং ট্রায়াল সমান্তরালভাবে চলছে। উপাখ্যান 1 , একটি অভিযোজিত অ্যালগরিদমের জন্য একটি আধা-এলোমেলো অনুসন্ধানকে হারানো খুব কঠিন যার বাজেট 2X, বিশেষ করে যখন অনেকগুলি পরীক্ষা সমান্তরালভাবে চালানোর প্রয়োজন হয় (এবং এইভাবে পূর্ববর্তী পরীক্ষার ফলাফলগুলি ব্যবহার করার খুব কম সুযোগ থাকে যখন নতুন ট্রায়াল চালু করা হচ্ছে)। Bayesian অপ্টিমাইজেশান এবং অন্যান্য উন্নত ব্ল্যাকবক্স অপ্টিমাইজেশান পদ্ধতিতে দক্ষতা ছাড়া, আপনি নীতিগতভাবে, প্রদান করতে সক্ষম এমন সুবিধাগুলি অর্জন করতে পারবেন না। বাস্তবসম্মত ডিপ লার্নিং টিউনিং অবস্থায় উন্নত ব্ল্যাকবক্স অপ্টিমাইজেশান অ্যালগরিদম বেঞ্চমার্ক করা কঠিন। এগুলি বর্তমান গবেষণার একটি খুব সক্রিয় ক্ষেত্র, এবং আরও পরিশীলিত অ্যালগরিদমগুলি অনভিজ্ঞ ব্যবহারকারীদের জন্য তাদের নিজস্ব ক্ষতির সাথে আসে৷ এই পদ্ধতিগুলির বিশেষজ্ঞরা ভাল ফলাফল পেতে সক্ষম, কিন্তু উচ্চ-সমান্তরাল পরিস্থিতিতে অনুসন্ধানের স্থান এবং বাজেট অনেক বেশি গুরুত্বপূর্ণ।
তাতে বলা হয়েছে, যদি আপনার কম্পিউটেশনাল রিসোর্স শুধুমাত্র অল্প সংখ্যক ট্রায়ালকে সমান্তরালভাবে চালানোর অনুমতি দেয় এবং আপনি ক্রমানুসারে অনেক ট্রায়াল চালানোর সামর্থ্য রাখেন, তাহলে আপনার টিউনিং ফলাফলগুলিকে ব্যাখ্যা করা কঠিন করে তোলা সত্ত্বেও Bayesian অপ্টিমাইজেশান অনেক বেশি আকর্ষণীয় হয়ে ওঠে।
আমি আধা-র্যান্ডম অনুসন্ধানের বাস্তবায়ন কোথায় পেতে পারি?
ওপেন-সোর্স ভিজিয়ারের আধা-এলোমেলো অনুসন্ধানের একটি বাস্তবায়ন রয়েছে। এই ভিজিয়ার ব্যবহারের উদাহরণে algorithm="QUASI_RANDOM_SEARCH" সেট করুন। এই হাইপারপ্যারামিটার সুইপস উদাহরণে একটি বিকল্প বাস্তবায়ন বিদ্যমান। এই উভয় বাস্তবায়ন একটি প্রদত্ত অনুসন্ধান স্থানের জন্য একটি হাল্টন সিকোয়েন্স তৈরি করে ( ক্রিটিকাল হাইপার-প্যারামিটারে সুপারিশকৃত একটি স্থানান্তরিত, স্ক্র্যাম্বলড হ্যাল্টন সিকোয়েন্স বাস্তবায়নের উদ্দেশ্যে: নো র্যান্ডম, নো ক্রাই ।
যদি একটি কম-অসঙ্গতি অনুক্রমের উপর ভিত্তি করে একটি আধা-র্যান্ডম অনুসন্ধান অ্যালগরিদম উপলব্ধ না হয়, তবে এর পরিবর্তে ছদ্ম র্যান্ডম ইউনিফর্ম অনুসন্ধান প্রতিস্থাপন করা সম্ভব, যদিও এটি কিছুটা কম কার্যকরী হওয়ার সম্ভাবনা রয়েছে। 1-2 মাত্রায়, গ্রিড অনুসন্ধানও গ্রহণযোগ্য, যদিও উচ্চ মাত্রায় নয়। ( বার্গস্ট্রা এবং বেঙ্গিও, 2012 দেখুন)।
আধা-র্যান্ডম অনুসন্ধানের সাথে ভাল ফলাফল পেতে কতগুলি ট্রায়াল প্রয়োজন?
সাধারণভাবে আধা-র্যান্ডম অনুসন্ধানের সাথে ফলাফল পেতে কতগুলি ট্রায়াল প্রয়োজন তা নির্ধারণ করার কোন উপায় নেই, তবে আপনি নির্দিষ্ট উদাহরণগুলি দেখতে পারেন। চিত্র 3 দেখায়, একটি গবেষণায় পরীক্ষার সংখ্যা ফলাফলের উপর যথেষ্ট প্রভাব ফেলতে পারে:
চিত্র 3: ResNet-50 100টি ট্রায়াল সহ ImageNet-এ টিউন করা হয়েছে। বুটস্ট্র্যাপিং ব্যবহার করে, টিউনিং বাজেটের বিভিন্ন পরিমাণ সিমুলেট করা হয়েছিল। প্রতিটি ট্রায়াল বাজেটের জন্য সেরা পারফরম্যান্সের বক্স প্লট প্লট করা হয়েছে।
চিত্র 3 সম্পর্কে নিম্নলিখিত লক্ষ্য করুন:
- ইন্টারকোয়ার্টাইল রেঞ্জ যখন 6টি ট্রায়ালের নমুনা নেওয়া হয়েছিল তখন 20টি ট্রায়ালের নমুনা নেওয়া হয়েছিল তার চেয়ে অনেক বড়।
- এমনকি 20টি ট্রায়ালের মধ্যেও, বিশেষ করে ভাগ্যবান এবং দুর্ভাগ্যের অধ্যয়নের মধ্যে পার্থক্য সম্ভবত বিভিন্ন র্যান্ডম বীজে এই মডেলের রিট্রেনগুলির মধ্যে সাধারণ বৈচিত্র্যের চেয়ে বড়, নির্দিষ্ট হাইপারপ্যারামিটার সহ, যা এই কাজের চাপের জন্য একটি বৈধতা ত্রুটির জন্য প্রায় +/- 0.1% হতে পারে ~23% এর হার।
বেন রেখট এবং কেভিন জেমিসন উল্লেখ করেছেন যে 2X-বাজেট র্যান্ডম অনুসন্ধান একটি বেসলাইন হিসাবে কতটা শক্তিশালী ( হাইপারব্যান্ড কাগজটি একই রকম যুক্তি দেয়), তবে এটি অবশ্যই অনুসন্ধানের স্থান এবং সমস্যাগুলি খুঁজে পাওয়া সম্ভব যেখানে অত্যাধুনিক বায়েসিয়ান অপ্টিমাইজেশান কৌশলগুলি ক্রাশ করে। র্যান্ডম সার্চ যার বাজেটের 2X আছে। যাইহোক, আমাদের অভিজ্ঞতায় 2X-বাজেট এলোমেলো অনুসন্ধানকে হারানো উচ্চ-সমান্তরাল শাসনব্যবস্থায় অনেক কঠিন হয়ে যায় কারণ বেয়েসিয়ান অপ্টিমাইজেশানের পূর্ববর্তী পরীক্ষার ফলাফলগুলি পর্যবেক্ষণ করার কোন সুযোগ নেই। ↩
এই ইউনিটটি আধা-এলোমেলো অনুসন্ধানে ফোকাস করে।
কেন আধা-র্যান্ডম অনুসন্ধান ব্যবহার?
আধা-এলোমেলো অনুসন্ধান (কম-অসংগতি সিকোয়েন্সের উপর ভিত্তি করে) হল আমাদের অভিনব ব্ল্যাকবক্স অপ্টিমাইজেশান সরঞ্জামগুলির উপর অগ্রাধিকার যখন একটি পুনরাবৃত্তিমূলক টিউনিং প্রক্রিয়ার অংশ হিসাবে ব্যবহার করা হয় যাতে টিউনিং সমস্যা (যাকে আমরা "অন্বেষণ ফেজ" হিসাবে উল্লেখ করি) অন্তর্দৃষ্টি সর্বাধিক করার উদ্দেশ্যে করা হয়৷ বায়েসিয়ান অপ্টিমাইজেশান এবং অনুরূপ সরঞ্জামগুলি শোষণ পর্বের জন্য আরও উপযুক্ত। এলোমেলোভাবে স্থানান্তরিত কম-অসঙ্গতি ক্রমগুলির উপর ভিত্তি করে আধা-এলোমেলো অনুসন্ধানকে "বিচলিত, এলোমেলো গ্রিড অনুসন্ধান" হিসাবে ভাবা যেতে পারে, কারণ এটি অভিন্নভাবে, তবে এলোমেলোভাবে, একটি প্রদত্ত অনুসন্ধান স্থান অন্বেষণ করে এবং এলোমেলো অনুসন্ধানের চেয়ে অনুসন্ধানের পয়েন্টগুলিকে ছড়িয়ে দেয়।
আরও অত্যাধুনিক ব্ল্যাকবক্স অপ্টিমাইজেশান টুলগুলির (যেমন বেয়েসিয়ান অপ্টিমাইজেশান, বিবর্তনীয় অ্যালগরিদম) এর উপর আধা-এলোমেলো অনুসন্ধানের সুবিধার মধ্যে রয়েছে:
- অনুসন্ধানের স্থানের নমুনা অ-অভিযোজিতভাবে পরীক্ষা-নিরীক্ষা না করে পোস্ট-হক বিশ্লেষণে টিউনিং উদ্দেশ্য পরিবর্তন করা সম্ভব করে তোলে। উদাহরণ স্বরূপ, আমরা সাধারণত প্রশিক্ষণের যেকোনো সময়ে অর্জিত বৈধতা ত্রুটির পরিপ্রেক্ষিতে সর্বোত্তম ট্রায়াল খুঁজে পেতে চাই। যাইহোক, আধা-এলোমেলো অনুসন্ধানের অ-অভিযোজিত প্রকৃতি কোনো পরীক্ষা-নিরীক্ষা না করেই চূড়ান্ত বৈধতা ত্রুটি, প্রশিক্ষণ ত্রুটি, বা কিছু বিকল্প মূল্যায়ন মেট্রিকের উপর ভিত্তি করে সেরা ট্রায়াল খুঁজে পাওয়া সম্ভব করে তোলে।
- আধা-এলোমেলো অনুসন্ধান একটি সামঞ্জস্যপূর্ণ এবং পরিসংখ্যানগতভাবে পুনরুত্পাদনযোগ্য উপায়ে আচরণ করে। সার্চ অ্যালগরিদম পরিবর্তন করলেও ছয় মাস আগে থেকে একটি অধ্যয়ন পুনরুত্পাদন করা সম্ভব হবে, যতক্ষণ না এটি একই অভিন্ন বৈশিষ্ট্য বজায় রাখে। যদি অত্যাধুনিক বায়েসিয়ান অপ্টিমাইজেশান সফ্টওয়্যার ব্যবহার করা হয়, তাহলে বাস্তবায়নটি সংস্করণগুলির মধ্যে একটি গুরুত্বপূর্ণ উপায়ে পরিবর্তিত হতে পারে, এটি একটি পুরানো অনুসন্ধান পুনরুত্পাদন করা অনেক কঠিন করে তোলে। পুরানো বাস্তবায়নে ফিরে যাওয়া সবসময় সম্ভব নয় (যেমন যদি অপ্টিমাইজেশন টুলটি একটি পরিষেবা হিসাবে চালানো হয়)।
- সার্চ স্পেস এর ইউনিফর্ম এক্সপ্লোরেশন ফলাফল সম্পর্কে যুক্তি করা সহজ করে এবং তারা অনুসন্ধানের স্থান সম্পর্কে কী পরামর্শ দিতে পারে। উদাহরণস্বরূপ, যদি আধা-এলোমেলো অনুসন্ধানের সর্বোত্তম বিন্দুটি অনুসন্ধান স্থানের সীমানায় থাকে, তবে এটি একটি ভাল (কিন্তু নির্বোধ নয়) সংকেত যে অনুসন্ধান স্থানের সীমা পরিবর্তন করা উচিত। যাইহোক, একটি অভিযোজিত ব্ল্যাকবক্স অপ্টিমাইজেশান অ্যালগরিদম কিছু দুর্ভাগ্যজনক প্রাথমিক পরীক্ষার কারণে অনুসন্ধানের স্থানের মাঝখানে অবহেলা করতে পারে, এমনকি যদি এটি সমানভাবে ভাল পয়েন্ট ধারণ করে, কারণ এটি এই সঠিক ধরণের অ-অভিন্নতা যা একটি ভাল অপ্টিমাইজেশান অ্যালগরিদম নিয়োগ করতে হবে। অনুসন্ধানের গতি বাড়ানোর জন্য।
- সমান্তরাল বনাম ক্রমানুসারে বিভিন্ন সংখ্যক ট্রায়াল চালানো অভিযোজিত অ্যালগরিদমের বিপরীতে আধা-র্যান্ডম অনুসন্ধান (বা অন্যান্য অ-অভিযোজিত অনুসন্ধান অ্যালগরিদম) ব্যবহার করার সময় পরিসংখ্যানগতভাবে ভিন্ন ফলাফল দেয় না।
- আরও পরিশীলিত অনুসন্ধান অ্যালগরিদমগুলি সর্বদা অসম্ভাব্য পয়েন্টগুলি সঠিকভাবে পরিচালনা করতে পারে না, বিশেষত যদি সেগুলি নিউরাল নেটওয়ার্ক হাইপারপ্যারামিটার টিউনিংকে মাথায় রেখে ডিজাইন করা না হয়।
- আধা-এলোমেলো অনুসন্ধান সহজ এবং বিশেষত ভাল কাজ করে যখন অনেক টিউনিং ট্রায়াল সমান্তরালভাবে চলছে। উপাখ্যান 1 , একটি অভিযোজিত অ্যালগরিদমের জন্য একটি আধা-এলোমেলো অনুসন্ধানকে হারানো খুব কঠিন যার বাজেট 2X, বিশেষ করে যখন অনেকগুলি পরীক্ষা সমান্তরালভাবে চালানোর প্রয়োজন হয় (এবং এইভাবে পূর্ববর্তী পরীক্ষার ফলাফলগুলি ব্যবহার করার খুব কম সুযোগ থাকে যখন নতুন ট্রায়াল চালু করা হচ্ছে)। Bayesian অপ্টিমাইজেশান এবং অন্যান্য উন্নত ব্ল্যাকবক্স অপ্টিমাইজেশান পদ্ধতিতে দক্ষতা ছাড়া, আপনি নীতিগতভাবে, প্রদান করতে সক্ষম এমন সুবিধাগুলি অর্জন করতে পারবেন না। বাস্তবসম্মত ডিপ লার্নিং টিউনিং অবস্থায় উন্নত ব্ল্যাকবক্স অপ্টিমাইজেশান অ্যালগরিদম বেঞ্চমার্ক করা কঠিন। এগুলি বর্তমান গবেষণার একটি খুব সক্রিয় ক্ষেত্র, এবং আরও পরিশীলিত অ্যালগরিদমগুলি অনভিজ্ঞ ব্যবহারকারীদের জন্য তাদের নিজস্ব ক্ষতির সাথে আসে৷ এই পদ্ধতিগুলির বিশেষজ্ঞরা ভাল ফলাফল পেতে সক্ষম, কিন্তু উচ্চ-সমান্তরাল পরিস্থিতিতে অনুসন্ধানের স্থান এবং বাজেট অনেক বেশি গুরুত্বপূর্ণ।
তাতে বলা হয়েছে, যদি আপনার কম্পিউটেশনাল রিসোর্স শুধুমাত্র অল্প সংখ্যক ট্রায়ালকে সমান্তরালভাবে চালানোর অনুমতি দেয় এবং আপনি ক্রমানুসারে অনেক ট্রায়াল চালানোর সামর্থ্য রাখেন, তাহলে আপনার টিউনিং ফলাফলগুলিকে ব্যাখ্যা করা কঠিন করে তোলা সত্ত্বেও Bayesian অপ্টিমাইজেশান অনেক বেশি আকর্ষণীয় হয়ে ওঠে।
আমি আধা-র্যান্ডম অনুসন্ধানের বাস্তবায়ন কোথায় পেতে পারি?
ওপেন-সোর্স ভিজিয়ারের আধা-এলোমেলো অনুসন্ধানের একটি বাস্তবায়ন রয়েছে। এই ভিজিয়ার ব্যবহারের উদাহরণে algorithm="QUASI_RANDOM_SEARCH" সেট করুন। এই হাইপারপ্যারামিটার সুইপস উদাহরণে একটি বিকল্প বাস্তবায়ন বিদ্যমান। এই উভয় বাস্তবায়ন একটি প্রদত্ত অনুসন্ধান স্থানের জন্য একটি হাল্টন সিকোয়েন্স তৈরি করে ( ক্রিটিকাল হাইপার-প্যারামিটারে সুপারিশকৃত একটি স্থানান্তরিত, স্ক্র্যাম্বলড হ্যাল্টন সিকোয়েন্স বাস্তবায়নের উদ্দেশ্যে: নো র্যান্ডম, নো ক্রাই ।
যদি একটি কম-অসঙ্গতি অনুক্রমের উপর ভিত্তি করে একটি আধা-র্যান্ডম অনুসন্ধান অ্যালগরিদম উপলব্ধ না হয়, তবে এর পরিবর্তে ছদ্ম র্যান্ডম ইউনিফর্ম অনুসন্ধান প্রতিস্থাপন করা সম্ভব, যদিও এটি কিছুটা কম কার্যকরী হওয়ার সম্ভাবনা রয়েছে। 1-2 মাত্রায়, গ্রিড অনুসন্ধানও গ্রহণযোগ্য, যদিও উচ্চ মাত্রায় নয়। ( বার্গস্ট্রা এবং বেঙ্গিও, 2012 দেখুন)।
আধা-র্যান্ডম অনুসন্ধানের সাথে ভাল ফলাফল পেতে কতগুলি ট্রায়াল প্রয়োজন?
সাধারণভাবে আধা-র্যান্ডম অনুসন্ধানের সাথে ফলাফল পেতে কতগুলি ট্রায়াল প্রয়োজন তা নির্ধারণ করার কোন উপায় নেই, তবে আপনি নির্দিষ্ট উদাহরণগুলি দেখতে পারেন। চিত্র 3 দেখায়, একটি গবেষণায় পরীক্ষার সংখ্যা ফলাফলের উপর যথেষ্ট প্রভাব ফেলতে পারে:
চিত্র 3: ResNet-50 100টি ট্রায়াল সহ ImageNet-এ টিউন করা হয়েছে। বুটস্ট্র্যাপিং ব্যবহার করে, টিউনিং বাজেটের বিভিন্ন পরিমাণ সিমুলেট করা হয়েছিল। প্রতিটি ট্রায়াল বাজেটের জন্য সেরা পারফরম্যান্সের বক্স প্লট প্লট করা হয়েছে।
চিত্র 3 সম্পর্কে নিম্নলিখিত লক্ষ্য করুন:
- ইন্টারকোয়ার্টাইল রেঞ্জ যখন 6টি ট্রায়ালের নমুনা নেওয়া হয়েছিল তখন 20টি ট্রায়ালের নমুনা নেওয়া হয়েছিল তার চেয়ে অনেক বড়।
- এমনকি 20টি ট্রায়ালের মধ্যেও, বিশেষ করে ভাগ্যবান এবং দুর্ভাগ্যের অধ্যয়নের মধ্যে পার্থক্য সম্ভবত বিভিন্ন র্যান্ডম বীজে এই মডেলের রিট্রেনগুলির মধ্যে সাধারণ বৈচিত্র্যের চেয়ে বড়, নির্দিষ্ট হাইপারপ্যারামিটার সহ, যা এই কাজের চাপের জন্য একটি বৈধতা ত্রুটির জন্য প্রায় +/- 0.1% হতে পারে ~23% এর হার।
বেন রেখট এবং কেভিন জেমিসন উল্লেখ করেছেন যে 2X-বাজেট র্যান্ডম অনুসন্ধান একটি বেসলাইন হিসাবে কতটা শক্তিশালী ( হাইপারব্যান্ড কাগজটি একই রকম যুক্তি দেয়), তবে এটি অবশ্যই অনুসন্ধানের স্থান এবং সমস্যাগুলি খুঁজে পাওয়া সম্ভব যেখানে অত্যাধুনিক বায়েসিয়ান অপ্টিমাইজেশান কৌশলগুলি ক্রাশ করে। র্যান্ডম সার্চ যার বাজেটের 2X আছে। যাইহোক, আমাদের অভিজ্ঞতায় 2X-বাজেট এলোমেলো অনুসন্ধানকে হারানো উচ্চ-সমান্তরাল শাসনব্যবস্থায় অনেক কঠিন হয়ে যায় কারণ বেয়েসিয়ান অপ্টিমাইজেশানের পূর্ববর্তী পরীক্ষার ফলাফলগুলি পর্যবেক্ষণ করার কোন সুযোগ নেই। ↩
এই ইউনিটটি আধা-এলোমেলো অনুসন্ধানে ফোকাস করে।
কেন আধা-র্যান্ডম অনুসন্ধান ব্যবহার?
আধা-এলোমেলো অনুসন্ধান (কম-অসংগতি সিকোয়েন্সের উপর ভিত্তি করে) হল আমাদের অভিনব ব্ল্যাকবক্স অপ্টিমাইজেশান সরঞ্জামগুলির উপর অগ্রাধিকার যখন একটি পুনরাবৃত্তিমূলক টিউনিং প্রক্রিয়ার অংশ হিসাবে ব্যবহার করা হয় যাতে টিউনিং সমস্যা (যাকে আমরা "অন্বেষণ ফেজ" হিসাবে উল্লেখ করি) অন্তর্দৃষ্টি সর্বাধিক করার উদ্দেশ্যে করা হয়৷ বায়েসিয়ান অপ্টিমাইজেশান এবং অনুরূপ সরঞ্জামগুলি শোষণ পর্বের জন্য আরও উপযুক্ত। এলোমেলোভাবে স্থানান্তরিত কম-অসঙ্গতি ক্রমগুলির উপর ভিত্তি করে আধা-এলোমেলো অনুসন্ধানকে "বিচলিত, এলোমেলো গ্রিড অনুসন্ধান" হিসাবে ভাবা যেতে পারে, কারণ এটি অভিন্নভাবে, তবে এলোমেলোভাবে, একটি প্রদত্ত অনুসন্ধান স্থান অন্বেষণ করে এবং এলোমেলো অনুসন্ধানের চেয়ে অনুসন্ধানের পয়েন্টগুলিকে ছড়িয়ে দেয়।
আরও অত্যাধুনিক ব্ল্যাকবক্স অপ্টিমাইজেশান টুলগুলির (যেমন বেয়েসিয়ান অপ্টিমাইজেশান, বিবর্তনীয় অ্যালগরিদম) এর উপর আধা-এলোমেলো অনুসন্ধানের সুবিধার মধ্যে রয়েছে:
- অনুসন্ধানের স্থানের নমুনা অ-অভিযোজিতভাবে পরীক্ষা-নিরীক্ষা না করে পোস্ট-হক বিশ্লেষণে টিউনিং উদ্দেশ্য পরিবর্তন করা সম্ভব করে তোলে। উদাহরণ স্বরূপ, আমরা সাধারণত প্রশিক্ষণের যেকোনো সময়ে অর্জিত বৈধতা ত্রুটির পরিপ্রেক্ষিতে সর্বোত্তম ট্রায়াল খুঁজে পেতে চাই। যাইহোক, আধা-এলোমেলো অনুসন্ধানের অ-অভিযোজিত প্রকৃতি কোনো পরীক্ষা-নিরীক্ষা না করেই চূড়ান্ত বৈধতা ত্রুটি, প্রশিক্ষণ ত্রুটি, বা কিছু বিকল্প মূল্যায়ন মেট্রিকের উপর ভিত্তি করে সেরা ট্রায়াল খুঁজে পাওয়া সম্ভব করে তোলে।
- আধা-এলোমেলো অনুসন্ধান একটি সামঞ্জস্যপূর্ণ এবং পরিসংখ্যানগতভাবে পুনরুত্পাদনযোগ্য উপায়ে আচরণ করে। সার্চ অ্যালগরিদম পরিবর্তন করলেও ছয় মাস আগে থেকে একটি অধ্যয়ন পুনরুত্পাদন করা সম্ভব হবে, যতক্ষণ না এটি একই অভিন্ন বৈশিষ্ট্য বজায় রাখে। যদি অত্যাধুনিক বায়েসিয়ান অপ্টিমাইজেশান সফ্টওয়্যার ব্যবহার করা হয়, তাহলে বাস্তবায়নটি সংস্করণগুলির মধ্যে একটি গুরুত্বপূর্ণ উপায়ে পরিবর্তিত হতে পারে, এটি একটি পুরানো অনুসন্ধান পুনরুত্পাদন করা অনেক কঠিন করে তোলে। পুরানো বাস্তবায়নে ফিরে যাওয়া সবসময় সম্ভব নয় (যেমন যদি অপ্টিমাইজেশন টুলটি একটি পরিষেবা হিসাবে চালানো হয়)।
- সার্চ স্পেসের ইউনিফর্ম এক্সপ্লোরেশন ফলাফলগুলি সম্পর্কে যুক্তি করা সহজ করে এবং অনুসন্ধানের স্থান সম্পর্কে তারা কী পরামর্শ দিতে পারে৷ উদাহরণস্বরূপ, যদি আধা-এলোমেলো অনুসন্ধানের সর্বোত্তম বিন্দুটি অনুসন্ধান স্থানের সীমানায় থাকে, তবে এটি একটি ভাল (কিন্তু নির্বোধ নয়) সংকেত যে অনুসন্ধান স্থানের সীমা পরিবর্তন করা উচিত। যাইহোক, একটি অভিযোজিত ব্ল্যাকবক্স অপ্টিমাইজেশান অ্যালগরিদম কিছু দুর্ভাগ্যজনক প্রাথমিক পরীক্ষার কারণে অনুসন্ধানের স্থানের মাঝখানে অবহেলা করতে পারে, এমনকি যদি এটি সমানভাবে ভাল পয়েন্ট ধারণ করে, কারণ এটি এই সঠিক ধরণের অ-অভিন্নতা যা একটি ভাল অপ্টিমাইজেশান অ্যালগরিদম নিয়োগ করতে হবে। অনুসন্ধানের গতি বাড়ানোর জন্য।
- সমান্তরাল বনাম ক্রমানুসারে বিভিন্ন সংখ্যক ট্রায়াল চালানো অভিযোজিত অ্যালগরিদমের বিপরীতে আধা-র্যান্ডম অনুসন্ধান (বা অন্যান্য অ-অভিযোজিত অনুসন্ধান অ্যালগরিদম) ব্যবহার করার সময় পরিসংখ্যানগতভাবে ভিন্ন ফলাফল দেয় না।
- আরও পরিশীলিত অনুসন্ধান অ্যালগরিদমগুলি সর্বদা অসম্ভাব্য পয়েন্টগুলি সঠিকভাবে পরিচালনা করতে পারে না, বিশেষত যদি সেগুলি নিউরাল নেটওয়ার্ক হাইপারপ্যারামিটার টিউনিংকে মাথায় রেখে ডিজাইন করা না হয়।
- আধা-এলোমেলো অনুসন্ধান সহজ এবং বিশেষত ভাল কাজ করে যখন অনেক টিউনিং ট্রায়াল সমান্তরালভাবে চলছে। উপাখ্যান 1 , একটি অভিযোজিত অ্যালগরিদমের জন্য একটি আধা-এলোমেলো অনুসন্ধানকে হারানো খুব কঠিন যার বাজেট 2X, বিশেষ করে যখন অনেকগুলি পরীক্ষা সমান্তরালভাবে চালানোর প্রয়োজন হয় (এবং এইভাবে পূর্ববর্তী পরীক্ষার ফলাফলগুলি ব্যবহার করার খুব কম সুযোগ থাকে যখন নতুন ট্রায়াল চালু করা হচ্ছে)। Bayesian অপ্টিমাইজেশান এবং অন্যান্য উন্নত ব্ল্যাকবক্স অপ্টিমাইজেশান পদ্ধতিতে দক্ষতা ছাড়া, আপনি নীতিগতভাবে, প্রদান করতে সক্ষম এমন সুবিধাগুলি অর্জন করতে পারবেন না। বাস্তবসম্মত ডিপ লার্নিং টিউনিং অবস্থায় উন্নত ব্ল্যাকবক্স অপ্টিমাইজেশান অ্যালগরিদম বেঞ্চমার্ক করা কঠিন। এগুলি বর্তমান গবেষণার একটি খুব সক্রিয় ক্ষেত্র, এবং আরও পরিশীলিত অ্যালগরিদমগুলি অনভিজ্ঞ ব্যবহারকারীদের জন্য তাদের নিজস্ব ক্ষতির সাথে আসে৷ এই পদ্ধতিগুলির বিশেষজ্ঞরা ভাল ফলাফল পেতে সক্ষম, কিন্তু উচ্চ-সমান্তরাল পরিস্থিতিতে অনুসন্ধানের স্থান এবং বাজেট অনেক বেশি গুরুত্বপূর্ণ।
তাতে বলা হয়েছে, যদি আপনার কম্পিউটেশনাল রিসোর্স শুধুমাত্র অল্প সংখ্যক ট্রায়ালকে সমান্তরালভাবে চালানোর অনুমতি দেয় এবং আপনি ক্রমানুসারে অনেক ট্রায়াল চালানোর সামর্থ্য রাখেন, তাহলে আপনার টিউনিং ফলাফলগুলিকে ব্যাখ্যা করা কঠিন করে তোলা সত্ত্বেও Bayesian অপ্টিমাইজেশান অনেক বেশি আকর্ষণীয় হয়ে ওঠে।
আমি আধা-র্যান্ডম অনুসন্ধানের বাস্তবায়ন কোথায় পেতে পারি?
ওপেন-সোর্স ভিজিয়ারের আধা-এলোমেলো অনুসন্ধানের একটি বাস্তবায়ন রয়েছে। এই ভিজিয়ার ব্যবহারের উদাহরণে algorithm="QUASI_RANDOM_SEARCH" সেট করুন। এই হাইপারপ্যারামিটার সুইপস উদাহরণে একটি বিকল্প বাস্তবায়ন বিদ্যমান। এই উভয় বাস্তবায়ন একটি প্রদত্ত অনুসন্ধান স্থানের জন্য একটি হাল্টন সিকোয়েন্স তৈরি করে ( ক্রিটিকাল হাইপার-প্যারামিটারে সুপারিশকৃত একটি স্থানান্তরিত, স্ক্র্যাম্বলড হ্যাল্টন সিকোয়েন্স বাস্তবায়নের উদ্দেশ্যে: নো র্যান্ডম, নো ক্রাই ।
যদি একটি কম-অসঙ্গতি অনুক্রমের উপর ভিত্তি করে একটি আধা-র্যান্ডম অনুসন্ধান অ্যালগরিদম উপলব্ধ না হয়, তবে এর পরিবর্তে ছদ্ম র্যান্ডম ইউনিফর্ম অনুসন্ধান প্রতিস্থাপন করা সম্ভব, যদিও এটি কিছুটা কম কার্যকরী হওয়ার সম্ভাবনা রয়েছে। 1-2 মাত্রায়, গ্রিড অনুসন্ধানও গ্রহণযোগ্য, যদিও উচ্চ মাত্রায় নয়। ( বার্গস্ট্রা এবং বেঙ্গিও, 2012 দেখুন)।
আধা-র্যান্ডম অনুসন্ধানের সাথে ভাল ফলাফল পেতে কতগুলি ট্রায়াল প্রয়োজন?
সাধারণভাবে আধা-র্যান্ডম অনুসন্ধানের সাথে ফলাফল পেতে কতগুলি ট্রায়াল প্রয়োজন তা নির্ধারণ করার কোন উপায় নেই, তবে আপনি নির্দিষ্ট উদাহরণগুলি দেখতে পারেন। চিত্র 3 দেখায়, একটি গবেষণায় পরীক্ষার সংখ্যা ফলাফলের উপর যথেষ্ট প্রভাব ফেলতে পারে:
চিত্র 3: ResNet-50 100টি ট্রায়াল সহ ImageNet-এ টিউন করা হয়েছে। বুটস্ট্র্যাপিং ব্যবহার করে, টিউনিং বাজেটের বিভিন্ন পরিমাণ সিমুলেট করা হয়েছিল। প্রতিটি ট্রায়াল বাজেটের জন্য সেরা পারফরম্যান্সের বক্স প্লট প্লট করা হয়েছে।
চিত্র 3 সম্পর্কে নিম্নলিখিত লক্ষ্য করুন:
- ইন্টারকোয়ার্টাইল রেঞ্জ যখন 6টি ট্রায়ালের নমুনা নেওয়া হয়েছিল তখন 20টি ট্রায়ালের নমুনা নেওয়া হয়েছিল তার চেয়ে অনেক বড়।
- এমনকি 20টি ট্রায়ালের মধ্যেও, বিশেষ করে ভাগ্যবান এবং দুর্ভাগ্যের অধ্যয়নের মধ্যে পার্থক্য সম্ভবত বিভিন্ন র্যান্ডম বীজে এই মডেলের রিট্রেনগুলির মধ্যে সাধারণ বৈচিত্র্যের চেয়ে বড়, নির্দিষ্ট হাইপারপ্যারামিটার সহ, যা এই কাজের চাপের জন্য একটি বৈধতা ত্রুটির জন্য প্রায় +/- 0.1% হতে পারে ~23% এর হার।
বেন রেখট এবং কেভিন জেমিসন উল্লেখ করেছেন যে 2X-বাজেট র্যান্ডম অনুসন্ধান একটি বেসলাইন হিসাবে কতটা শক্তিশালী ( হাইপারব্যান্ড কাগজটি একই রকম যুক্তি দেয়), তবে এটি অবশ্যই অনুসন্ধানের স্থান এবং সমস্যাগুলি খুঁজে পাওয়া সম্ভব যেখানে অত্যাধুনিক বায়েসিয়ান অপ্টিমাইজেশান কৌশলগুলি ক্রাশ করে। র্যান্ডম সার্চ যার বাজেটের 2X আছে। যাইহোক, আমাদের অভিজ্ঞতায় 2X-বাজেট এলোমেলো অনুসন্ধানকে হারানো উচ্চ-সমান্তরাল শাসনব্যবস্থায় অনেক কঠিন হয়ে যায় কারণ বেয়েসিয়ান অপ্টিমাইজেশানের পূর্ববর্তী পরীক্ষার ফলাফলগুলি পর্যবেক্ষণ করার কোন সুযোগ নেই। ↩