यह यूनिट, क्वासी-रैंडम सर्च पर फ़ोकस करती है.
क्वासी-रैंडम सर्च का इस्तेमाल क्यों करना चाहिए?
क्वासी-रैंडम खोज (कम अंतर वाले क्रम के आधार पर) हमारी प्राथमिकता है बार-बार दोहराए जाने वाले हिस्से के तौर पर इस्तेमाल किए जाने पर, फ़ैंसी ब्लैकबॉक्स ऑप्टिमाइज़ेशन टूल से ज़्यादा ट्यूनिंग प्रोसेस का मकसद, ट्यूनिंग की समस्या के बारे में ज़्यादा से ज़्यादा जानकारी देना है (क्या हम "एक्सप्लोरेशन फ़ेज़" कहते हैं). बेज़ियन ऑप्टिमाइज़ेशन और इससे मिलते-जुलते नतीजे शोषण के दौर के लिए, टूल ज़्यादा सही होते हैं. रैंडम तरीके से शिफ़्ट किए गए कम अंतर वाले क्रमों के आधार पर क्वॉसी-रैंडम तरीके से खोज की जा सकती है माना जाएगा कि आप "झूठे हुए, शफ़ल किए गए ग्रिड सर्च" की तरह हैं, क्योंकि बिना किसी क्रम के, दिए गए खोज स्पेस को एक्सप्लोर करता है और खोज पॉइंट को बड़ा करता है से ज़्यादा सुविधाएं मिलती हैं.
ज़्यादा जटिल ब्लैकबॉक्स पर क्वासी-रैंडम तरीके से खोज करने के फ़ायदे ऑप्टिमाइज़ेशन टूल (उदाहरण के लिए, बायेसियन ऑप्टिमाइज़ेशन, विकासवादी एल्गोरिदम) शामिल करें:
- खोज स्पेस को गैर-ज़रूरत के हिसाब से सैंपल करने से, इसमें बदलाव किए जा सकते हैं प्रयोगों को फिर से चलाए बिना पोस्ट हॉक विश्लेषण में ट्यूनिंग का लक्ष्य. उदाहरण के लिए, हम आम तौर पर पुष्टि करने के लिए, सबसे बेहतर ट्रायल का विकल्प चुनते हैं ट्रेनिंग के दौरान कोई गड़बड़ी हुई हो. हालांकि, पर्यावरण के हिसाब से सही नहीं क्वासी-रैंडम खोज की प्रकृति से सबसे अच्छे ट्रायल को ढूंढना आसान हो जाता है पुष्टि की प्रक्रिया में गड़बड़ी, ट्रेनिंग की गड़बड़ी या किसी अन्य विकल्प के आधार पर आकलन मेट्रिक को फिर से चलाए बिना.
- क्वॉसी-रैंडम सर्च, एक समान और आंकड़ों के हिसाब से फिर से जनरेट किए जाने लायक तरीके से काम करता है तरीका है. ऐसा हो सकता है कि छह महीने पहले किए गए अध्ययन को फिर से बनाया जा सके और यहां तक कि अगर सर्च एल्गोरिदम को लागू करने का तरीका बदल जाता है, एक जैसी एकरूपता प्रॉपर्टी बनाए रखता है. अगर जटिल बेज़ियन का इस्तेमाल किया जा रहा है ऑप्टिमाइज़ेशन सॉफ़्टवेयर, सॉफ़्टवेयर का इस्तेमाल इससे एक नया अनुभव मिलता है. इससे पुरानी खोज को समझना मुश्किल हो जाता है. किसी पुराने तरीके को लागू करना हमेशा मुमकिन नहीं होता (उदाहरण के लिए, अगर ऑप्टिमाइज़ेशन टूल का इस्तेमाल सेवा के तौर पर किया जाता है).
- Search स्पेस में एक जैसी सुविधाओं की वजह से, जानकारी हासिल करना आसान हो जाता है नतीजों की जानकारी और खोज स्पेस के बारे में वे क्या सुझाव दे सकते हैं. उदाहरण के लिए, अगर क्वासी-रैंडम खोज के ट्रैवर्सल में सबसे अच्छा पॉइंट खोज स्पेस की सीमा पर है, तो यह अच्छा है (लेकिन पूरी तरह से सुरक्षित नहीं है) यह सिग्नल देता है कि सर्च स्पेस की सीमाओं को बदला जाना चाहिए. हालांकि, एक अडैप्टिव ब्लैकबॉक्स ऑप्टिमाइज़ेशन एल्गोरिदम ऐसा हो सकता है कि खोज स्पेस के बीच के हिस्से को अनदेखा कर दिया हो शुरुआती ट्रायल कम हो जाते हैं, भले ही इसमें उतने ही अच्छे पॉइंट शामिल हों. ऐसा इसलिए, क्योंकि क्या यह एक अच्छा ऑप्टिमाइज़ेशन एल्गोरिदम है. तेज़ी से खोजने के लिए ज़रूरत पड़ती है.
- समानांतर बनाम क्रम से ट्रायल की अलग-अलग संख्या चलाने से क्वासी-रैंडम का इस्तेमाल करने पर आंकड़ों के हिसाब से अलग नतीजे न दें अडैप्टिव सर्च एल्गोरिदम या दूसरे नॉन-अडैप्टिव सर्च एल्गोरिदम मिलते हैं. एल्गोरिदम पर काम करता है.
- ऐसा हो सकता है कि ज़्यादा बेहतर खोज एल्गोरिदम हमेशा मुश्किल से मैनेज न करें सही तरीके से पॉइंट मिलते हैं, खासकर तब, जब उन्हें न्यूरल नेटवर्क के साथ डिज़ाइन नहीं किया गया है हाइपर पैरामीटर ट्यूनिंग को ध्यान में रखते हुए.
- क्वॉसी-रैंडम सर्च आसान है और खास तौर पर तब काम करता है, जब कई ट्यूनिंग हो ट्रायल साथ-साथ चल रहे हैं. आंकड़ों के हिसाब से1, अडैप्टिव एल्गोरिदम के लिए, क्वासी-रैंडम सर्च जिसका बजट दोगुना है, खास तौर पर जब कई ट्रायल साथ-साथ चलने की ज़रूरत होती है (और इसलिए इसे पूरा करने के नया ट्रायल लॉन्च करते समय, पिछले ट्रायल के नतीजों का इस्तेमाल करना). बेज़ियन ऑप्टिमाइज़ेशन और अन्य ऐडवांस ब्लैकबॉक्स की विशेषज्ञता के बिना ऑप्टिमाइज़ करने के तरीकों का इस्तेमाल करते हैं, तो हो सकता है कि आपको उनसे होने वाले फ़ायदे न मिलें, वे प्रॉडक्ट और सेवाएं मुहैया करा सकते हैं. बेहतर बेंचमार्क करना मुश्किल है असल डीप लर्निंग ट्यूनिंग में ब्लैकबॉक्स ऑप्टिमाइज़ेशन एल्गोरिदम शर्तें. वे मौजूदा रिसर्च में काफ़ी ऐक्टिव हैं और अधिक जटिल एल्गोरिदम के लिए अपने अवसर हैं, जो अनुभव नहीं है. इन तरीकों का इस्तेमाल करने वाले विशेषज्ञों को अच्छे नतीजे मिल सकते हैं. हालाँकि, एक जैसा अनुभव देने वाली स्थितियों में, सर्च स्पेस और बजट आम तौर पर सबसे ज़्यादा मायने रखती है.
हालांकि, अगर आपके कम्प्यूटेशनल रिसॉर्स सीमित संख्या में ही साथ-साथ चलाने के लिए और आपके पास कई ट्रायल को एक साथ चलाने का खर्च आ सकता है. अपने विज्ञापन की स्थिति बनाने के बावजूद बेज़ियन ऑप्टिमाइज़ेशन बहुत ही आकर्षक हो जाता है ट्यूनिंग के नतीजों को समझना मुश्किल होता है.
मुझे क्वासी-रैंडम खोज को लागू करने की जानकारी कहां मिल सकती है?
ओपन-सोर्स विज़ुअलाइज़र ने
क्वासी-रैंडम को लागू करना
खोजें.
इस Vizier इस्तेमाल में algorithm="QUASI_RANDOM_SEARCH" को सेट करें
उदाहरण के लिए.
इस हाइपर पैरामीटर स्वीप में एक वैकल्पिक तरीका मौजूद है
उदाहरण के लिए.
ये दोनों तरीके किसी दी गई खोज के लिए, हॉल्टन क्रम जनरेट करते हैं
स्पेस (जिसका मकसद शिफ़्ट किए गए, स्क्रैंबल किए गए हॉल्टन क्रम को इस तरह लागू करना है
में सुझाया गया
क्रिटिकल हाइपर-पैरामीटर: कोई रैंडम नहीं, नहीं
रोएं.
यदि कम-असमानता वाले अनुक्रम पर आधारित कोई क्वासी-रैंडम खोज एल्गोरिदम उपलब्ध नहीं है, तो इसकी जगह स्यूडो रैंडम यूनिफ़ॉर्म खोज को बदल दिया जा सकता है, हालांकि, इससे ऊर्जा की खपत कम हो सकती है. एक से दो डाइमेंशन में, ग्रिड खोज का इस्तेमाल भी किया जा सकता है, लेकिन बड़े डाइमेंशन में ऐसा नहीं किया जा सकता. (देखें बर्गस्ट्रा एंड बेंगियो, 2012).
क्वासी-रैंडम खोज के साथ अच्छे नतीजे पाने के लिए कितने ट्रायल की ज़रूरत है?
यह तय करने का कोई तरीका नहीं है कि कितने प्रतिशत मुफ़्त में आज़माने की सुविधा पाने के लिए के नतीजे आम तौर पर क्वासी-रैंडम खोज के साथ मिलते हैं, लेकिन आप के उदाहरण दिए गए हैं. जैसा कि चित्र 3 में दिखाया गया है, किसी अध्ययन में परीक्षणों की संख्या नतीजों पर गहरा असर पड़ता है:
तीसरी इमेज: ResNet-50 को 100 बार आज़माने की सुविधा के साथ, ImageNet पर ट्यून किया गया. बूटस्ट्रैपिंग का इस्तेमाल करके, ट्यूनिंग के बजट की अलग-अलग रकम का सिम्युलेशन दिखाया गया है. हर ट्रायल बजट के लिए, सबसे अच्छी परफ़ॉर्मेंस वाले बॉक्स प्लॉट दिखाए जाते हैं.
इमेज 3 के बारे में इन बातों पर ध्यान दें:
- जब 6 ट्रायल का सैंपल लिया गया, तब इंटरक्वार्टाइल की रेंज बहुत बड़ी थीं जब 20 से ज़्यादा सैंपल टेस्ट किए गए.
- 20 बार मुफ़्त में आज़माने के बाद भी, भाग्यशाली और अशुभ रहने में फ़र्क़ वे रिट्रेन के बीच के सामान्य वैरिएशन की तुलना में ज़्यादा बड़े हो सकते हैं यह मॉडल, तय हाइपर पैरामीटर के साथ, अलग-अलग रैंडम सीड पर आधारित होता है. जो इस काम के लिए करीब +/- 0.1% हो सकता है. पुष्टि में गड़बड़ी की दर ~23%.
-
बेन रेक्ट और केविन जेमीसन बताया कि कितना मज़बूत 2X-बजट की रैंडम खोज, बेसलाइन के तौर पर होती है ( हाइपरबैंड पेपर समान तर्क उत्पन्न करता है), लेकिन खोजने का कोई स्थान नहीं स्पेस और समस्याएं जहां आधुनिक बेज़ियन ऑप्टिमाइज़ेशन तकनीक रैंडम सर्च को क्रश करें जिसमें बजट से दोगुना खर्च हो. हालांकि, हमारी दो गुना बजट में रैंडम तरीके से खोज करने का अनुभव और मुश्किल हो जाता है उच्च-समानता व्यवस्था को बनाए रखना है, क्योंकि बायेसियन ऑप्टिमाइज़ेशन में इससे पिछले ट्रायल के नतीजों को देखा जा सकता है.↩