تركز هذه الوحدة على البحث شبه العشوائي.
لماذا يُنصح باستخدام البحث شبه العشوائي؟
البحث شبه العشوائي (استنادًا إلى تسلسلات منخفضة التباين) هو ما نفضّله على أدوات تحسين الصندوق الأسود الأكثر روعة عند استخدامها كجزء من التكرار التي تهدف إلى زيادة الرؤية لمشكلة الضبط (ما نشير إليه باسم "مرحلة الاستكشاف"). تحسين بايز وما شابه المناسبة لمرحلة الاستغلال. ويمكن أن يمثل البحث شبه العشوائي المعتمد على تسلسلات منخفضة التباين التي تم تغييرها عشوائيًا على أنه "بحث شبكي متقطع وترتيب عشوائي"، لأنه موحد ولكن عشوائيًا، تستكشف مساحة بحث معينة وتنشر نقاط البحث أكثر من البحث العشوائي.
مزايا البحث شبه العشوائي في المربع الأسود الأكثر تعقيدًا أدوات التحسين (مثل التحسين بايز والخوارزميات التطورية) تشمل:
- أخذ عينات من مساحة البحث بشكل غير تكيفي يجعل من الممكن تغيير هدف الضبط في التحليل اللاحق بدون إعادة إجراء التجارب. على سبيل المثال، نريد عادةً العثور على أفضل تجربة من حيث التحقق من الصحة حدوث أي خطأ في أي مرحلة من مراحل التدريب. ومع ذلك، فإن الإصدار غير التكيفي تجعل طبيعة البحث شبه العشوائي من الممكن العثور على أفضل تجربة استنادًا إلى خطأ نهائي في التحقق من الصحة أو خطأ تدريب أو بعض البدائل التقييم بدون إعادة إجراء أي تجارب.
- يتصرف البحث شبه العشوائي بطرق متسقة وقابلة للتكرار إحصائيًا. الطريقة. يجب أن يكون من الممكن إعادة إنتاج دراسة منذ ستة أشهر حتى إذا تغير تنفيذ خوارزمية البحث، طالما أن على نفس خصائص التوحيد. في حالة استخدام لغة بايزي متطورة فإن التنفيذ قد يتغير في بين الإصدارات، مما يجعل من الصعب إعادة إنتاج بحث قديم. ليس من الممكن دائمًا العودة إلى طريقة تنفيذ قديمة (على سبيل المثال، إذا تشغيل أداة التحسين كخدمة).
- إنّ استكشافها الموحّد حول مساحة البحث يسهّل استنتاج حول النتائج وما قد يقترحونه حول مساحة البحث. على سبيل المثال، إذا كانت أفضل نقطة في اجتياز بحث البحث شبه العشوائي تقع على حدود مساحة البحث، فهذا موقع جيد (ولكنه ليس مضمونًا) الإشارة إلى ضرورة تغيير حدود مساحة البحث. ومع ذلك، يمكن استخدام خوارزمية تحسين الصندوق الأسود التكيُّفية قد تجاهلوا منتصف مساحة البحث لأنّ بعض الأشخاص التجارب المبكرة حتى لو تصادف أنها تحتوي على نقاط جيدة بنفس القدر، حيث هل خوارزمية التحسين الجيدة هي نوع من عدم الاتساق تحتاج إلى توظيفه لتسريع البحث.
- تشغيل عدد مختلف من المحاولات بالتوازي مقابل ذلك بالتتابع لا تُنتج نتائج مختلفة إحصائيًا عند استخدام الترتيب العشوائي شبه العشوائي (أو غيرها من خوارزميات البحث غير التكيفية)، على عكس الخوارزميات.
- قد لا تتعامل خوارزميات البحث الأكثر تعقيدًا دائمًا مع النقاط بشكل صحيح، لا سيما إذا لم تكن مصممة باستخدام شبكة عصبية ضبط المعلمة الفائقة في الاعتبار.
- يُعد البحث شبه العشوائي أمرًا بسيطًا ويعمل بشكل جيد خاصةً عند توليف العديد تعمل المحاولات بالتوازي. ومن الناحية القصصية1، من الصعب جدًا على الخوارزمية التكيُّفية التغلب على البحث شبه العشوائي الذي تبلغ قيمته ضعف ميزانيتها، خاصةً عندما يتم إجراء العديد من المحاولات ينبغي أن يتم تشغيلها بالتوازي (وبالتالي، هناك فرص قليلة جدًا لإجراء استخدام نتائج التجارب السابقة عند إطلاق تجارب جديدة). بدون خبرة في تحسين بايز وغيرها من المؤشرات السوداء المتقدمة طرق التحسين، فقد لا تحقق الفوائد التي تستفيد منها، قادر على تقديمها من حيث المبدأ. من الصعب قياس الأداء المتقدم خوارزميات تحسين الصندوق الأسود في أداة ضبط التعلُّم المعمّق الواقعي الظروف. إنها مجال نشط للغاية من الأبحاث الحالية، تأتي الخوارزميات الأكثر تعقيدًا مع صعوباتها المستخدمين عديمي الخبرة. يستطيع الخبراء في هذه الطرق الحصول على نتائج جيدة، ولكن في ظروف التوازي العالية، تميل مساحة البحث والميزانية إلى أكثر أهمية بكثير.
مع ذلك، إذا كانت مواردك الحاسوبية تسمح فقط بعدد قليل من محاولات أخرى في الوقت نفسه ويمكنك تحمُّل تكاليف إجراء العديد من المحاولات بالتسلسل، يصبح التحسين من خلال بايز أكثر جاذبية على الرغم من جعل ضبط النتائج التي يصعب تفسيرها.
أين يمكنني العثور على طريقة تنفيذ بحث شبه عشوائي؟
يمتلك Vzier المفتوح المصدر
تنفيذ الترتيب شبه العشوائي
البحث.
ضبط algorithm="QUASI_RANDOM_SEARCH" في استخدام Vizier هذا
مثال.
يتوفّر تنفيذ بديل في عمليات مسح المعلمة الفائقة هذه
مثال.
وتنشئ كل من هذين التطبيقين تسلسل هالتون لعملية بحث معينة
مخصصة لتنفيذ تسلسل هالتون المبدل والمشفَّر
موصى بها في
المعلَمات الفائقة الأهمية: بدون عشوائي أو لا
البكاء
إذا لم تكن خوارزمية البحث شبه العشوائية المستندة إلى تسلسل منخفض التباين يمكنك استبدال بحث موحد عشوائي زائف بدلاً من ذلك، على الرغم من أنّ هذا الإجراء قد يكون أقل فعالية بعض الشيء. ومن خلال بُعد واحد أو اثنين البحث في الشبكة أيضًا مقبول، على الرغم من أنه ليس في الأبعاد الأعلى. (راجع بيرغسترا "بنجيو"، 2012).
كم عدد المحاولات المطلوبة للحصول على نتائج جيدة من خلال البحث شبه العشوائي؟
لا توجد طريقة لتحديد عدد التجارب المطلوبة للحصول على النتائج ذات البحث شبه العشوائي بشكل عام، ولكن يمكنك إلقاء نظرة على أمثلة محددة. كما يبيِّن الشكل 3، يمكن لعدد التجارب في دراسة تأثير كبير في النتائج:
الشكل 3: تم ضبط ResNet-50 على ImageNet من خلال 100 تجربة. باستخدام التمهيد، تمت محاكاة مبالغ مختلفة لضبط الميزانية. يتم رسم المخططات الصندوقية لأفضل الأداء لكل ميزانية تجريبية.
لاحظ ما يلي حول الشكل 3:
- تكون النطاقات الربعية عندما تم أخذ عينات من 6 تجارب أكبر بكثير مقارنة بأخذ عينة من 20 محاولة.
- قد يكون الفرق بين الحظ وغير المحظوظ حتى مع مرور 20 محاولة من المرجح أن تكون الدراسات أكبر من الاختلاف النموذجي بين عمليات إعادة التدريب هذا النموذج على بذور عشوائية مختلفة، ذات مُدخلات فائقة ثابتة، والذي قد يكون بالنسبة إلى عبء العمل هذا حوالي +/- 0.1% على لمعدل أخطاء التحقق من الصحة 23٪ تقريبًا.
-
"بن ريكت" و"كيفن جاميسون" أشارت إلى مدى وبضعة ضعف الميزانية، يكون البحث العشوائي بمثابة أساس ( ورق النطاق التشعبي يقدم وسيطات متشابهة)، لكن من الممكن بالتأكيد العثور على المساحات والمشكلات حيث يؤدي تحسين بايز المتطور يحطم أساليب البحث العشوائي عمليات البحث العشوائية التي تتضاعف ميزانيتها. ومع ذلك، في تجربة التفوق على البحث العشوائي ذي الميزانية مرتين يصبح أكثر صعوبة في التوازي المرتفع لأن التحسين بايز ليس لديه فرصة ومراقبة نتائج التجارب السابقة.↩