Bu birim, yarı rastgele aramaya odaklanmaktadır.
Yarı rastgele aramayı neden kullanmalısınız?
Yarı rastgele arama (düşük tutarsızlık dizilerine dayalı) tercihimizdir daha ayrıntılı bir kara kutu optimizasyon araçlarına kıyasla ince ayar sorunuyla ilgili daha net bilgi vermesi amaçlanan ince ayar süreci buna "keşif aşaması" diyoruz. Bayes optimizasyonu ve benzer bu araçlar istismar aşaması için daha uygun. Rastgele kaydırılan düşük tutarsızlık dizilerine dayalı yarı rastgele arama eşit olduğu için "titreşimli, karıştırılmış ızgara araması" olarak düşünülebilir, ancak belirli bir arama alanını keşfeder ve arama noktalarını rastgele aramadan çok daha fazlasıdır.
Yarı rastgele aramanın daha gelişmiş kara kutu üzerinde avantajları optimizasyon araçları (ör. Bayes optimizasyonu, evrimsel algoritmalar) şunlardır:
- Arama alanını uyarlanabilir olmayan bir şekilde örneklemek, deneyleri yeniden çalıştırmadan post hoc analizde ayarlama hedefini Örneğin, çoğu zaman doğrulama açısından en iyi deneyi hataya neden olabilir. Ancak uyarlanabilir olmayan yarı rastgele aramanın doğası, en iyi deneme sürümünü bulmayı mümkün kılar nihai doğrulama hatasına, eğitim hatasına veya hiçbir denemeyi yeniden çalıştırmadan değerlendirme metriği
- Kısmen rastgele arama, tutarlı ve istatistiksel olarak tekrarlanabilir bir şekilde çalışır sağlar. Altı ay öncesine ait bir araştırmayı bile yeniden değişiklik yapıldığı sürece arama algoritmasının uygulanması aynı tekdüzenlik özelliklerini korur. Gelişmiş Bayesian kullanıyorsanız bir optimizasyon yazılımı kullanıyorsanız, uygulama önemli bir Bu da eski aramaları yeniden oluşturmayı çok daha zorlaştırır. Eski bir uygulamaya geri dönmek her zaman mümkün değildir (ör. optimizasyon aracının bir hizmet olarak çalıştırılması) gerekir.
- Arama alanını tek tip olarak keşfetmesi, akıl yürütmeyi kolaylaştırır hakkında daha fazla bilgi edineceksiniz. Örneğin, yarı rastgele aramanın geçişindeki en iyi nokta arama alanının sınırındaysa, bu iyi (ama dört dörtlük değil) alan sınırlarının değiştirilmesi gerektiğini belirten bir işarettir. Ancak uyarlanabilir kara kutu optimizasyon algoritması, bazı şanssız unsurlar nedeniyle arama alanının ortasını ihmal etmiş ilk denemelerde, eşit derecede iyi puanlara sahip olsa bile iyi bir optimizasyon algoritmasının, model üzerinde tekniklerin kullanılması gerekir.
- Birbirine paralel olarak ve sıralı olarak farklı sayıda deneme çalıştırmak, yarı rastgele kullanıldığında istatistiksel olarak farklı sonuçlar üretmez (ya da uyarlanabilir olmayan diğer arama algoritmaları), kullanır.
- Daha gelişmiş arama algoritmaları her zaman uygulanabilir nitelikte olmayabilir. (özellikle de nöral ağ ile tasarlanmamışsa noktaları doğru şekilde) gereken en iyi sonucu verir.
- Yarı rastgele arama basittir ve özellikle birçok ayar yaptığınızda denemeler buna paralel olarak yürütülür. Anekdot olarak1, uyarlanabilir bir algoritmanın özellikle de birçok deneme yapıldığında, bütçesinin 2 katı olan yarı rastgele arama birlikte çalıştırılması gerekir (ve bu nedenle, birlikte yürütülmesi gereken önceki deneme sonuçlarının kullanılması) için geçerlidir. Bayes optimizasyonu ve diğer gelişmiş kara kutu alanında uzmanlığa sahip değildir sağladığı faydaları elde edemeyebilirsiniz; kapasitesine sahip olur. Gelişmiş metrikleri karşılaştırmak zordur Gerçekçi derin öğrenme ayarlarında kara kutu optimizasyon algoritmaları koşullar. Bu konular güncel araştırmaların çok etkin bir alanıdır ve daha gelişmiş algoritmaların uygulanması gereken deneyimsiz kullanıcılara ulaşabilirsiniz. Bu yöntemlerdeki uzmanlar iyi sonuçlar elde ediyor, Ancak yüksek paralellik koşullarında arama alanı ve bütçe, daha da önem arz eder.
Bununla birlikte bilişim kaynaklarınız az sayıda paralel olarak yapılabilir ve art arda birçok deney yapabilirsiniz. Bayes optimizasyonu, ayarlamalar daha zor hale getirebilirsiniz.
Yarı rastgele arama uygulamasını nerede bulabilirim?
Açık Kaynak Vizier
yarı rastgele bir uygulama
arama.
Bu Vizier kullanımında algorithm="QUASI_RANDOM_SEARCH" değerini ayarlayın
bakın.
Bu hiperparametre taramalarında alternatif bir uygulama mevcuttur
örnek bölümüne bakın.
Bu uygulamaların her ikisi de belirli bir arama için bir Halton dizisi oluşturur
(kaymış, karışık bir Halton dizisi)
önerildiği yer:
Kritik Hiper Parametreler: Rastgele Yok, Hayır
Ağlama.
Düşük tutarsızlık dizisine dayalı yarı rastgele bir arama algoritması yerine sözde rastgele tek tip arama kullanılabilir, ancak bu büyük olasılıkla daha az verimli olacaktır. 1-2 boyutta, Tablo araması da kabul edilebilir ancak daha yüksek boyutlarda değildir. (Bkz. Bergstra ve Bengio, 2012).
Yarı rastgele arama ile iyi sonuçlar almak için kaç deneme gerekir?
Denemeye başlamak için kaç deneme yapılması gerektiğini genel olarak rastgele arama sonuçlarına sahip olsa da, bazı örnekler vereceğiz. Şekil 3'te gösterildiği gibi, bir çalışmadaki deneme sayısı sonuçlar üzerinde önemli bir etkisi vardır:
Şekil 3: ResNet-50, 100 denemeyle ImageNet'te ayarlanmıştır. Önyükleme yöntemi kullanılarak farklı miktarlarda bütçe ayarlama işlemi simüle edildi. Her deneme bütçesi için en iyi performansların kutu grafikleri çizilir.
Şekil 3 hakkında aşağıdakine dikkat edin:
- 6 denemenin örneklendiği çeyrek aralıkları çok daha büyük 20 denemenin örneklendiği zamana kıyasla %65 daha yüksek.
- 20 denemede bile şanslı ile talihsiz arasındaki fark çalışmaların, yeniden eğitme işlemleri arasındaki tipik farklılıktan daha büyük olduğunu bu modelin sabit hiperparametrelere sahip farklı rastgele çekirdeklerde bu iş yükü için bir dönüşüm hacmine göre +/- %0,1 yaklaşık %23'tür.
-
Ben Recht ve Kevin Jamieson ne kadar güçlü olduğunu belirtti iki kat daha fazla potansiyele sahip rastgele arama temel çizgisini oluşturur ( Hiper bant kağıdı ancak benzer argümanlar sunar), ancak arama sorgularını bulmak Bayes optimizasyonun gelişmiş olduğu boşluklar ve problemler teknikler, bütçenin 2 katı olan rastgele aramaları ezip geçer. Ancak, 2 kat daha uygun maliyetli rasgele aramayı aşmak çok zorlaşıyor. Bayes optimizasyonun bu yeni sisteme geçiş yapma fırsatı olmadığı için, önceki deneylerin sonuçlarını gözlemleyin.↩