本单元着重介绍准随机搜索。
为何使用准随机搜索？
我们倾向于使用准随机搜索（基于低差异序列） 使用更精美的黑盒优化工具作为迭代更新的一部分时， 调优过程，以便最大限度地深入了解调优问题（ 我们称之为“探索阶段”）。贝叶斯优化和类似函数 工具更适合利用阶段。 基于随机偏移的低差异序列的准随机搜索可以 可以视为“抖动，随机打乱的网格搜索”，因为它一视同仁， 随机探索给定的搜索空间并分散搜索点 比随机搜索更重要。
准随机搜索优于更复杂的黑盒 优化工具（例如贝叶斯优化、进化算法） 包括：
- 以非自适应的方式对搜索空间进行采样使得 在事后分析中确定调优目标，而无需重新运行实验。 例如，我们通常希望找到验证方面的最佳试验 出现的任何错误。然而，非自适应 准随机搜索的性质使得 根据最终验证错误、训练错误或 评估指标，而无需重新运行任何实验。
- 准随机搜索的行为方式一致且可从统计上重现 。即便是无法重现六个月前的研究， 如果搜索算法的实现发生变化，只要 并保持相同的均匀性属性。如果使用复杂的贝叶斯方法， 优化软件，因此在重要的环境中，实施可能会改变 从而大大增加了重现旧搜索的难度。 并非总是能够回滚到旧实现（例如， 优化工具以服务的形式运行）。
- 这种游戏可以统一探索搜索空间，因此更易于推理 以及他们对搜索空间可能有何建议 例如，如果在“准随机搜索”遍历过程中， 位于搜索空间的边界，这是一个不错的选择（但并非万无一失） 指示应更改搜索空间边界。 然而，自适应黑盒优化算法 而忽略了搜索空间的中间部分， 即使测试包含相同效果的点，也要参与早期试验， 优秀的优化算法 加快搜索速度。
- 并行运行与顺序运行不同数量的试验 使用准随机值时，不会产生统计上不同的结果 搜索（或其他非自适应搜索算法），与自适应搜索算法不同， 算法。
- 更复杂的搜索算法有时可能无法处理 特别是在它们没有使用神经网络设计时， 超参数调节。
- 准随机搜索很简单，在进行大量调参时 多个实验同时运行。 有个趣闻1，自适应算法很难 预算是其预算的 2 倍的准随机搜索，尤其是在进行多次试验时 需要并行运行（因此几乎没有机会 在启动新试验时使用先前的试验结果）。 不具备贝叶斯优化和其他高级黑盒方面的专业知识 优化方法，那么您可能无法实现它们的优势， 它就能够提供很难对高级用户进行基准化分析 真实的深度学习调参中的黑盒优化算法 条件。它们是当前研究领域非常活跃的一个领域， 更复杂的算法都有自己的缺陷， 没有经验的用户。使用这些方法的专家能够取得很好的效果， 但在高并行性条件下，搜索空间和预算往往 变得越来越重要
也就是说，如果您的计算资源仅允许少量 可以并行运行多个试验，并且您可以按顺序运行多个试验。 不仅如此，贝叶斯优化的 调整结果的难度。
在哪里可以找到准随机搜索的实施方式？
Open-Source Vizier
“预随机”机制的
搜索。
在此 Vizier 用法中设置 algorithm="QUASI_RANDOM_SEARCH"
示例。
此超参数清除中存在替代实现
示例。
这两种实现都会针对特定搜索生成霍尔顿序列
（旨在实现一个移位、杂乱的哈尔顿序列，
推荐
关键超参数：非随机、否
哭泣。
如果基于低差异序列的准随机搜索算法 因此可以改用伪随机均匀搜索， 但这样效率可能稍低一些在一两个维度中 grid 搜索也可接受，但不适用于更高维度。（请参阅 伯格斯特拉和Bengio，2012 年）。
通过准随机搜索获得良好结果需要运行多少次试验？
我们无法确定需要进行多少次试验才能 使用准随机搜索生成常规搜索结果，但您可以查看 具体示例。如图 3 所示，一项研究的试验次数 会对结果产生重大影响：
图 3：通过 100 次试验在 ImageNet 上调优了 ResNet-50。 使用引导，模拟了不同的调整预算金额。 系统会绘制每个试验预算的最佳效果箱形图。
请注意图 3 的以下内容：
- 对 6 次试验进行采样时的四分位范围要大得多 与对 20 次试验进行采样时相比。
- 即使进行了 20 次测试，幸运与不幸的区别也在于 研究很可能大于再次训练之间的典型变化 不同随机种子上的该模型，具有固定的超参数， 对于此类工作负载， 验证错误率约为 23%。
-
Ben Recht 和 Kevin Jamieson 指出了 以 2 倍预算的随机搜索作为基准（ Hyperband 论文 都会使用类似的参数），但肯定可以找到搜索 通过先进的贝叶斯优化技术， 技术，可粉碎 2 倍预算的随机搜索。不过，在我们的 在 2021 年， 高度并行性机制，因为贝叶斯优化没有机会 并观察之前试验的结果。 ↩