このドキュメントは、ディープ ラーニング モデルをより効果的にトレーニングするのに役立ちます。 このドキュメントでは、ハイパーパラメータ調整について説明しますが、トレーニング パイプラインの実装や最適化など、ディープ ラーニングのその他の側面についても説明します。
このドキュメントは、機械学習タスクが教師あり学習または同様の問題（自己教師あり学習など）であることを前提としています。このドキュメントのアドバイスの一部は、他の種類の機械学習の問題にも適用される場合があります。
対象者
このドキュメントは、少なくとも機械学習とディープ ラーニングの基礎知識を持つエンジニアと研究者を対象としています。そのバックグラウンドがない場合は、機械学習集中講座の受講を検討してください。
このドキュメントを作成した理由
現在、ディープ ニューラル ネットワークをうまく機能させるためには、驚異的な量の労力と推測作業が伴います。さらに悪いことに、ディープ ラーニングで良い結果を得るために使用される実際のレシピが文書化されることはほとんどありません。よりクリーンなストーリーを提示するために、論文は最終的な結果につながるプロセスを取り上げています。機械学習の問題に取り組む機械学習エンジニアは、一歩戻ってプロセスを一般化する時間がありません。教科書は、実践したアドバイスを怠り、基本原則に優先順位を付ける傾向があります。著者が有益なアドバイスを提供するために応用作業で必要な経験があるとしてもです。
このドキュメントの作成準備では、ディープ ラーニングを使用して適切な結果を得る方法を詳しく説明する試みは見つかりませんでした。代わりに、ブログ投稿やソーシャル メディアで、研究論文の付録をのぞき込んだトリックや、特定のプロジェクトやパイプラインに関するケーススタディをたびたび取り上げるとともに、多くの混乱を招いています。ディープ ラーニングの専門家と、表面的によく似た方法を使用する実務担当者のスキルとの間には、大きな隔たりがあります。しかし、専門家の中には、彼らのやり方の中には、正当化できないものもあります。ディープ ラーニングが成熟し、世界に与える影響が拡大するにつれ、優れた結果を得るために非常に重要なことになり得る、実用的の詳細を含め、コミュニティは有用なレシピに関するより多くのリソースを必要としています。
Google には 5 人の研究者とエンジニアのチームがおり、そのなかには早くも 2006 年からディープ ラーニングに携わっている人もいます。Google は、音声認識から天文学まで、あらゆる分野にディープ ラーニングを適用してきました。このドキュメントは、ニューラル ネットワークのトレーニング、新しい機械学習エンジニアの教育、ディープ ラーニングの実践に関する同僚へのアドバイスなどから得られました。
少量の学術ラボで実践されている機械学習のアプローチから、何十億人ものユーザーに利用されているテクノロジーを実現するディープ ラーニングへ進むことができるのは、とても喜ばしいことです。しかし、ディープ ラーニングはまだエンジニアリングの分野として始まったばかりであるため、このドキュメントで他の人々が実験的プロトコルを体系化できるようにサポートしていただければと思います。
このドキュメントは、ディープ ラーニングに対する Google の独自のアプローチを具体化しようと試みたものです。つまり、客観的な事実ではなく、執筆時点での Google の見解を表しています。Google では、ハイパーパラメータの調整に苦慮しており、このガイダンスは特に重視してきましたが、Google の業務で遭遇したその他の重要な問題（または不適切と判断された問題）についても取り上げています。私たちの仕事は、この信念が変化して成長し続ける日々のドキュメントになることです。たとえば、トレーニングの失敗のデバッグと軽減に関する資料は、最近の結果と継続的な調査に基づいているため、2 年前には書けなかったでしょう。
新しい結果やワークフローの改善に対応するため、いくつかのアドバイスの更新が必要になります。最適なディープ ラーニングのレシピはわかりませんが、コミュニティがさまざまな手順について記述と議論を開始するまで、そうしたレシピを見つけられるとは思っていません。そのため、Google のアドバイスに関して問題を発見した読者には、ハンドブックを更新できるよう、説得力のある証拠とともに代替の推奨事項を提示することをおすすめします。また、コミュニティとしてのベスト プラクティスに向けて取り組むため、さまざまな推奨事項が存在する可能性のある代替ガイドやハンドブックもご用意しております。
あのロボットの絵文字について
ロボット 🤖? の絵文字は、詳しく調べたい部分を示します。 このハンドブックを書き込もうとしたときに、ディープ ラーニングの実務担当者のワークフローにおいて、興味深い質問や軽視された研究上の質問がいくつあるのかが明確になりました。