理解を確認する: バッチサイズ
以下の選択肢をご覧ください。
大規模なデータセットで勾配降下法を実行する場合、次のバッチサイズのうち、効率が高い可能性が高いのはどのバッチサイズですか。
完全なバッチ。
完全なバッチから勾配を計算することは非効率的です。つまり、勾配は通常、はるかに大きい完全なバッチからはるかに効率的に（かつ正確に）計算できます。
小規模なバッチ、または 1 つのサンプル（SGD）のバッチ。
驚くことに、小さなバッチまたは 1 つのサンプルのバッチで勾配降下法を実行する方が、通常は完全なバッチよりも効率的です。結局のところ、1 つのサンプルの勾配を見つける方が、数百万個のサンプルの勾配を見つけるよりもはるかに安価です。良好な代表サンプルを確保するために、アルゴリズムは反復処理のたびに小さなバッチ（または 1 つのバッチ）をランダムにランダムに抽出します。