在梯度下降法中，批次是用于在单次训练迭代中计算梯度的一组样本。到目前为止，我们假定该批次是整个数据集。在 Google 的规模下，数据集通常包含数十亿甚至数千亿个样本。此外，Google 数据集通常包含大量特征。因此，一个批次可能非常庞大。超大的批量也可能会导致单次迭代就可能需要很长时间才能完成计算。
具有随机抽样样本的大型数据集可能包含冗余数据。事实上，随着批次大小的增加，冗余的可能性会越来越高。一些冗余可能有助于消除嘈杂的梯度，但与大批量相比，大量的批量往往具有更高的预测价值。
如果我们可以通过更少的计算量得出正确的平均梯度，会怎么样？通过从数据集内随机选择样本，我们可以从小得多的样本中估算出大的平均值（尽管会有噪声）。 随机梯度下降法 (SGD) 将这种想法运用到极致，它每次迭代只使用一个样本（批次大小为 1）。如果有足够的迭代，SGD 可以正常工作，但噪声非常嘈杂。术语“随机”表示构成每个批次的一个样本是随机选择的。
小批量随机梯度下降法（小批量 SGD）是介于全批量迭代与 SGD 之间的折衷方案。小批次通常包含 10 到 1,000 个随机选择的样本。小批量 SGD 可以减少 SGD 中的噪声数，但仍然比全批量更高效。
为简化说明，我们重点关注单个特征的梯度下降法。请放心，梯度下降法也适用于包含多个特征的特征集。