減少損失:檢查您的瞭解情況

確認您的瞭解:批量

請參考下列選項。

對大型資料集執行梯度下降法時,下列哪個批次大小可能更有效率?
整批。
計算整個批次的梯度效率不佳。也就是說,比起規模較大的完整批次,梯度通常可以更有效率地 (且如準確) 計算。
小批或一批範例 (SGD)。
如果即使只對小批次或一批範例執行梯度下降,通常也會比完整批次更有效率。畢竟,找出其中一個範例的梯度,比找出數百萬個樣本的梯度更低。為確保具有良好的代表性樣本,演算法會在每次疊代時,隨機挑選一個小批次 (或一批)。