손실 줄이기: 이해도 확인

이해도 확인: 배치 크기

아래 옵션을 살펴보세요.

다음 중 대규모 데이터 세트에서 경사하강법을 수행할 때 더 효율적인 배치 크기는 무엇인가요?
전체 배치
전체 배치의 경사 계산은 비효율적입니다. 즉, 경사는 일반적으로 훨씬 더 큰 전체 배치보다 작은 배치에서 훨씬 더 효율적으로 (정확하게) 계산할 수 있습니다.
소규모 배치 또는 예가 하나뿐인 배치 (SGD)
놀랍게도 소규모 배치 또는 예가 하나뿐인 배치에서 경사하강법을 수행하는 것이 일반적으로 전체 배치보다 효율적입니다. 결국 예시 한 개의 기울기를 찾는 것이 수백만 개의 예시의 기울기를 찾는 것보다 훨씬 저렴합니다. 좋은 대표 샘플을 보장하기 위해 알고리즘은 반복 시마다 다른 작은 배치 (또는 하나의 배치)를 무작위로 뽑아냅니다.