모델을 학습시키려면 모델의 손실을 줄일 수 있는 좋은 방법이 필요합니다. 반복적 접근 방식은 손실을 줄이는 데 널리 사용되는 방법 중 하나로, 언덕을 걸을만큼 쉽고 효율적입니다.
손실 줄이기
어떻게 손실을 줄일 수 있을까요?
- 초매개변수는 모델의 학습 방식을 조정하는 데 사용되는 구성 설정입니다.
- 가중치와 편향에 대한 도함수 (y - y')2를 통해 주어진 예의 손실 변화를 알 수 있습니다.
- 계산하기 쉽고 볼록함
- 손실을 최소화하는 방향으로 작은 조치를 반복적으로 취합니다.
- 이를 경사 보폭이라고 합니다 (하지만 실제로는 음의 경사 보폭임).
- 이 전략을 경사하강법이라고 합니다.
경사하강법의 블록 다이어그램
- 경사하강법 연습 사용해 보기
- 연습을 마친 후 계속하려면 재생 ▶을 누릅니다.
가중치 초기화
- 볼록 문제에서는 가중치가 임의의 값일 수 있습니다 (예: 모두 0).
- 볼록: 그릇 모양을 생각해 보세요.
- 최소 1개
가중치 초기화
- 볼록 문제에서는 가중치가 임의의 값일 수 있습니다 (예: 모두 0).
- 볼록: 그릇 모양을 생각해 보세요.
- 최소 1개
- 예고: 신경망에는 해당되지 않음
- 볼록하지 않음: 달걀 상자를 생각하면 됩니다.
- 최솟값이 2개 이상임
- 초깃값에 대한 의존도가 높음
SGD 및 미니 배치 경사하강법
- 각 단계에서 전체 데이터 세트에 대해 경사를 계산할 수 있지만, 이는 불필요합니다.
- 작은 데이터 샘플에서 경사 계산이 잘 됨
- 모든 단계에서 새로운 무작위 샘플을 가져옵니다.
- 확률적 경사하강법: 한 번에 하나의 예
- 미니 배치 경사하강법: 10~1000개의 배치
- 손실 및 경사는 배치 전반에 걸쳐 평균 처리됩니다.