이전 모듈에서는 손실의 개념을 소개했습니다. 이 모듈에서는 머신러닝 모델이 반복적으로 손실을 줄이는 방법을 알아봅니다
반복 학습은 골무와 같이 숨겨진 물건을 찾는 어린이 게임인 '핫 앤 콜드'를 떠올릴 수 있습니다. 이 게임에서 '숨겨진 물건'이 최적의 모델입니다. 처음에는 추측( \(w_1\) 의 값이 0)으로 시작하고 시스템에서 손실이 얼마인지 알려줄 때까지 기다립니다. 그런 다음 다른 추측 (" \(w_1\) 의 값은 0.5임")을 시도하여 손실이 얼마인지 확인합니다. 아, 온도가 점점 높아지고 있습니다. 사실, 이 게임을 제대로 플레이하면 시간이 점점 더워질 거예요. 게임의 진정한 요령은 최상의 모델을 가능한 한 효율적으로 찾는 것입니다.
다음 그림은 머신러닝 알고리즘이 모델을 학습시키는 데 사용하는 반복적인 시행착오 프로세스를 보여줍니다.
그림 1. 반복적인 모델 학습 방법을 사용합니다.
머신러닝 단기집중과정 전반에서 이와 동일한 반복적 접근 방식을 사용하여 다양한 복합적 상황, 특히 '모델 (예측 함수)'이라는 라벨이 붙은 폭풍 구름 안의 복잡한 문제를 자세히 설명합니다. 반복 전략은 머신러닝에서 널리 사용되고 있으며, 그 주된 이유는 대규모 데이터 세트에도 잘 맞게 확장되기 때문입니다.
'모델'은 하나 이상의 특성을 입력으로 사용하고 하나의 예측을 출력으로 반환합니다. 단순화하기 위해 하나의 특성 (\(x_1\))을 취하고 하나의 예측 (\(y'\))을 반환하는 모델을 살펴보겠습니다.
\(b\)및 \(w_1\)에 어떤 초깃값을 설정해야 할까요? 선형 회귀 문제에서는 시작 값이 중요하지 않습니다. 임의의 값을 선택할 수도 있지만 대신 다음과 같은 사소한 값을 대신 사용하겠습니다.
- \(b\) = 0
- \(w_1\) = 0
첫 번째 특성 값이 10이라고 가정해 보겠습니다. 이 특성 값을 예측 함수에 입력하면 다음과 같은 결과가 나옵니다.
다이어그램의 '손실 계산' 부분은 모델이 사용할 손실 함수입니다. 제곱 손실 함수를 사용한다고 가정해 보겠습니다. 손실 함수는 두 개의 입력 값을 취합니다.
- \(y'\): 특성 x에 대한 모델의 예측
- \(y\): 특성 x에 해당하는 올바른 라벨입니다.
마침내 다이어그램의 '매개변수 업데이트 계산' 부분에 도달했습니다. 머신러닝 시스템이 손실 함수의 값을 검토하고 \(b\) 및 \(w_1\)의 새 값을 생성하는 단계입니다. 지금은 이 미스터리한 상자에서 새로운 값을 생각해 낸 다음 머신러닝 시스템이 모든 라벨에 대해 이러한 모든 특성을 재평가하여 손실 함수의 새 값을 생성하고, 이 값이 새로운 매개변수 값을 생성한다고 가정해 보겠습니다. 그런 다음 알고리즘이 손실이 가장 적은 모델 매개변수를 발견할 때까지 학습을 반복합니다. 일반적으로 전체 손실의 변화가 멈추거나 적어도 매우 느리게 변경될 때까지 반복합니다. 이때 모델이 수렴했다고 말합니다.