학습률 및 수렴
이 실습은 몇 가지 플레이그라운드 실습 중 첫 번째 실습입니다. 이 과정을 위해 특별히 개발된 플레이그라운드는 머신러닝의 원리를 알려주는 프로그램입니다. 이 과정의 각 플레이그라운드 실습에는 미리 설정된 플레이그라운드 인스턴스가 내장되어 있습니다.
각 플레이그라운드 연습에서는 데이터 세트가 생성됩니다. 이 데이터 세트의 라벨에는 2가지 값이 있을 수 있습니다 가능한 두 가지 값을 스팸 대 스팸 아님 또는 건강한 나무와 병든 나무로 생각할 수 있습니다. 대부분의 연습의 목표는 다양한 초매개변수를 조정하여 하나의 라벨 값을 다른 라벨 값을 성공적으로 분류 (분리 또는 구분)하는 모델을 빌드하는 것입니다. 참고로, 대부분의 데이터 세트에는 일정량의 노이즈가 포함되어 있어 모든 예를 제대로 분류하는 것은 불가능합니다.
모델 시각화에 대한 설명을 보려면 더하기 아이콘을 클릭하세요.
각 플레이그라운드 실습에는 현재 모델 상태의 시각화가 표시됩니다. 다음은 시각화의 예입니다.
모델 시각화와 관련하여 다음 사항에 유의하세요.
- 각 축은 특정 특성을 나타냅니다. 스팸과 스팸이 아닌 경우의 특성은 단어 수와 이메일 수신자 수일 수 있습니다.
- 각 점은 이메일과 같은 데이터 예의 특성값을 표시합니다.
- 점의 색상은 예가 속한 클래스를 나타냅니다. 예를 들어 파란색 점은 스팸이 아닌 이메일을 나타내고 주황색 점은 스팸 이메일을 나타냅니다.
- 배경 색상은 모델이 예측한 해당 색상 예의 위치를 나타냅니다. 파란색 점 주위의 파란색 배경은 모델이 해당 예를 올바르게 예측하고 있음을 의미합니다. 반대로 파란색 점 주위의 주황색 배경은 모델이 해당 예를 잘못 예측하고 있음을 의미합니다.
- 파란색과 주황색 배경은 배율이 조정됩니다. 예를 들어 시각화의 왼쪽이 파란색으로 계속 켜져 있지만 시각화 중앙에서 점진적으로 흰색으로 흐려집니다. 색상 강도는 모델의 추측 신뢰도를 나타내는 것으로 생각할 수 있습니다. 따라서 짙은 파란색은 모델이 매우 자신 있는 추측을 했다는 것을 의미하고, 하늘색은 모델의 신뢰도가 낮다는 것을 의미합니다. 그림에 표시된 모델 시각화는 예측에 적합하지 않습니다.
시각화를 사용하여 모델의 진행 상황을 판단하세요. ('아주 좋음 - 대부분의 파란색 점 배경이 파란색입니다.' 또는 '이런! 파란색 점의 배경은 주황색입니다.') 색상 외에 플레이그라운드도 모델의 현재 손실을 숫자로 표시합니다. ('죄송합니다. 손실은 감소하지 않고 증가합니다.')
이 실습의 인터페이스는 세 가지 버튼을 제공합니다.
| icon | 이름 | 기능 |
|---|---|---|
|
초기화 | 반복을 0으로 재설정합니다. 모델이 이미 학습한 가중치를 재설정합니다. |
|
단계 | 반복을 한 단계 진행합니다. 반복할 때마다 모델이 미묘하게, 때로는 극적으로 바뀝니다. |
|
재생성 | 새 데이터 세트를 생성합니다. 반복을 재설정하지 않습니다. |
이 첫 번째 플레이그라운드 실습에서는 두 가지 작업을 수행하여 학습률을 실험합니다.
작업 1: 플레이그라운드 오른쪽 상단의 학습률 메뉴를 확인합니다. 주어진 학습률 3은 매우 높습니다. '단계' 버튼을 10회 또는 20회 클릭하여 높은 학습률이 모델에 미치는 영향을 관찰합니다. 초기 반복을 진행할 때마다 모델 시각화가 얼마나 급격하게 변하는지 살펴보세요. 모델이 수렴한 것처럼 보인 후에도 불안정성이 나타날 수 있습니다. 또한 x1 및 x2에서 모델 시각화로 이어지는 선을 확인합니다. 이 선의 가중치는 모델에서 해당 특성의 가중치를 나타냅니다. 즉, 두꺼운 선은 높은 가중치를 나타냅니다.
작업 2: 다음을 수행하세요.
- 재설정 버튼을 누릅니다.
- 학습률을 낮춥니다.
- 단계 버튼을 여러 번 누릅니다.
학습률이 낮은 것이 수렴에 어떤 영향을 미쳤나요? 모델이 수렴하는 데 필요한 단계 수와 모델이 얼마나 부드럽고 안정적으로 수렴되는지를 살펴봅니다. 학습률을 더 낮은 값으로 실험해 보세요. 학습률이 너무 느리면 유용하지 않을 수 있나요? 실습 바로 아래에 토론이 있습니다.