이 연습에서는 매개변수 연습의 연비 데이터 그래프를 다시 살펴봅니다. 하지만 이번에는 경사하강법을 사용하여 손실을 최소화하는 선형 모델의 최적 가중치 및 편향 값을 학습합니다.
그래프 아래에 있는 세 가지 작업을 완료합니다.
작업 1: 그래프 아래의 학습률 슬라이더를 조정하여 학습률을 0.03으로 설정합니다. 시작 버튼을 클릭하여 경사 하강을 실행합니다.
모델 학습이 수렴 (안정적인 최소 손실 값에 도달)하는 데 걸리는 시간은 얼마나 되나요? 모델 수렴 시 MSE 값은 얼마인가요? 어떤 가중치와 편향 값이 이 값을 생성하나요?
더하기 아이콘을 클릭하여 솔루션을 확인합니다.
학습률을 0.03으로 설정하면 약 30초 후에 모델이 수렴하여 가중치 및 편향 값이 각각 –2.08 및 23.098이고 MSE가 3 미만입니다. 이는 적절한 학습률 값을 선택했음을 나타냅니다.
작업 2: 그래프 아래의 재설정 버튼을 클릭하여 그래프의 가중치 및 편향 값을 재설정합니다. 학습률 슬라이더를 1.10e–5 정도의 값으로 조정합니다. Start(시작) 버튼을 클릭하여 경사하강법을 실행합니다.
이번에는 모델 학습이 수렴하는 데 걸리는 시간이 어떻게 다른가요?
더하기 아이콘을 클릭하여 솔루션을 확인하세요.
몇 분 후에도 모델 학습이 수렴하지 않았습니다. 가중치 및 편향 값을 조금씩 업데이트하면 손실 값이 계속해서 약간 낮아집니다. 이는 높은 학습률을 선택할수록 경사하강법으로 최적의 가중치와 편향 값을 더 빨리 찾을 수 있음을 의미합니다.
작업 3: 그래프 아래의 재설정 버튼을 클릭하여 그래프의 가중치 및 편향 값을 재설정합니다. 학습률 슬라이더를 최대 1로 조정합니다. 시작 버튼을 클릭하여 경사 하강을 실행합니다.
경사 하강이 실행되면 손실 값은 어떻게 되나요? 이번에는 모델 학습이 수렴하는 데 얼마나 걸리나요?
더하기 아이콘을 클릭하여 솔루션을 확인합니다.
손실 값이 높은 값 (MSE 300 초과)에서 크게 변동합니다. 이는 학습률이 너무 높아 모델 학습이 수렴하지 않음을 나타냅니다.