L1 정규화 검사
이 실습에는 노이즈가 약간 포함된 작은 학습 데이터 세트가 포함되어 있습니다. 이런 설정에서는 과적합이 문제가 됩니다. 정규화가 도움이 될 수 있는데, 어떤 형태의 정규화가 도움이 될까요?
이 연습은 다섯 가지 관련 작업으로 구성됩니다. 5개 작업 간 비교를 간소화하려면 각 작업을 별도의 탭에서 실행합니다. 특성과 출력을 연결하는 선의 두께는 각 특성의 상대적 가중치를 나타냅니다.
작업 | 정규화 유형 | 정규화율 (람다) |
---|---|---|
1 | L2 | 0.1 |
2 | L2 | 0.3 |
3 | L1 | 0.1 |
4 | L1 | 0.3 |
5 | L1 | 실험 |
질문:
- L2에서 L1으로 정규화를 전환하면 테스트 손실과 학습 손실 사이의 델타에 어떤 영향을 주나요?
- L2에서 L1으로 정규화를 전환하면 학습된 가중치에 어떤 영향을 주나요?
- L1 정규화율 (람다)을 높이면 학습된 가중치에 어떤 영향을 주나요?
(정답은 연습 바로 아래에 표시됩니다.)