단순성을 위한 정규화: 플레이그라운드 실습 (L2 정규화)

L2 정규화 검사

이 연습에는 노이즈가 많은 작은 학습 데이터 세트가 포함되어 있습니다. 이런 설정에서는 과적합이 문제가 됩니다. 다행히도 정규화가 도움이 될 수 있습니다.

이 연습은 세 가지 관련 작업으로 구성됩니다. 세 작업 간 비교를 간소화하려면 각 작업을 별도의 탭에서 실행합니다.

  • 작업 1: 주어진 모델을 최소 500에포크 동안 실행합니다. 다음 내용을 참고하세요.
    • 테스트 손실
    • 테스트 손실과 학습 손실 사이의 델타입니다.
    • 특성과 특성 교차에 대해 학습된 가중치입니다. 특성에서 출력까지 이어지는 각 선의 상대적 두께는 해당 특성 또는 특성 교차에 대해 학습된 가중치를 나타냅니다. 각 선 위로 마우스를 가져가면 정확한 가중치 값을 확인할 수 있습니다.)
  • 작업 2: (별도의 탭에서 이 작업을 수행하세요.) 정규화율을 0에서 0.3으로 높입니다. 그런 다음 최소 500에포크 동안 모델을 실행하고 다음 질문에 대한 답을 찾습니다.
    • 작업 2의 테스트 손실은 작업 1의 테스트 손실과 어떻게 다른가요?
    • 작업 2의 테스트 손실과 학습 손실 간의 델타 값은 작업 1과 어떻게 다른가요?
    • 각 특성과 특성 교차에 대해 학습된 가중치는 작업 2에서 작업 1과 어떻게 다른가요?
    • 결과는 모델 복잡도에 대해 무엇을 의미하나요?
  • 작업 3: 정규화율을 사용한 실험으로 최적값 구하기

(정답은 연습 바로 아래에 표시됩니다.)