단순성을 위한 정규화: 플레이그라운드 실습 (과잉 교차?)

예상 시간: 5분

초과 교차인가요?

동영상을 보거나 문서를 읽기 전에 특성 교차의 남용을 살펴보는 이 연습을 완료하세요.

작업 1: 주어진 모든 교차곱 특성을 사용하여 모델을 그대로 실행합니다. 모델이 데이터에 적합한 방식에 놀랄 만한 요소가 있나요? 어떤 문제가 있나요?

작업 2: 다양한 크로스 프로덕트 특성을 제거하여 (미미할지라도) 성능을 개선해 보세요. 특성을 제거하면 성능이 개선되는 이유는 무엇일까요?

(정답은 연습 바로 아래에 표시됩니다.)

---

---

작업 1의 답을 보려면 더하기 아이콘을 클릭하세요.

놀랍게도 모델의 결정 경계가 이상하게 보입니다. 특히 왼쪽 상단에 파란색 쪽으로 치우쳐 있는 영역이 있습니다. 하지만 데이터에 이 부분이 시각적으로 확실하게 지원되지는 않습니다.

입력(INPUT)에서 출력(OUTPUT)으로 이어진 5개 선의 상대적 두께에 주목하세요. 이 선은 5개 특성의 상대적 가중치를 보여주고 있습니다. X₁과 X₂에서 뻗어 나온 선은 특성 교차에서 나온 선보다 훨씬 더 두껍습니다. 따라서 특성 교차는 일반 (비교차) 특성보다 모델에 훨씬 더 적게 기여합니다.

작업 2의 답을 보려면 더하기 아이콘을 클릭하세요.

모든 특성 교차를 제거하면 보다 합리적인 모델이 만들어지고 (과적합을 암시하는 곡선 경계가 더 이상 없음) 테스트 손실이 수렴됩니다.

1,000번의 반복 후에 테스트 손실은 특성 교차가 포함되었을 때보다 약간 더 낮은 값이어야 합니다 (데이터 세트에 따라 결과가 약간 다를 수 있음).

이 실습에서 제공하는 데이터는 기본적으로 선형 데이터이며 노이즈가 포함되어 있습니다. 너무 복잡한 모델(예: 교차가 너무 많은 모델)을 사용할 경우 학습 데이터의 노이즈에 적응할 수 있는 기회를 얻게 되는데, 이로 인해 테스트 데이터에서 모델의 성능이 저하되는 경우가 많습니다.