과적합은 모델을 만드는 것을 의미합니다. 일치 (기억)하는 학습 세트를 모델이 새 데이터에 대해 정확한 예측을 하지 못한다는 것을 알 수 있습니다. 과적합 모델은 실험실에서 잘 작동하지만 현실 세계에서는 쓸모가 없습니다.
그림 11에서 각각의 기하학적 도형이 나무의 위치를 나타낸다고 가정해 보겠습니다. 정사각형 숲에서 파란색 마름모는 건강한 나무의 위치를 표시하며 주황색 원은 병든 나무의 위치를 표시합니다.
선, 곡선, 타원 등 무엇이든 정신적으로 그려서 병든 나무에서 건강한 나무를 뽑아내는 것입니다. 그런 다음 다음 줄을 펼쳐 두 가지 방법이 있습니다.
펼쳐서 가능한 한 가지 솔루션을 확인하세요 (그림 12).
그림 12에 표시된 복잡한 도형은 수 있습니다. 이 도형을 모델로 생각하면 아주 멋지고 있습니다.
정말 불가능할까요? 정말 뛰어난 모델은 새로운 예를 성공적으로 분류합니다. 그림 13은 동일한 모델이 새로운 테스트 세트의 예를 보여줍니다.
<ph type="x-smartling-placeholder">
따라서 그림 12의 복잡한 모델은 학습 세트에서 좋은 성능을 보였습니다. 테스트 세트에서 꽤 좋지 않은 결과를 얻었습니다. 이 사례는 데이터 레이크에서 과적합입니다.
접합, 과적합, 과소적합
모델은 새 데이터를 잘 예측해야 합니다. 즉, 모델에 '적합'하는 새로운 데이터를 얻을 수 있습니다.
보시다시피 과적합 모델은 학습 시 예측은 제대로 되지 않습니다. 과소적합 모델 학습 데이터에 대한 예측도 제대로 하지 않습니다. 과적합 모델이 실험실에서는 잘 작동하지만 실제 환경에서는 좋지 않은 제품을 과소적합 모델은 특정 예측에 잘 맞지 않는 제품과 같습니다. 살펴보겠습니다
일반화는 과적합의 반대 개념입니다. 즉, 일반화가 잘 되는 모델이 좋은 성능을 발휘합니다. 새로운 데이터에 대한 예측을 할 수 있습니다. 목표는 신경망을 일반화하는 모델을 만드는 것입니다. 새로운 데이터가 필요합니다
과적합 감지
다음 곡선은 과적합을 감지하는 데 도움이 됩니다.
- 손실 곡선
- 일반화 곡선
손실 곡선은 모델의 손실을 표시합니다. 비교할 수 있습니다. 둘 이상의 손실 곡선을 보여주는 그래프를 일반화라고 합니다. 곡선입니다. 다음 일반화 곡선은 다음과 같은 두 개의 손실 곡선을 보여줍니다.
두 손실 곡선은 처음에는 비슷하게 동작하다가 발산합니다. 즉, 일정 횟수의 반복 후에 손실이 감소하거나 학습 세트에 대해 일정하게 유지되지만 (수렴) 검증 세트에 사용할 수 있습니다. 이는 과적합을 의미합니다.
반면에 적합도가 높은 모델의 일반화 곡선은 두 개의 손실 곡선을 나타냄 여러 개의 신경망을 만들 수 있습니다.
과적합의 원인은 무엇인가요?
크게 보면 과적합은 다음 중 하나 또는 둘 다로 인해 발생합니다. 문제:
- 학습 세트가 실제 데이터 (또는 검증 세트 또는 테스트 세트로 구성됩니다.
- 모델이 너무 복잡합니다.
일반화 조건
모델은 학습 세트에서 학습하지만 모델의 가치를 실제로 테스트하는 것은 새로운 사례, 특히 실제 데이터에 대한 예측을 할 수 있습니다. 모델을 개발하는 동안 테스트 세트는 실제 데이터의 프록시 역할을 합니다. 일반화가 잘 되는 모델을 학습시킨다면 다음과 같은 데이터 세트 조건을 사용할 수 있습니다.
- 예시는 독립적이고 동일하게 분산된 간단히 말하자면 서로 영향을 미칠 수 없습니다.
- 데이터 세트는 정상: 데이터 세트는 시간이 지나도 크게 변하지 않습니다.
- 데이터 세트 파티션의 분포는 동일합니다. 즉, 학습 세트의 예시는 학습 세트의 예가 검증 세트, 테스트 세트, 실세계 데이터에 적용할 수 있습니다.
다음 연습을 통해 위의 조건을 살펴봅니다.
연습문제: 이해도 확인
챌린지 연습
탑승자가 최적의 가격으로 자전거를 구매할 수 있는 날짜를 예측하는 모델을 만들고 있습니다. 기차 표가 나와 있습니다. 예를 들어 모델은 사용자가 7월 8일에 7월 23일에 출발하는 열차의 티켓을 구입하는 경우 기차 회사는 다양한 기준으로 업데이트를 기반으로 매시간 가격을 업데이트합니다. 현재 사용 가능한 좌석 수에 따라 달라집니다. 이는 다음과 같은 의미입니다.
- 좌석이 많으면 일반적으로 티켓 가격이 낮습니다.
- 좌석 수가 너무 적으면 일반적으로 티켓 가격이 비쌉니다.
정답: 실제 모델은 데이터 포인트와 피드백 루프를 통해 도달할 수 있습니다.
예를 들어 모델이 사용자에게 7월 8일에 티켓을 구매하도록 권장한다고 가정해 보겠습니다. 모델의 추천을 적용하는 일부 탑승자는 8시 30분에 티켓을 구매합니다. 7월 8일 아침에 오전 9시에 기차 회사에서 요금을 인상하는 이유는 참석 가능한 좌석 수가 줄었습니다. 이 모델의 추천을 사용하는 탑승자는 변경할 수 없습니다. 저녁이 되면 티켓 가격이 다른 나라의 있습니다.