L1 정규화
아래 옵션을 살펴보세요.
100개의 입력 특성이 있는 선형 모델을 떠올려 보세요.
10은 매우 유익합니다.
90개는 사용자에게 도움이 되지 않습니다.
모든 특성의 값이 -1과 1 사이라고 가정합니다.
다음 중 올바른 설명은 무엇인가요?
L1 정규화는 많은 유용하지 않은 가중치가 (정확히는 아니지만) 0.0에 가까워지도록 유도합니다.
일반적으로 충분한 람다에 대한 L1 정규화는 유용하지 않은 특성이 정확히 가중치 0.0이 되도록 유도하는 경향이 있습니다.
L2 정규화와 달리 L1 정규화는 가중치가 0.0에서 얼마나 떨어져 있든 0.0으로 세게 '푸시'합니다.
L1 정규화는 대부분의 유용하지 않은 가중치가 정확히 0.0이 되도록 유도합니다.
충분한 람다에 대한 L1 정규화는 유용하지 않은 가중치가 정확히 0.0이 되도록 유도하는 경향이 있습니다. 이렇게 하면 유용하지 않은 특성이 모델에서 종료됩니다.
L1 정규화는 유용한 특성이 정확히 0.0의 가중치를 얻게 할 수 있습니다.
L1 정규화로 인해 다음 종류의 특성에 정확히 0의 가중치가 부여될 수 있으므로 주의하세요.
약하게 유용한 기능
다양한 규모에서 매우 유용한 특성
비슷하게 유용한 다른 특성과 밀접한 상관관계가 있는 유용한 특성
L1 정규화와 L2 정규화 비교
아래 옵션을 살펴보세요.
모두 -1과 1 사이의 값을 갖는 100개의 입력 특성이 있는 선형 모델을 떠올려 보세요.
10은 매우 유익합니다.
90개는 사용자에게 도움이 되지 않습니다.
어떤 유형의 정규화가 더 작은 모델을 생성할까요?
L2 정규화
L2 정규화는 특성 개수를 줄이는 일이 거의 없습니다.
다시 말해 L2 정규화는 모델 크기를 줄이는 일이 거의 없습니다.
L1 정규화
L1 정규화는 특성 수를 줄이는 경향이 있습니다. 즉, L1 정규화는 종종 모델 크기를 줄입니다.