Uma versão nova e aprimorada do curso intensivo de machine learning vai ser lançada em agosto de 2024. Não perca as novidades!
O foco deste módulo são os requisitos especiais dos modelos aprendidos em vetores de atributo que têm muitas dimensões.
Regularização de esparsidade
Vamos voltar ao cruzamento de atributos
- Ressalva: os cruzamentos de atributos esparsos podem aumentar significativamente o espaço de atributos
- Possíveis problemas:
- O tamanho do modelo (RAM) pode ficar enorme
- Coeficientes de "ruído" (causa overfitting)
L1 Regularização
- Gostaria de penalizar a norma L0 de pesos
- Otimização não convexa; NP-difícil
L1 Regularização
- Gostaria de penalizar a norma L0 de pesos
- Otimização não convexa; NP-difícil
- Relaxe com a regularização L1:
- Penalizar a soma de abs(weights)
- Problema convexo
- Encoraja a esparsidade ao contrário de L2