Examinar a regularização L2
Este exercício contém um conjunto de dados de treinamento pequeno e com ruído. Nesse tipo de cenário, o overfitting é uma preocupação real. Felizmente, a regularização pode ajudar.
Este exercício consiste em três tarefas relacionadas. Para simplificar as comparações nas três tarefas, execute cada tarefa em uma guia separada.
- Tarefa 1:execute o modelo conforme fornecido para pelo menos 500 períodos. Atenção:
- Testar perda.
- O delta entre a perda de teste e a perda de treinamento.
- Os pesos aprendidos dos atributos e dos cruzamentos de atributos. A espessura relativa de cada linha executada de FEATURES a OUTPUT representa o peso aprendido para esse atributo ou cruzamento de atributos. Para encontrar os valores de peso exatos, passe o cursor sobre cada linha.
- Tarefa 2:considere fazer esta tarefa em uma guia separada. Aumente a taxa de regularização de 0 para 0.3. Em seguida, execute o
modelo por pelo menos 500 períodos e encontre respostas para as seguintes perguntas:
- Como a perda de teste na Tarefa 2 difere da perda de teste na Tarefa 1?
- Como o delta entre a perda de teste e a de treinamento na Tarefa 2 difere da da Tarefa 1?
- Como os pesos aprendidos de cada atributo e cruzamento de atributos diferem da Tarefa 2 para a Tarefa 1?
- O que seus resultados dizem sobre a complexidade do modelo?
- Tarefa 3:faça testes com a taxa de regularização para encontrar o valor ideal.
(As respostas aparecem logo abaixo do exercício.)