Regressão linear: exercício de gradiente descendente

Neste exercício, você vai revisitar o gráfico de dados de eficiência de combustível do exercício de parâmetros. Mas, desta vez, você vai usar a gradiente descendente para aprender os valores de peso e viés ideais para um modelo linear que minimize a perda.

Conclua as três tarefas abaixo do gráfico.

Essa visualização interativa pode produzir visuais piscantes quando definida com uma taxa de aprendizado alta, o que pode afetar pessoas fotossensíveis.

Tarefa 1:ajuste o controle deslizante Taxa de aprendizado abaixo do gráfico para definir uma taxa de aprendizado de 0,03. Clique no botão Start para executar a descida do gradiente.

Quanto tempo o treinamento do modelo leva para convergir (atingir um valor mínimo estável de perda)? Qual é o valor da MSE na convergência do modelo? Quais valores de peso e viés produzem esse valor?

Clique no ícone de adição para conferir nossa solução.

Quando definimos uma taxa de aprendizado de 0,03, o modelo convergiu após aproximadamente 30 segundos, alcançando um MSE de pouco menos de 3 com valores de peso e viés de –2,08 e 23,098, respectivamente. Isso indica que escolhemos um bom valor de taxa de aprendizado.

Observação:os pontos de dados no gráfico variam um pouco sempre que você carrega a página. Portanto, suas soluções podem ser um pouco diferentes das nossas.

Tarefa 2:clique no botão Redefinir abaixo do gráfico para redefinir os valores de peso e viés no gráfico. Ajuste o controle deslizante Taxa de aprendizado para um valor de 1,10e^–5. Clique no botão Start para executar a descida do gradiente.

O que você notou sobre o tempo que o treinamento do modelo leva para convergir dessa vez?

Clique no ícone de adição para conferir a solução.

Após vários minutos, o treinamento de modelo ainda não convergiu. Pequenas atualizações nos valores de peso e viés continuam resultando em valores de perda ligeiramente menores. Isso sugere que escolher uma taxa de aprendizado mais alta permitiria que a descida côncava encontrasse os valores de peso e viés ideais mais rapidamente.

Tarefa 3:clique no botão Redefinir abaixo do gráfico para redefinir os valores de peso e viés. Ajuste o controle deslizante Taxa de aprendizado para 1. Clique no botão Start para executar a descida do gradiente.

O que acontece com os valores de perda conforme o gradiente descendente? Quanto tempo o treinamento do modelo vai levar para convergir dessa vez?

Clique no ícone de adição para conferir a solução.

Os valores de perda flutuam drasticamente em valores altos (EQM acima de 300). Isso indica que a taxa de aprendizado é muito alta e que o treinamento do modelo nunca vai alcançar a convergência.