Tasso di apprendimento e convergenza
Questo è il primo di una serie di esercizi Playground. Playground è un programma sviluppato appositamente per questo corso per insegnare i principi del machine learning. Ogni esercizio Playground in questo corso include un'istanza di Playground incorporata con preset.
Ogni esercizio Playground genera un set di dati. L'etichetta per questo set di dati ha due valori possibili. Questi due valori possibili potrebbero essere considerati come spam o non spam oppure come alberi sani e alberi malati. L'obiettivo della maggior parte degli esercizi è modificare vari iperparametri per creare un modello in grado di classificare (separa o distinguere) correttamente i valori di un'etichetta dall'altro. Tieni presente che la maggior parte dei set di dati contiene una certa quantità di rumore che renderà impossibile classificare correttamente ogni esempio.
Fai clic sull'icona Più per una spiegazione della visualizzazione del modello.
Ogni esercizio Playground mostra una visualizzazione dello stato attuale del modello. Ad esempio, ecco una visualizzazione:
Tieni presente quanto segue in merito alla visualizzazione del modello:
- Ogni asse rappresenta una funzionalità specifica. Nel caso di spam o non di spam, le funzionalità potrebbero essere il conteggio delle parole e il numero di destinatari dell'email.
- Ogni punto traccia i valori delle caratteristiche per un esempio dei dati, come un'email.
- Il colore del punto rappresenta la classe a cui appartiene l'esempio. Ad esempio, i punti blu possono rappresentare le email che non sono spam, mentre i punti arancioni possono rappresentare le email di spam.
- Il colore di sfondo rappresenta la previsione del modello di dove trovare gli esempi di quel colore. Uno sfondo blu intorno a un punto blu indica che il modello prevede correttamente l'esempio. Al contrario, uno sfondo arancione intorno a un punto blu indica che il modello non prevede in modo corretto questo esempio.
- I blu e le arancioni dello sfondo sono in scala. Ad esempio, il lato sinistro della visualizzazione è di colore blu fisso, ma si dissolve gradualmente in bianco al centro della visualizzazione. L'intensità del colore può essere considerata come un'indicazione dell'affidabilità del modello nella sua ipotesi. Se il colore blu è impostato su fissa, il modello è sicuro dell'ipotesi, mentre l'azzurro indica che l'affidabilità del modello è minore. (La visualizzazione del modello mostrata nella figura non esegue previsioni inadeguate).
Utilizza la visualizzazione per valutare i progressi del modello. ("Eccellente, la maggior parte dei punti blu ha uno sfondo blu" oppure "Oh no! I punti blu hanno uno sfondo arancione"). Oltre ai colori, Playground mostra numericamente la perdita attuale del modello. ("Oh, no! e la perdita aumenta anziché diminuire").
L'interfaccia per questo esercizio fornisce tre pulsanti:
| Icona | Nome | Descrizione |
|---|---|---|
|
Reimposta | Reimposta le Iterazioni su 0. Consente di reimpostare tutti i pesi che il modello aveva già appreso. |
|
Passaggio | Avanza di un'iterazione. A ogni iterazione, il modello cambia, a volte in modo sottile e a volte drastico. |
|
Rigenera | Genera un nuovo set di dati. Non reimposta le Iterazioni. |
Nel primo esercizio di Playground, sperimenterai il tasso di apprendimento svolgendo due attività.
Attività 1: osserva il menu Tasso di apprendimento in alto a destra in Playground. Il tasso di apprendimento (3) specificato è molto alto. Osserva come questo tasso di apprendimento elevato influisce sul tuo modello facendo clic sul pulsante "Passaggio" 10 o 20 volte. Dopo ogni iterazione iniziale, nota come la visualizzazione del modello cambia drasticamente. Potresti anche notare una certa instabilità dopo che il modello sembra aver convernato. Nota anche le linee che vanno da x1 e x2 alla visualizzazione del modello. Le ponderazioni di queste linee indicano le ponderazioni di quelle caratteristiche nel modello. In altre parole, una linea spessa indica una ponderazione elevata.
Attività 2:
- Premi il pulsante Reimposta.
- Riduci la frequenza di apprendimento.
- Premi il pulsante Passaggio diverse volte.
In che modo il tasso di apprendimento più basso ha influito sulla convergenza? Esamina sia il numero di passaggi necessari affinché il modello converge, sia la convergenza del modello in modo fluido e costante. Sperimenta con valori ancora più bassi del tasso di apprendimento. Riesci a trovare un tasso di apprendimento troppo lento per essere utile? Troverai una discussione sotto l'esercizio.