Set di dati, generalizzazione e overfitting

Durata stimata del modulo: 105 minuti

Obiettivi di apprendimento

• Identificare quattro diverse caratteristiche di dati e set di dati.
• Identifica almeno quattro diverse cause dell'inaffidabilità dei dati.
• Determina quando ignorare i dati mancanti e quando attribuirli.
• Distinguere tra etichette dirette e derivate.
• Identifica due modi diversi per migliorare la qualità delle valutazioni etichette.
• Spiegare perché suddividere un set di dati in set di addestramento, set di e test; a identificare un potenziale problema nelle suddivisioni dei dati.
• Spiegare l'overfitting e identificare tre possibili cause.
• Spiegare il concetto di regolarizzazione. In particolare, spiega seguenti:
  • Bias e varianza (adattamento ai valori anomali...)
  • Regolarizzazione L₂, inclusa Lambda (regolarizzazione conv.)
  • Interruzione anticipata
• Interpretare diversi tipi di curve di perdita; rilevare la convergenza l'overfitting nelle curve di perdita.

di Gemini Advanced.

Prerequisiti:

Questo modulo presuppone che tu abbia familiarità con i concetti trattati in seguenti moduli:

• Introduzione al machine learning
• Regressione lineare
• Lavorare con i dati numerici
• Lavorare con i dati categorici

Introduzione

Questo modulo inizia con una domanda principale. Scegli una delle seguenti risposte:

Se dovessi dare la priorità al miglioramento di una delle seguenti aree nel tuo progetto di machine learning, che avrebbe il massimo impatto?

Migliorare la qualità del set di dati

I dati prevalgono su tutti. La qualità e le dimensioni del set di dati sono molto più importanti all'algoritmo che usi per creare il tuo modello.

Applicazione di una funzione di perdita più intelligente all'addestramento del modello

Una migliore funzione di perdita può aiutare ad addestrare un modello più velocemente, è ancora un secondo lontano a un altro elemento di questo elenco.

Ed ecco una domanda ancora più insistente:

Indovina: nel tuo progetto di machine learning, quanto tempo in genere investi nella preparazione e nella trasformazione dei dati?

Più di metà delle ore di utilizzo del progetto

Sì, i professionisti di ML trascorrono la maggior parte del loro tempo la creazione di set di dati e il feature engineering.

Meno di metà delle ore di utilizzo del progetto

Preparati per qualcosa di più. Di solito, l'80% delle volte utilizza il machine learning alla creazione di set di dati e alla trasformazione dei dati.

In questo modulo scoprirai di più sulle caratteristiche del machine learning set di dati e come prepararli per garantire risultati di alta qualità per l'addestramento e la valutazione del modello.