Ecco un breve riepilogo di ciò che hai imparato nel corso:
- Un albero decisionale è un modello
composta da una raccolta
condizioni organizzate
in modo gerarchico a forma di albero. Le condizioni possono essere
categorie:
- Un allineamento asse comporta una sola caratteristica. Un oggetto obliquo comporta più funzionalità.
- Un file binario ha due possibili i risultati. Un file non binario ha più di due risultati possibili.
- L'addestramento di un albero decisionale implica la ricerca della condizione migliore in ogni nodo. La routine splitter utilizza metriche quali informazioni guadagno o Gini per determinare la migliore .
- Una foresta decisionale è una modalità composta da più alberi decisionali. La previsione di una foresta decisionale è l'aggregazione delle previsioni dei suoi alberi decisionali.
- Una foresta casuale è una un insieme di alberi decisionali in cui ogni albero decisionale viene addestrato con un rumore casuale specifico.
- Il bagaglio è una tecnica in cui ogni albero decisionale nella foresta casuale viene addestrato su un sottoinsieme diverso di esempi.
- Le foreste casuali non richiedono un set di dati di convalida. Invece, la query più casuale le foreste usano una tecnica chiamata out-of-bag-evaluation per valutare la qualità del modello.
- Un gradiente potenziato (decisione) albero è un tipo di foresta decisionale addestrata attraverso aggiustamenti iterativi provenienti dall'input alberi decisionali. Un valore chiamato shrinkage controlla la frequenza alla che un albero con gradiente potenziato (decisione) apprende e il grado in cui potrebbe sovraccaricarsi.
Riferimenti
- Approssimazione della funzione greedy: l'incremento del gradiente Macchina, G. Friedman.
- Gli elementi della statistica Apprendimento, Trevor Hastie. Capitolo 10.
- Modelli potenziati generalizzati: una guida alla GBM pacchetto, G. Ridgeway