Voici un bref résumé de ce que vous avez appris dans le cours:
- Un arbre de décision est un modèle composé d'un ensemble de conditions organisées de manière hiérarchique sous la forme d'un arbre. Il existe plusieurs catégories pour les conditions :
- Une condition alignée sur l'axe n'implique qu'une seule caractéristique. Une condition oblique implique plusieurs caractéristiques.
- Une condition binaire a deux résultats possibles. Une condition non binaire peut avoir plus de deux résultats.
- L'entraînement d'un arbre de décision implique de rechercher la meilleure condition au niveau de chaque nœud. La routine splitter utilise des métriques telles que le gain d'informations ou Gini pour déterminer la meilleure condition.
- Une forêt de décision est un mode composé de plusieurs arbres de décision. La prédiction d'une forêt de décision est l'agrégation des prédictions de ses arbres de décision.
- Une forêt aléatoire est un ensemble d'arbres de décision dans lequel chaque arbre de décision est entraîné avec un bruit aléatoire spécifique.
- Le bagging est une technique par laquelle chaque arbre de décision de la forêt aléatoire est entraîné sur un sous-ensemble différent d'exemples.
- Les forêts aléatoires ne nécessitent pas d'ensemble de données de validation. La plupart des forêts aléatoires utilisent plutôt une technique appelée out-of-bag-evaluation pour évaluer la qualité du modèle.
- Un arbre à boosting de gradient (décision) est un type de forêt de décision entraînée par des ajustements itératifs à partir d'arbres de décision d'entrée. Une valeur appelée réduction contrôle la vitesse d'apprentissage d'un arbre de décision à boosting de gradient et le degré de surapprentissage.
Références
- Greedy Function Approximation: A Gradient Boosting Machine, J. Friedman.
- The Elements of Statistical Learning, Trevor Hastie. Chapitre 10.
- Modèles Boosted généralisés: Guide du package gbm, G. Ridgeway