Hier ist eine kurze Zusammenfassung dessen, was Sie in diesem Kurs gelernt haben:
- Ein Entscheidungsbaum ist ein Modell, das aus einer Sammlung von Bedingungen besteht, die hierarchisch in Form eines Baums organisiert sind. Bedingungen lassen sich in verschiedene Kategorien unterteilen:
- Eine achsenbasierte Bedingung umfasst nur ein einziges Element. Eine schräge Bedingung umfasst mehrere Elemente.
- Eine binäre Bedingung hat zwei mögliche Ergebnisse. Eine nicht binäre Bedingung hat mehr als zwei mögliche Ergebnisse.
- Das Trainieren eines Entscheidungsbaums umfasst die Suche nach der besten Bedingung an jedem Knoten. Die Splitter-Routine verwendet Messwerte wie Informationsgewinn oder Gini, um die beste Bedingung zu ermitteln.
- Eine Entscheidungsstruktur ist ein Modus, der aus mehreren Entscheidungsbäumen besteht. Die Vorhersage einer Entscheidungsstruktur ist die Aggregation der Vorhersagen ihrer Entscheidungsbäume.
- Eine Random-Gesamtstruktur ist ein Ensemble von Entscheidungsbäumen, in denen jeder Entscheidungsbaum mit einem bestimmten Zufallsrauschen trainiert wird.
- Bagging ist ein Verfahren, bei dem jeder Entscheidungsbaum in der zufälligen Gesamtstruktur mit einer anderen Teilmenge von Beispielen trainiert wird.
- Zufällige Gesamtstrukturen erfordern kein Validierungs-Dataset. Bei den meisten zufälligen Gesamtstrukturen wird stattdessen die Methode out-of-bag-evaluation verwendet, um die Qualität des Modells zu bewerten.
- Ein Gradienten-Boosted-Baum ist eine Art von Entscheidungsstruktur, die durch iterative Anpassungen von Eingabeentscheidungsbäumen trainiert wird. Ein Wert namens Schrumpfung steuert die Geschwindigkeit, mit der ein Gradientenverstärkung (Entscheidungsbaum) lernt, und das Ausmaß, zu dem eine Überanpassung möglich ist.
Quellenangaben
- Greedy Functions Approximation: A Gradient Boosting Machine, J. Friedman.
- The Elements of Statistical Learning, Trevor Hastie. Kapitel 10.
- Generalized Boosted Models: A guide to the gbm package, G. Ridgeway