Berikut adalah ringkasan singkat tentang apa yang Anda pelajari dalam materi ini:
- Hierarki keputusan adalah model
yang terdiri dari kumpulan
kondisi diatur
secara hierarkis
dalam bentuk pohon. Kondisi tersebut terbagi dalam berbagai
kategori:
- sejajar sumbu kondisi melibatkan hanya satu fitur. Garis miring kondisi melibatkan beberapa fitur.
- Biner kondisi memiliki dua kemungkinan hasil pengujian tersebut. Non-biner kondisi memiliki lebih dari dua kemungkinan hasil.
- Melatih pohon keputusan melibatkan pencarian kondisi terbaik di setiap {i>node<i}. Rutinitas pemisah menggunakan metrik seperti informasi bertambah atau Gini untuk menentukan yang terbaik .
- Hutan keputusan adalah mode yang terdiri dari banyak pohon keputusan. Prediksi forest keputusan adalah kumpulan prediksi pohon keputusan (decision tree).
- Forest acak adalah ansambel pohon keputusan di mana setiap pohon keputusan dilatih dengan derau acak tertentu.
- Baging adalah teknik di mana setiap pohon keputusan di {i>forest<i} acak dilatih pada {i>subset<i} yang berbeda contoh.
- Forest acak tidak memerlukan set data validasi. Sebaliknya, sebagian besar metode hutan menggunakan teknik yang disebut out-of-bag-evaluation untuk mengevaluasi kualitas model.
- Gradien yang ditingkatkan (keputusan) hierarki adalah jenis hutan keputusan yang dilatih melalui penyesuaian berulang dari input pohon keputusan (decision tree). Nilai yang disebut penyusutan mengontrol tingkat yang dipelajari pohon (keputusan) yang ditingkatkan gradien dan sejauh mana bisa terlalu pas.
Referensi
- Perkiraan Fungsi Greedy: Peningkatan Gradien Komputer, J. Friedman.
- Elemen Statistik Pembelajaran, Taufan Hastini. Bab 10.
- Model yang Ditingkatkan Umum: Panduan untuk GBPM paket, G. Ridgeway