Peningkatan gradien (unit opsional)

Dalam masalah regresi, sebaiknya tentukan error bertanda sebagai perbedaan antara prediksi dan label. Namun, dalam jenis masalah lain, strategi ini sering kali menghasilkan hasil yang buruk. Strategi yang lebih baik yang digunakan dalam gradient boosting adalah:

• Tentukan fungsi kerugian yang mirip dengan fungsi kerugian yang digunakan dalam jaringan neural. Misalnya, entropi (juga dikenal sebagai log loss) untuk masalah klasifikasi.
• Latih model lemah untuk memprediksi gradien kerugian sesuai dengan output model yang kuat.

Secara formal, dengan fungsi kerugian $L(y,p)$ dengan $y$ adalah label dan $p$ adalah prediksi, respons pseudo $z_i$ yang digunakan untuk melatih model lemah pada langkah $i$ adalah:

$$ z_i = \frac {\partial L(y, F_i)} {\partial F_i} $$

dalam hal ini:

• $F_i$ adalah prediksi model kuat.

Contoh sebelumnya adalah masalah regresi: Tujuannya adalah untuk memprediksi nilai numerik. Dalam kasus regresi, error kuadrat adalah fungsi kerugian umum:

$$ L(y,p) = (y - p)^2 $$

Dalam hal ini, gradiennya adalah:

$$ z = \frac {\partial L(y, F_i)} {\partial F_i} = \frac {\partial(y-p)^2} {\partial p} = -2(y - p) = 2 \ \text{signed error} $$

Dengan kata lain, gradien adalah error bertanda dari contoh kita dengan faktor 2. Perhatikan bahwa faktor konstan tidak penting karena penyusutan. Perhatikan bahwa kesetaraan ini hanya berlaku untuk masalah regresi dengan rugi error kuadrat. Untuk masalah pembelajaran terpandu lainnya (misalnya, klasifikasi, peringkat, regresi dengan loss persentil), tidak ada kesetaraan antara gradien dan error bertanda.

Pengoptimalan struktur dan daun dengan langkah metode Newton

Metode Newton adalah metode pengoptimalan seperti penurunan gradien. Namun, tidak seperti menuruni gradien yang hanya menggunakan gradien fungsi untuk dioptimalkan, metode Newton menggunakan gradien (turunan pertama) dan turunan kedua fungsi untuk pengoptimalan.

Langkah penurunan gradien adalah sebagai berikut:

$$ x_{i+1} = x_i - \frac {df}{dx}(x_i) = x_i - f'(x_i) $$

dan metode Newton sebagai berikut:

$$ x_{i+1} = x_i - \frac {\frac {df}{dx} (x_i)} {\frac {d^2f}{d^2x} (x_i)} = x_i - \frac{f'(x_i)}{f''(x_i)}$$

Secara opsional, metode Newton dapat diintegrasikan ke pelatihan hierarki yang ditingkatkan gradien dengan dua cara:

1. Setelah hierarki dilatih, langkah Newton diterapkan pada setiap node daun dan mengganti nilainya. Struktur hierarki tidak akan berubah; hanya nilai leaf yang berubah.
2. Selama pertumbuhan hierarki, kondisi dipilih sesuai dengan skor yang menyertakan komponen formula Newton. Struktur hierarki akan terpengaruh.

Kode YDF

Di YDF:

• YDF selalu menerapkan langkah Newton pada node (opsi 1).
• Anda dapat mengaktifkan opsi 2 dengan use_hessian_gain=True.