Gradyan güçlendirme (isteğe bağlı birim)

Regresyon problemlerinde, işaretli hatayı tahmin ile etiket arasındaki fark olarak tanımlamak mantıklıdır. Ancak diğer sorun türlerinde bu strateji genellikle kötü sonuçlara yol açar. Gradyan artırmada kullanılan daha iyi bir strateji şudur:

• Sinir ağlarında kullanılan kayıp işlevlerine benzer bir kayıp işlevi tanımlayın. Örneğin, sınıflandırma problemi için entropi (log kaybı olarak da bilinir).
• Zayıf modeli, güçlü model çıktısına göre kaybın gradyanını tahmin edecek şekilde eğitin.

Resmi olarak, $y$ etiket ve $p$ tahmin olan bir kayıp işlevi $L(y,p)$ verildiğinde, $i$ adımında zayıf modeli eğitmek için kullanılan sözde yanıt $z_i$ şu şekildedir:

$$z_i = \frac {\partial L(y, F_i)} {\partial F_i}$$

Bu örnekte:

• $F_i$, güçlü modelin tahminidir.

Önceki örnek bir regresyon problemidir: Hedef, sayısal bir değeri tahmin etmektir. Regresyon söz konusu olduğunda, karesi alınmış hata yaygın bir kayıp işlevidir:

$$L(y,p) = (y - p)^2$$

Bu durumda gradyan:

$$z = \frac {\partial L(y, F_i)} {\partial F_i} = \frac {\partial(y-p)^2} {\partial p} = -2(y - p) = 2 \ \text{signed error}$$

Başka bir deyişle, gradyan, örneğimizdeki 2 faktörlü işaretli hatadır. Küçülme nedeniyle sabit faktörlerin önemli olmadığını unutmayın. Bu eşdeğerliğin yalnızca kareli hata kaybı olan regresyon problemleri için geçerli olduğunu unutmayın. Diğer gözetimli öğrenme sorunları (ör. sınıflandırma, sıralama, yüzdelik kayıp içeren regresyon) için gradyan ile imzalı hata arasında eşdeğerlik yoktur.

Newton yöntemi adımı ile yaprak ve yapı optimizasyonu

Newton yöntemi, gradyan azalma gibi bir optimizasyon yöntemidir. Ancak, optimize etmek için yalnızca fonksiyonun gradyanını kullanan gradyan azalma yönteminin aksine Newton yöntemi, optimizasyon için hem gradyanı (ilk türev) hem de fonksiyonun ikinci türevini kullanır.

Gradyan azalma adımı aşağıdaki gibidir:

$$x_{i+1} = x_i - \frac {df}{dx}(x_i) = x_i - f'(x_i)$$

ve Newton'un yöntemi aşağıdaki gibidir:

$$x_{i+1} = x_i - \frac {\frac {df}{dx} (x_i)} {\frac {d^2f}{d^2x} (x_i)} = x_i - \frac{f'(x_i)}{f''(x_i)}$$

Newton'un yöntemi, isteğe bağlı olarak gradyan güçlendirilmiş ağaçların eğitimine iki şekilde entegre edilebilir:

1. Bir ağaç eğitildikten sonra her yaprağa Newton adımı uygulanır ve yaprağın değeri geçersiz kılınır. Ağaç yapısına dokunulmaz; yalnızca son değer değişir.
2. Ağacın büyümesi sırasında koşullar, Newton formülünün bir bileşenini içeren bir puana göre seçilir. Ağacın yapısı etkilenir.

YDF Kodu

YDF'de:

• YDF her zaman yaprak üzerinde bir Newton adımı uygular (1. seçenek).
• use_hessian_gain=True ile 2. seçeneği etkinleştirebilirsiniz.