Regresja logistyczna: straty i regularizacja

Regresja logistyczna modele są trenowane przy użyciu tego samego procesu regresja liniowa i wyróżniamy 2 główne różnice:

W kolejnych sekcjach bardziej szczegółowo omawiamy te 2 kwestie.

Logarytmiczna funkcja utraty danych

W module regresji liniowej użyto straty kwadratowej (nazywanej też strata L2) jako funkcji straty. Kwadratowa strata dobrze sprawdza się w przypadku liniowej model, w którym szybkość zmian wartości wyjściowych jest stała. Przykład: dla modelu liniowego: y=b+3x1, za każdym razem, gdy zwiększysz wartość wejściową wartość x1 przez 1, wartość wyjściowa y zwiększa się o 3.

Jednak szybkość zmian modelu regresji logistycznej nie jest stała. Jak widać w sekcji Obliczanie prawdopodobieństwa, Krzywa sigmoidalna ma kształt s a nie liniowe. Gdy wartość log-odds (z) jest bliższa 0, mała wartość wzrost wartości z skutkuje znacznie większymi zmianami wartości y niż wtedy, gdy z jest dużym liczbę dodatnią lub ujemną. Poniższa tabela przedstawia funkcję sigmoidalną dane wyjściowe dla wartości wejściowych od 5 do 10 oraz odpowiadającej im precyzji wymagane do uchwycenia różnic w wynikach.

dane wejściowe dane wyjściowe logistyczne wymagane cyfry dokładności
5 0,993 3
6 0,997 3
7 0,999 3
8 0,9997 4
9 0,9999 4
10 0,99 998 5

Jeśli do obliczenia błędów funkcji sigmoidalnej użyjesz straty kwadratowej, której wartości dane wyjściowe są coraz bliżej punktów 0 i 1, potrzebujesz więcej pamięci, aby aby zachować precyzję niezbędną do śledzenia tych wartości.

Zamiast tego funkcja utraty dla regresji logistycznej to Logarytmiczne. Równanie logarytmicznej straty zwraca logarytm wielkości zmiany, a nie niż tylko odległość od danych do prognozy. Logarytmiczna funkcja utraty danych jest obliczana według wzoru: następujące:

Log Loss=(x,y)Dylog(y)(1y)log(1y)

gdzie:

  • (x,y)D to zbiór danych zawierający wiele przykładów oznaczonych etykietami, (x,y) pary.
  • y to etykieta w przykładzie oznaczonym etykietą. Jest to regresja logistyczna, każda wartość y musi wynosić 0 lub 1.
  • y to prognoza Twojego modelu (gdzieś od 0 do 1) dla danego zbioru funkcji w x.

Regularizacja regresji logistycznej

Regularizację, mechanizm zmniejszanie złożoności modelu podczas trenowania, jest niezwykle istotne w logistyce modelowanie regresji. Bez regularyzacji asymptotyczny charakter logistyki regresja nadal powoduje stratę do 0 w przypadkach, gdy model ma bardzo wiele funkcji. W efekcie większość modeli regresji logistycznej wykorzystuje jeden można zastosować 2 strategie mające na celu zmniejszenie złożoności modelu: