Модели логистической регрессии обучаются с использованием того же процесса, что и модели линейной регрессии , с двумя ключевыми отличиями:
- Модели логистической регрессии используют Log Loss в качестве функции потерь вместо квадрата потерь .
- Применение регуляризации имеет решающее значение для предотвращения переобучения .
В следующих разделах эти два соображения обсуждаются более подробно.
Потеря журнала
В модуле «Линейная регрессия» в качестве функции потерь вы использовали квадрат потерь (также называемых потерями L2 ). Квадратные потери хорошо работают для линейной модели, где скорость изменения выходных значений постоянна. Например, для линейной модели каждый раз, когда вы увеличиваете входное значение на 1, выходное значение увеличивается на 3.
Однако скорость изменения модели логистической регрессии не является постоянной. Как вы видели в разделе «Вычисление вероятности» , сигмовидная кривая имеет S-образную форму, а не линейную. Когда значение логарифма шансов () ближе к 0, небольшое увеличение приводит к гораздо большим изменениям , чем когда является большим положительным или отрицательным числом. В следующей таблице показаны выходные данные сигмовидной функции для входных значений от 5 до 10, а также соответствующая точность, необходимая для учета различий в результатах.
вход | логистический выход | требуемые цифры точности |
---|---|---|
5 | 0,993 | 3 |
6 | 0,997 | 3 |
7 | 0,999 | 3 |
8 | 0,9997 | 4 |
9 | 0,9999 | 4 |
10 | 0,99998 | 5 |
Если бы вы использовали квадрат потерь для расчета ошибок для сигмоидальной функции, по мере того как выходные данные становились все ближе и ближе к 0
и 1
, вам потребовалось бы больше памяти, чтобы сохранить точность, необходимую для отслеживания этих значений.
Вместо этого функция потерь для логистической регрессии — Log Loss . Уравнение Log Loss возвращает логарифм величины изменения, а не просто расстояние от данных до прогноза. Потери журнала рассчитываются следующим образом: