Глоссарий машинного обучения: метрики

На этой странице содержатся термины глоссария Метрики. Чтобы просмотреть все термины глоссария, нажмите здесь .

А

точность

#основы

#Метрика

Количество правильных прогнозов классификации, разделенное на общее количество прогнозов. То есть:

$$\text{Accuracy} = \frac{\text{correct predictions}} {\text{correct predictions + incorrect predictions }}$$

Например, модель, которая сделала 40 правильных прогнозов и 10 неправильных прогнозов, будет иметь точность:

$$\text{Accuracy} = \frac{\text{40}} {\text{40 + 10}} = \text{80%}$$

Бинарная классификация дает конкретные названия различным категориям правильных и неправильных прогнозов . Итак, формула точности бинарной классификации выглядит следующим образом:

$$\text{Accuracy} = \frac{\text{TP} + \text{TN}} {\text{TP} + \text{TN} + \text{FP} + \text{FN}}$$

где:

• TP — количество истинных положительных результатов (правильных прогнозов).
• TN — количество истинных негативов (правильных прогнозов).
• FP — количество ложных срабатываний (неверных прогнозов).
• FN — количество ложноотрицательных результатов (неверных прогнозов).

Сравните и сопоставьте точность с точностью и отзывом .

Щелкните значок, чтобы получить подробную информацию о точности и несбалансированных по классам наборах данных.

Хотя точность является ценным показателем в некоторых ситуациях, в других она вводит в заблуждение. Примечательно, что точность обычно является плохим показателем для оценки моделей классификации, которые обрабатывают несбалансированные по классам наборы данных .

Например, предположим, что в каком-то субтропическом городе снег выпадает только 25 дней в столетие. Поскольку количество дней без снега (отрицательный класс) значительно превышает количество дней со снегом (положительный класс), набор данных о снеге для этого города несбалансирован по классам. Представьте себе модель бинарной классификации , которая должна прогнозировать либо снег, либо его отсутствие каждый день, но просто каждый день прогнозирует «нет снега». Эта модель очень точна, но не имеет предсказательной силы. В следующей таблице суммированы результаты предсказаний за столетие:

Категория	Число
ТП	0
ТН	36499
ФП	0
ФН	25

Таким образом, точность этой модели составляет:

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (0 + 36499) / (0 + 36499 + 0 + 25) = 0.9993 = 99.93%

Хотя точность 99,93% кажется весьма впечатляющим процентом, на самом деле модель не обладает предсказательной силой.

Точность и полнота обычно являются более полезными показателями, чем точность, для оценки моделей, обученных на наборах данных с несбалансированным классом.

---

Дополнительную информацию см. в разделе «Классификация: точность, полнота, прецизионность и связанные с ними показатели» в ускоренном курсе машинного обучения.

площадь под кривой PR

#Метрика

См. PR AUC (площадь под кривой PR) .

площадь под кривой ROC

#Метрика

См. AUC (площадь под кривой ROC) .

AUC (Площадь под кривой ROC)

#основы

#Метрика

Число от 0,0 до 1,0, обозначающее способность модели бинарной классификации отделять положительные классы от отрицательных классов . Чем ближе AUC к 1,0, тем лучше способность модели отделять классы друг от друга.

Например, на следующем рисунке показана модель классификации , которая идеально отделяет положительные классы (зеленые овалы) от отрицательных классов (фиолетовые прямоугольники). Эта нереально идеальная модель имеет AUC 1,0:

И наоборот, на следующем рисунке показаны результаты для модели классификации , которая генерировала случайные результаты. Эта модель имеет AUC 0,5:

Да, предыдущая модель имеет AUC 0,5, а не 0,0.

Большинство моделей находятся где-то между двумя крайностями. Например, следующая модель несколько отделяет положительные значения от отрицательных и поэтому имеет AUC где-то между 0,5 и 1,0:

AUC игнорирует любые значения, установленные вами для порога классификации . Вместо этого AUC учитывает все возможные пороги классификации.

Щелкните значок, чтобы узнать о взаимосвязи между кривыми AUC и ROC.

AUC представляет собой площадь под кривой ROC . Например, кривая ROC для модели, которая идеально отделяет позитивы от негативов, выглядит следующим образом:

AUC — это площадь серой области на предыдущем рисунке. В этом необычном случае площадь представляет собой просто длину серой области (1,0), умноженную на ширину серой области (1,0). Таким образом, произведение 1,0 и 1,0 дает AUC ровно 1,0, что является максимально возможным показателем AUC.

И наоборот, кривая ROC для модели классификации , которая вообще не может разделять классы, выглядит следующим образом. Площадь этой серой области равна 0,5.

Более типичная кривая ROC выглядит примерно так:

Было бы сложно вычислить площадь под этой кривой вручную, поэтому большинство значений AUC обычно рассчитывает программа.

---

Щелкните значок, чтобы получить более формальное определение AUC.

AUC — это вероятность того, что классификационная модель будет более достоверной, чем то, что случайно выбранный положительный пример будет действительно положительным, чем то, что случайно выбранный отрицательный пример будет положительным.

---

Дополнительную информацию см. в разделе «Классификация: ROC и AUC в ускоренном курсе машинного обучения».

средняя точность при k

#язык

#Метрика

Метрика для подведения итогов эффективности модели в одном запросе, который генерирует ранжированные результаты, например нумерованный список рекомендаций по книгам. Средняя точность при k — это среднее значение точности при значениях k для каждого соответствующего результата. Таким образом, формула средней точности при k выглядит следующим образом:

\[{\text{average precision at k}} = \frac{1}{n} \sum_{i=1}^n {\text{precision at k for each relevant item} } \]

где:

• \(n\) — количество соответствующих элементов в списке.

Сравните с отзывом в k .

Примечание. Средняя точность при k оценивает выходные данные для одного запроса. Используйте среднюю среднюю точность при k, чтобы оценить качество результатов модели по множеству различных подсказок.

Примечание. Некоторые люди сокращают среднюю точность до просто средней точности .

Нажмите на значок, чтобы увидеть пример

Предположим, что большая языковая модель получает следующий запрос:

List the 6 funniest movies of all time in order.

И большая языковая модель возвращает следующий список:

1. Генерал
2. Дрянные девчонки
3. Взвод
4. Подружки невесты
5. Гражданин Кейн
6. Это Спинальная Тэп

Четыре фильма из возвращенного списка очень смешные (то есть они актуальны), но два фильма являются драмами (нерелевантными). В следующей таблице подробно описаны результаты:

Позиция	Фильм	Соответствующий?	Точность при k
1	Генерал	Да	1.0
2	Дрянные девчонки	Да	1.0
3	Взвод	Нет	не актуально
4	Подружки невесты	Да	0,75
5	Гражданин Кейн	Нет	не актуально
6	Это Спинальная Тэп	Да	0,67

Количество релевантных результатов равно 4. Таким образом, вы можете вычислить среднюю точность при 6 следующим образом:

$${\text{average precision at 6}} = \frac{1}{4} {\text{(1.0 + 1.0 + 0.75 + 0.67)} } $$$${\text{average precision at 6}} = {\text{~0.85} } $$

---

Б

базовый уровень

#Метрика

Модель , используемая в качестве ориентира для сравнения эффективности другой модели (обычно более сложной). Например, модель логистической регрессии может служить хорошей основой для глубокой модели .

Для конкретной проблемы базовый уровень помогает разработчикам моделей количественно определить минимальную ожидаемую производительность, которой должна достичь новая модель, чтобы новая модель была полезной.

С

расходы

#Метрика

Синоним потери .

контрфактическая справедливость

#ответственный

#Метрика

Метрика справедливости , которая проверяет, дает ли модель классификации тот же результат для одного человека, что и для другого человека, идентичного первому, за исключением одного или нескольких чувствительных атрибутов . Оценка модели классификации на предмет контрфактической справедливости является одним из методов выявления потенциальных источников систематической ошибки в модели.

Дополнительную информацию см. в одном из следующих разделов:

• Справедливость: контрфактическая справедливость в ускоренном курсе машинного обучения.
• Когда миры сталкиваются: справедливое объединение различных контрфактических предположений

перекрестная энтропия

#Метрика

Обобщение Log Loss для задач многоклассовой классификации . Перекрестная энтропия количественно определяет разницу между двумя распределениями вероятностей. См. также недоумение .

кумулятивная функция распределения (CDF)

#Метрика

Функция, определяющая частоту выборок, меньшую или равную целевому значению. Например, рассмотрим нормальное распределение непрерывных значений. CDF сообщает вам, что примерно 50% выборок должны быть меньше или равны среднему значению и что примерно 84% выборок должны быть меньше или равны одному стандартному отклонению выше среднего.

Д

демографический паритет

#ответственный

#Метрика

Метрика справедливости , которая удовлетворяется, если результаты классификации модели не зависят от заданного конфиденциального атрибута .

Например, если и лилипуты, и бробдингнаги подают документы в университет Глуббдубдриб, демографический паритет достигается, если процент принятых лилипутов такой же, как процент принятых бробдингнагов, независимо от того, является ли одна группа в среднем более квалифицированной, чем другая.

Сравните с уравниванием шансов и равенством возможностей , которые позволяют результатам классификации в совокупности зависеть от конфиденциальных атрибутов, но не позволяют результатам классификации для определенных указанных основных меток истинности зависеть от конфиденциальных атрибутов. См. «Борьба с дискриминацией с помощью более разумного машинного обучения», где представлена ​​визуализация компромиссов при оптимизации для достижения демографического паритета.

Дополнительную информацию см. в разделе «Справедливость: демографический паритет» в ускоренном курсе машинного обучения.

Э

расстояние землеройной машины (EMD)

#Метрика

Мера относительного сходства двух распределений . Чем меньше расстояние, на которое проехал землеройный комбайн, тем более схожими являются распределения.

изменить расстояние

#язык

#Метрика

Измерение того, насколько похожи две текстовые строки друг на друга. В машинном обучении расстояние редактирования полезно по следующим причинам:

• Расстояние редактирования легко вычислить.
• Расстояние редактирования позволяет сравнивать две строки, которые, как известно, похожи друг на друга.
• Расстояние редактирования может определять степень сходства различных строк с данной строкой.

Существует несколько определений расстояния редактирования, каждое из которых использует разные строковые операции. См. пример расстояния Левенштейна .

эмпирическая кумулятивная функция распределения (eCDF или EDF)

#Метрика

Кумулятивная функция распределения , основанная на эмпирических измерениях на основе реального набора данных. Значение функции в любой точке вдоль оси X — это доля наблюдений в наборе данных, которые меньше или равны указанному значению.

энтропия

#df

#Метрика

В теории информации — описание того, насколько непредсказуемо распределение вероятностей. Альтернативно, энтропия также определяется как количество информации, содержащейся в каждом примере . Распределение имеет максимально возможную энтропию, когда все значения случайной величины равновероятны.

Энтропия набора с двумя возможными значениями «0» и «1» (например, метки в задаче бинарной классификации ) имеет следующую формулу:

H = -p log p - q log q = -p log p - (1-p) * log (1-p)

где:

• H — энтропия.
• p — доля примеров «1».
• q — доля примеров «0». Обратите внимание, что q = (1 - p)
• log обычно равен log ₂ . В данном случае единицей энтропии является бит.

Например, предположим следующее:

• 100 примеров содержат значение «1»
• 300 примеров содержат значение «0»

Следовательно, значение энтропии равно:

• р = 0,25
• q = 0,75
• H = (-0,25)log ₂ (0,25) - (0,75)log ₂ (0,75) = 0,81 бит на пример

Идеально сбалансированный набор (например, 200 «0» и 200 «1») будет иметь энтропию 1,0 бита на каждый пример. Когда набор становится более несбалансированным , его энтропия приближается к 0,0.

В деревьях решений энтропия помогает сформулировать прирост информации , чтобы помочь разделителю выбрать условия во время роста дерева решений классификации.

Сравните энтропию с:

• Джини примесь
• функция перекрестных энтропийных потерь

Энтропию часто называют энтропией Шеннона .

Дополнительную информацию см. в разделе Точный разделитель для двоичной классификации с числовыми признаками в курсе «Леса решений».

равенство возможностей

#ответственный

#Метрика

Метрика справедливости, позволяющая оценить, одинаково ли хорошо модель предсказывает желаемый результат для всех значений чувствительного атрибута . Другими словами, если желаемым результатом модели является положительный класс , цель состоит в том, чтобы истинный положительный уровень был одинаковым для всех групп.

Равенство возможностей связано с уравниванием шансов , которое требует, чтобы как истинно положительные, так и ложноположительные показатели были одинаковыми для всех групп.

Предположим, университет Глаббдубдриб принимает как лилипутов, так и бробдингнегов на строгую математическую программу. Средние школы лилипутов предлагают обширную программу занятий по математике, и подавляющее большинство учащихся имеют право на университетскую программу. В средних школах Бробдингнеджана вообще не проводятся занятия по математике, и в результате гораздо меньше учеников имеют соответствующую квалификацию. Равенство возможностей соблюдается для предпочтительного ярлыка «допущенный» в отношении национальности (лилипут или бробдингнаг), если квалифицированные студенты имеют одинаковую вероятность быть принятыми независимо от того, являются ли они лилипутами или бробдингнегами.

Например, предположим, что 100 лилипутов и 100 бробдингнагцев подают заявки в университет Глаббдубдриб, и решения о приеме принимаются следующим образом:

Таблица 1. Кандидаты-лилипуты (90% соответствуют требованиям)

	Квалифицированный	Неквалифицированный
Допущенный	45	3
Отклоненный	45	7
Общий	90	10
Процент зачисленных квалифицированных студентов: 45/90 = 50%. Процент отклоненных неквалифицированных студентов: 7/10 = 70%. Общий процент зачисленных студентов-лилипутов: (45+3)/100 = 48%.

Таблица 2. Кандидаты из Бробдингнага (10% соответствуют требованиям):

	Квалифицированный	Неквалифицированный
Допущенный	5	9
Отклоненный	5	81
Общий	10	90
Процент принятых квалифицированных студентов: 5/10 = 50% Процент отклоненных неквалифицированных студентов: 81/90 = 90%. Общий процент зачисленных студентов Бробдингнага: (5+9)/100 = 14%.

Предыдущие примеры удовлетворяют равенству возможностей для приема квалифицированных студентов, поскольку квалифицированные лилипуты и бробдингнаги имеют 50% шансов на поступление.

Хотя равенство возможностей соблюдается, следующие два показателя справедливости не выполняются:

• демографический паритет : лилипуты и бробдингнаги принимаются в университет с разной скоростью; Принимаются 48% студентов-лилипутов, но только 14% студентов-бробдингнегов.
• уравненные шансы : хотя квалифицированные студенты-лилипуты и бробдингнаги имеют одинаковые шансы на поступление, дополнительное ограничение, заключающееся в том, что неквалифицированные лилипуты и бробдингнаги имеют одинаковые шансы быть отвергнутыми, не удовлетворяется. У неквалифицированных лилипутов процент отказов составляет 70%, тогда как у неквалифицированных бробдингнегов — 90%.

Дополнительную информацию см. в разделе «Справедливость: равенство возможностей в ускоренном курсе машинного обучения».

уравненные шансы

#ответственный

#Метрика

Метрика справедливости, позволяющая оценить, одинаково ли хорошо прогнозирует модель результаты для всех значений чувствительного атрибута как в отношении положительного , так и в отношении отрицательного класса, а не только одного или другого класса. Другими словами, как процент истинно положительных результатов , так и уровень ложноотрицательных результатов должны быть одинаковыми для всех групп.

Уравненные шансы связаны с равенством возможностей , которое фокусируется только на частоте ошибок для одного класса (положительных или отрицательных).

Например, предположим, что университет Глаббдубдриб принимает как лилипутов, так и бробдингнегов на строгую математическую программу. Средние школы лилипутов предлагают обширную программу занятий по математике, и подавляющее большинство учащихся имеют право на университетскую программу. В средних школах Бробдингнеджана вообще не проводятся занятия по математике, и в результате гораздо меньше учеников имеют соответствующую квалификацию. Уравненные шансы удовлетворяются при условии, что независимо от того, является ли заявитель лилипутом или бробдингнежцем, если он соответствует требованиям, он имеет одинаковую вероятность быть допущенным к программе, а если он не соответствует требованиям, он с одинаковой вероятностью будет отклонен.

Предположим, 100 лилипутов и 100 бробдингнагцев подают заявки в университет Глаббдубдриб, и решения о приеме принимаются следующим образом:

Таблица 3. Кандидаты-лилипуты (90% соответствуют требованиям)

	Квалифицированный	Неквалифицированный
Допущенный	45	2
Отклоненный	45	8
Общий	90	10
Процент зачисленных квалифицированных студентов: 45/90 = 50%. Процент отклоненных неквалифицированных студентов: 8/10 = 80%. Общий процент зачисленных студентов-лилипутов: (45+2)/100 = 47%.

Таблица 4. Кандидаты из Бробдингнага (10% соответствуют требованиям):

	Квалифицированный	Неквалифицированный
Допущенный	5	18
Отклоненный	5	72
Общий	10	90
Процент принятых квалифицированных студентов: 5/10 = 50% Процент отклоненных неквалифицированных студентов: 72/90 = 80%. Общий процент зачисленных студентов Бробдингнега: (5+18)/100 = 23%.

Уравненные шансы удовлетворяются, потому что квалифицированные студенты-лилипуты и бробдингнаги имеют 50% шанс быть зачисленными, а неквалифицированные лилипуты и бробдингнеги имеют 80% шанс быть отклоненными.

Примечание. Хотя здесь соблюдаются уравненные шансы, демографический паритет не соблюдается . Студенты-лилипуты и бробдингнаги принимаются в университет Глаббдубдриб по разным ценам; Принимаются 47% студентов-лилипутов и 23% студентов из Бробдингнага.

Уравненные шансы формально определены в «Равенстве возможностей в контролируемом обучении» следующим образом: «предиктор Ŷ удовлетворяет уравненным шансам в отношении защищенного атрибута A и результата Y, если Ŷ и A независимы, при условии, что Y».

Примечание. Сравните уравненные шансы с более мягким показателем равенства возможностей .

оценивает

#язык

#генеративныйИИ

#Метрика

В основном используется как аббревиатура для оценок LLM . В более широком смысле, evals — это аббревиатура любой формы оценки .

оценка

#язык

#генеративныйИИ

#Метрика

Процесс измерения качества модели или сравнения различных моделей друг с другом.

Чтобы оценить модель контролируемого машинного обучения , вы обычно сравниваете ее с набором проверки и набором тестов . Оценка LLM обычно включает в себя более широкую оценку качества и безопасности.

Ф

Ф ₁

#Метрика

«Сводная» метрика двоичной классификации , которая зависит как от точности , так и от полноты . Вот формула:

$$F{_1} = \frac{\text{2 * precision * recall}} {\text{precision + recall}}$$

Нажмите на значок, чтобы просмотреть примеры.

Предположим, точность и полнота имеют следующие значения:

• точность = 0,6
• отзыв = 0,4

Вы рассчитываете F ₁ следующим образом:

$$F{_1} = \frac{\text{2 * 0.6 * 0.4}} {\text{0.6 + 0.4}} = 0.48$$

Когда точность и полнота достаточно близки (как в предыдущем примере), F ₁ близок к их среднему значению. Когда точность и полнота существенно различаются, F ₁ ближе к нижнему значению. Например:

• точность = 0,9
• отзыв = 0,1

$$F{_1} = \frac{\text{2 * 0.9 * 0.1}} {\text{0.9 + 0.1}} = 0.18$$

---

показатель справедливости

#ответственный

#Метрика

Математическое определение «справедливости», поддающееся измерению. Некоторые часто используемые показатели справедливости включают в себя:

• уравненные шансы
• прогнозируемая четность
• контрфактическая справедливость
• демографический паритет

Многие показатели справедливости являются взаимоисключающими; см. несовместимость показателей справедливости .

ложноотрицательный (ЛН)

#основы

#Метрика

Пример, в котором модель ошибочно предсказывает отрицательный класс . Например, модель предсказывает, что конкретное сообщение электронной почты не является спамом (негативный класс), но на самом деле это сообщение электронной почты является спамом .

ложноотрицательный показатель

#Метрика

Доля реальных положительных примеров, для которых модель ошибочно предсказала отрицательный класс. Следующая формула рассчитывает уровень ложноотрицательных результатов:

$$\text{false negative rate} = \frac{\text{false negatives}}{\text{false negatives} + \text{true positives}}$$

Дополнительные сведения см. в разделе «Пороговые значения и матрица путаницы» в ускоренном курсе машинного обучения.

ложноположительный результат (FP)

#основы

#Метрика

Пример, в котором модель ошибочно предсказывает положительный класс . Например, модель предсказывает, что конкретное сообщение электронной почты является спамом (положительный класс), но на самом деле это сообщение электронной почты не является спамом .

Дополнительные сведения см. в разделе «Пороговые значения и матрица путаницы» в ускоренном курсе машинного обучения.

уровень ложноположительных результатов (FPR)

#основы

#Метрика

Доля реальных отрицательных примеров, для которых модель ошибочно предсказала положительный класс. Следующая формула рассчитывает уровень ложноположительных результатов:

$$\text{false positive rate} = \frac{\text{false positives}}{\text{false positives} + \text{true negatives}}$$

Частота ложноположительных результатов — это ось X на кривой ROC .

Дополнительную информацию см. в разделе «Классификация: ROC и AUC в ускоренном курсе машинного обучения».

важность функций

#df

#Метрика

Синоним переменных важностей .

доля успехов

#генеративныйИИ

#Метрика

Метрика для оценки текста, сгенерированного моделью машинного обучения. Доля успехов — это количество «успешных» сгенерированных текстовых выходных данных, деленное на общее количество сгенерированных текстовых выходных данных. Например, если большая языковая модель сгенерировала 10 блоков кода, пять из которых оказались успешными, то доля успешных результатов составит 50%.

Хотя доля успехов широко полезна в статистике, в рамках машинного обучения этот показатель в первую очередь полезен для измерения проверяемых задач, таких как генерация кода или математические задачи.

Г

Джини примесь

#df

#Метрика

Метрика, похожая на энтропию . Разделители используют значения, полученные либо из примеси Джини, либо из энтропии, для составления условий для деревьев решений классификации. Прирост информации происходит от энтропии. Не существует общепринятого эквивалентного термина для показателя, полученного из примеси Джини; однако этот безымянный показатель так же важен, как и получение информации.

Примесь Джини еще называют индексом Джини , или просто Джини .

Щелкните значок, чтобы просмотреть математические подробности о примеси Джини.

Примесь Джини — это вероятность неправильной классификации нового фрагмента данных, взятого из того же распределения. Примесь Джини набора с двумя возможными значениями «0» и «1» (например, метки в задаче бинарной классификации ) рассчитывается по следующей формуле:

Я = 1 - (р ² + q ² ) = 1 - (р ² + (1-р) ² )

где:

• Я — примесь Джини.
• p — доля примеров «1».
• q — доля примеров «0». Обратите внимание, что q = 1-p

Например, рассмотрим следующий набор данных:

• 100 меток (0,25 набора данных) содержат значение «1».
• 300 меток (0,75 набора данных) содержат значение «0».

Следовательно, примесь Джини равна:

• р = 0,25
• q = 0,75
• I = 1 - (0,25 ² + 0,75 ² ) = 0,375

Следовательно, случайная метка из того же набора данных будет иметь вероятность неправильной классификации в 37,5% и вероятность правильной классификации в 62,5%.

Идеально сбалансированная этикетка (например, 200 «0» и 200 «1») будет иметь примесь Джини 0,5. Ярко несбалансированная этикетка будет иметь примесь Джини, близкую к 0,0.

---

ЧАС

потеря шарнира

#Метрика

Семейство функций потерь для классификации , предназначенное для поиска границы решения как можно дальше от каждого обучающего примера, тем самым максимизируя разницу между примерами и границей. KSVM используют шарнирные потери (или связанную с ними функцию, например, квадратичные шарнирные потери). Для бинарной классификации функция шарнирных потерь определяется следующим образом:

$$\text{loss} = \text{max}(0, 1 - (y * y'))$$

где y — истинная метка, либо -1, либо +1, а y’ — необработанный результат модели классификации :

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

Следовательно, график потери шарнира в зависимости от (y * y') выглядит следующим образом:

я

несовместимость показателей справедливости

#ответственный

#Метрика

Идея о том, что некоторые понятия справедливости несовместимы друг с другом и не могут быть удовлетворены одновременно. В результате не существует единого универсального показателя для количественной оценки справедливости, который можно было бы применить ко всем проблемам ОД.

Хотя это может показаться обескураживающим, несовместимость показателей справедливости не означает, что усилия по обеспечению справедливости бесплодны. Вместо этого предполагается, что справедливость должна определяться контекстуально для конкретной проблемы ОД с целью предотвращения вреда, специфичного для случаев ее использования.

См. «О (не)возможности справедливости» для более подробного обсуждения несовместимости показателей справедливости.

индивидуальная справедливость

#ответственный

#Метрика

Метрика справедливости, которая проверяет, классифицируются ли похожие люди одинаково. Например, Академия Бробдингнагяна может захотеть обеспечить индивидуальную справедливость, гарантируя, что два студента с одинаковыми оценками и результатами стандартизированных тестов имеют одинаковую вероятность поступления.

Обратите внимание, что индивидуальная справедливость полностью зависит от того, как вы определяете «сходство» (в данном случае оценки и результаты тестов), и вы можете рискнуть создать новые проблемы со справедливостью, если ваш показатель сходства упускает важную информацию (например, строгость учебной программы учащегося).

См. «Справедливость через осведомленность» для более подробного обсуждения индивидуальной справедливости.

получение информации

#df

#Метрика

В лесах решений — разница между энтропией узла и взвешенной (по количеству примеров) суммой энтропии его дочерних узлов. Энтропия узла — это энтропия примеров в этом узле.

Например, рассмотрим следующие значения энтропии:

• энтропия родительского узла = 0,6
• энтропия одного дочернего узла с 16 соответствующими примерами = 0,2
• энтропия другого дочернего узла с 24 соответствующими примерами = 0,1

Таким образом, 40% примеров находятся в одном дочернем узле, а 60% — в другом дочернем узле. Поэтому:

• взвешенная сумма энтропии дочерних узлов = (0,4 * 0,2) + (0,6 * 0,1) = 0,14

Итак, информационный выигрыш составляет:

• Прирост информации = энтропия родительского узла - взвешенная сумма энтропии дочерних узлов
• прирост информации = 0,6 - 0,14 = 0,46

Большинство раскольников стремятся создать условия , которые максимизируют получение информации.

межэкспертное соглашение

#Метрика

Измерение того, как часто оценщики соглашаются при выполнении задачи. Если оценщики не согласны с этим, инструкции по выполнению заданий, возможно, придется улучшить. Также иногда называется соглашением между аннотаторами или надежностью между экспертами . См. также каппу Коэна , которая является одним из самых популярных показателей согласия между экспертами.

Дополнительные сведения см. в разделе Категориальные данные: распространенные проблемы ускоренного курса машинного обучения.

л

L ₁ потеря

#основы

#Метрика

Функция потерь , которая вычисляет абсолютное значение разницы между фактическими значениями метки и значениями, прогнозируемыми моделью . Например, вот расчет потерь L ₁ для партии из пяти примеров :

Фактическая стоимость примера	Прогнозируемая ценность модели	Абсолютное значение дельты
7	6	1
5	4	1
8	11	3
4	6	2
9	8	1
		8 = потеря L 1

Потери _L1 менее чувствительны к выбросам , чем потери _L2 .

Средняя абсолютная ошибка — это средняя потеря L ₁ на пример.

Щелкните значок, чтобы увидеть формальную математику.

$$ L_1 loss = \sum_{i=0}^n | y_i - \hat{y}_i |$$

где:

• $n$ — количество примеров.
• $y$ — фактическое значение метки.
• $\hat{y}$ — это значение, которое прогнозирует модель для $y$.

---

Дополнительную информацию см. в разделе «Линейная регрессия: потери в ускоренном курсе машинного обучения».

L ₂ потеря

#основы

#Метрика

Функция потерь , которая вычисляет квадрат разницы между фактическими значениями метки и значениями, прогнозируемыми моделью . Например, вот расчет потерь L ₂ для партии из пяти примеров :

Фактическая стоимость примера	Прогнозируемая ценность модели	Площадь дельты
7	6	1
5	4	1
8	11	9
4	6	4
9	8	1
		16 = потеря L 2

Из-за возведения в квадрат потеря _L2 усиливает влияние выбросов . То есть потеря _L2 сильнее реагирует на плохие прогнозы, чем потеря _L1 . Например, потеря L ₁ для предыдущей партии будет равна 8, а не 16. Обратите внимание, что на один выброс приходится 9 из 16.

В регрессионных моделях в качестве функции потерь обычно используются потери _L2 .

Среднеквадратическая ошибка — это средняя потеря L ₂ на пример. Квадратные потери — это другое название потерь _L2 .

Щелкните значок, чтобы увидеть формальную математику.

$$ L_2 loss = \sum_{i=0}^n {(y_i - \hat{y}_i)}^2$$

где:

• $n$ — количество примеров.
• $y$ — фактическое значение метки.
• $\hat{y}$ — это значение, которое прогнозирует модель для $y$.

---

Дополнительную информацию см. в разделе «Логистическая регрессия: потери и регуляризация в ускоренном курсе машинного обучения».

LLM оценки (оценки)

#язык

#генеративныйИИ

#Метрика

Набор метрик и тестов для оценки производительности больших языковых моделей (LLM). На высоком уровне оценки LLM:

• Помогите исследователям определить области, где LLM нуждается в улучшении.
• Полезны для сравнения различных LLM и определения лучшего LLM для конкретной задачи.
• Помогите гарантировать, что использование LLM безопасно и этически.

Дополнительные сведения см. в разделе «Большие языковые модели (LLM)» в ускоренном курсе машинного обучения.

потеря

#основы

#Метрика

Во время обучения модели с учителем — это показатель того, насколько далеко предсказание модели находится от ее метки .

Функция потерь вычисляет потери.

Дополнительную информацию см. в разделе «Линейная регрессия: потери в ускоренном курсе машинного обучения».

функция потерь

#основы

#Метрика

Во время обучения или тестирования — математическая функция, вычисляющая потери на серии примеров. Функция потерь возвращает меньшие потери для моделей, дающих хорошие прогнозы, чем для моделей, дающих плохие прогнозы.

Целью обучения обычно является минимизация потерь, которые возвращает функция потерь.

Существует множество различных видов функций потерь. Выберите соответствующую функцию потерь для модели, которую вы строите. Например:

• Потери L ₂ (или среднеквадратическая ошибка ) — это функция потерь для линейной регрессии .
• Log Loss — это функция потерь для логистической регрессии .

М

Средняя абсолютная ошибка (MAE)

#Метрика

Средняя потеря на пример при использовании потерь L ₁ . Рассчитайте среднюю абсолютную ошибку следующим образом:

1. Рассчитайте потерю L ₁ для партии.
2. Разделите потерю L ₁ на количество образцов в партии.

Щелкните значок, чтобы увидеть формальную математику.

$$\text{Mean Absolute Error} = \frac{1}{n}\sum_{i=0}^n | y_i - \hat{y}_i |$$

где:

• $n$ — количество примеров.
• $y$ — фактическое значение метки.
• $\hat{y}$ — это значение, которое прогнозирует модель для $y$.

---

Например, рассмотрим расчет потерь L ₁ для следующей партии из пяти примеров:

Фактическая стоимость примера	Прогнозируемая ценность модели	Убыток (разница между фактическим и прогнозируемым)
7	6	1
5	4	1
8	11	3
4	6	2
9	8	1
		8 = потеря L 1

Итак, потеря L ₁ равна 8, а количество примеров равно 5. Следовательно, средняя абсолютная ошибка равна:

Mean Absolute Error = L1 loss / Number of Examples
Mean Absolute Error = 8/5 = 1.6

Сравните среднюю абсолютную ошибку со среднеквадратической ошибкой и среднеквадратической ошибкой .

средняя средняя точность при k (mAP@k)

#язык

#генеративныйИИ

#Метрика

Статистическое среднее всей средней точности при k баллах в наборе проверочных данных. Одним из вариантов использования средней точности при k является оценка качества рекомендаций, генерируемых системой рекомендаций .

Хотя фраза «среднее среднее» звучит избыточно, название показателя вполне подходящее. В конце концов, эта метрика находит среднее значение множественной средней точности при значениях k .

Нажмите на значок, чтобы увидеть пример.

Предположим, вы создаете систему рекомендаций, которая генерирует персональный список рекомендуемых романов для каждого пользователя. На основе отзывов выбранных пользователей вы рассчитываете следующие пять средних значений точности для k баллов (по одному баллу на пользователя):

• 0,73
• 0,77
• 0,67
• 0,82
• 0,76

Таким образом, средняя средняя точность при K равна:

$$\text{mean } = \frac{\text{0.73 + 0.77 + 0.67 + 0.82 + 0.76}} {\text{5}} = \text{0.75}$$

---

Среднеквадратическая ошибка (MSE)

#Метрика

Средняя потеря на пример при использовании потерь L ₂ . Рассчитайте среднеквадратическую ошибку следующим образом:

1. Рассчитайте потерю L ₂ для партии.
2. Разделите потерю L ₂ на количество образцов в партии.

Щелкните значок, чтобы увидеть формальную математику.

$$\text{Mean Squared Error} = \frac{1}{n}\sum_{i=0}^n {(y_i - \hat{y}_i)}^2$$где:

• $n$ — количество примеров.
• $y$ — фактическое значение метки.
• $\hat{y}$ — это прогноз модели для $y$.

---

Например, рассмотрим потери в следующей партии из пяти примеров:

Фактическая стоимость	Прогноз модели	Потеря	Квадратная потеря
7	6	1	1
5	4	1	1
8	11	3	9
4	6	2	4
9	8	1	1
			16 = потеря L 2

Следовательно, среднеквадратическая ошибка равна:

Mean Squared Error = L2 loss / Number of Examples
Mean Squared Error = 16/5 = 3.2

Среднеквадратическая ошибка — популярный оптимизатор обучения, особенно для линейной регрессии .

Сравните среднеквадратическую ошибку со средней абсолютной ошибкой и среднеквадратичной ошибкой .

TensorFlow Playground использует среднеквадратическую ошибку для расчета значений потерь.

Щелкните значок, чтобы просмотреть более подробную информацию о выбросах.

Выбросы сильно влияют на среднеквадратическую ошибку. Например, потеря 1 — это потеря в квадрате 1, а потеря 3 — это потеря в квадрате 9. В предыдущей таблице пример с потерей 3 составляет ~ 56% среднеквадратической ошибки, в то время как каждый из примеров с потерей 1 составляет только 6% среднеквадратической ошибки.

Выбросы не влияют на среднюю абсолютную ошибку так сильно, как на среднеквадратическую ошибку. Например, потеря 3 составляет лишь ~38% средней абсолютной ошибки.

Отсечение — это один из способов предотвратить повреждение прогнозирующих способностей вашей модели экстремальными выбросами.

---

метрика

#TensorFlow

#Метрика

Статистика, которая вас волнует.

Цель — это показатель, который система машинного обучения пытается оптимизировать.

API метрик (tf.metrics)

#Метрика

API TensorFlow для оценки моделей. Например, tf.metrics.accuracy определяет, как часто прогнозы модели соответствуют меткам.

минимаксные потери

#Метрика

Функция потерь для генеративно-состязательных сетей , основанная на перекрестной энтропии между распределением сгенерированных и реальных данных.

Минимаксные потери используются в первой статье для описания генеративно-состязательных сетей.

Дополнительную информацию см. в разделе «Функции потерь» в курсе «Генераторно-состязательные сети».

мощность модели

#Метрика

Сложность проблем, которые может изучить модель. Чем сложнее проблемы, которые может изучить модель, тем выше ее емкость. Емкость модели обычно увеличивается с увеличением количества параметров модели. Формальное определение емкости модели классификации см. в разделе «Измерение VC» .

Н

отрицательный класс

#основы

#Метрика

В бинарной классификации один класс называется положительным , а другой — отрицательным . Положительный класс — это вещь или событие, на которое тестируется модель, а отрицательный класс — это другая возможность. Например:

• Отрицательный класс медицинского теста может быть «не опухоль».
• Отрицательным классом в модели классификации электронной почты может быть «не спам».

Контраст с позитивным классом .

О

цель

#Метрика

Метрика , которую ваш алгоритм пытается оптимизировать.

целевая функция

#Метрика

Математическая формула или показатель , который призвана оптимизировать модель. Например, целевой функцией для линейной регрессии обычно является среднеквадратичная потеря . Следовательно, при обучении модели линейной регрессии цель обучения — минимизировать среднеквадратическую потерю.

В некоторых случаях целью является максимизация целевой функции. Например, если целевой функцией является точность, цель состоит в том, чтобы максимизировать точность.

См. также потерю .

П

пройти через k (pass@k)

#Метрика

Метрика для определения качества кода (например, Python), который генерирует большая языковая модель . Точнее говоря, проход по k говорит вам о вероятности того, что хотя бы один сгенерированный блок кода из k сгенерированных блоков кода пройдет все свои модульные тесты.

Большие языковые модели часто с трудом генерируют хороший код для решения сложных задач программирования. Инженеры-программисты адаптируются к этой проблеме, побуждая большую языковую модель генерировать несколько ( k ) решений для одной и той же проблемы. Затем инженеры-программисты тестируют каждое решение с помощью модульных тестов. Расчет прохода при k зависит от результатов модульных тестов:

• Если одно или несколько из этих решений проходят модульный тест, то LLM успешно справляется с задачей генерации кода.
• Если ни одно из решений не проходит модульный тест, то LLM не справляется с задачей генерации кода.

Формула прохода по k выглядит следующим образом:

\[\text{pass at k} = \frac{\text{total number of passes}} {\text{total number of challenges}}\]

В целом, более высокие значения k обеспечивают более высокую проходимость при k баллах; однако более высокие значения k требуют более крупных языковых моделей и ресурсов модульного тестирования.

Нажмите на значок, чтобы просмотреть пример.

Предположим, инженер-программист просит большую языковую модель сгенерировать k = 10 решений для n = 50 сложных задач кодирования. Вот результаты:

• 30 проходов
• 20 неудач

Таким образом, проход на 10 баллов:

$$\text{pass at 10} = \frac{\text{30}} {\text{50}} = 0.6$$

---

производительность

#Метрика

Перегруженный термин со следующими значениями:

• Стандартное значение в разработке программного обеспечения. А именно: насколько быстро (или эффективно) работает эта программа?
• Значение машинного обучения. Здесь производительность отвечает на следующий вопрос: насколько правильна эта модель ? То есть, насколько хороши предсказания модели?

Значения переменных перестановки

#df

#Метрика

Тип важности переменной , которая оценивает увеличение ошибки прогнозирования модели после перестановки значений признака. Важность переменной перестановки — это метрика, независимая от модели.

недоумение

#Метрика

Один из показателей того, насколько хорошо модель выполняет свою задачу. Например, предположим, что ваша задача — прочитать первые несколько букв слова, которое пользователь набирает на клавиатуре телефона, и предложить список возможных слов-дополнений. Недоумение P для этой задачи — это примерно количество предположений, которые вам нужно предложить, чтобы ваш список содержал фактическое слово, которое пытается ввести пользователь.

Растерянность связана с перекрестной энтропией следующим образом:

$$P= 2^{-\text{cross entropy}}$$

позитивный класс

#основы

#Метрика

Класс, для которого вы тестируете.

Например, положительным классом в модели рака может быть «опухоль». Положительным классом в модели классификации электронной почты может быть «спам».

Сравните с отрицательным классом .

Нажмите на значок, чтобы просмотреть дополнительные примечания.

Термин «позитивный класс» может сбивать с толку, поскольку «положительный» результат многих тестов часто является нежелательным результатом. Например, положительный класс во многих медицинских тестах соответствует опухолям или заболеваниям. В общем, вы хотите, чтобы врач сказал вам: «Поздравляем! Результаты вашего анализа были отрицательными». В любом случае положительный класс — это событие, которое пытается обнаружить тест.

По общему признанию, вы одновременно проверяете как положительные, так и отрицательные классы.

---

PR AUC (площадь под кривой PR)

#Метрика

Площадь под интерполированной кривой точности-напоминаемости , полученной путем построения точек (напоминаемости, точности) для различных значений порога классификации .

точность

#Метрика

Метрика для моделей классификации , отвечающая на следующий вопрос:

Когда модель предсказала положительный класс , какой процент предсказаний оказался верным?

Вот формула:

$$\text{Precision} = \frac{\text{true positives}} {\text{true positives} + \text{false positives}}$$

где:

• истинно положительный результат означает, что модель правильно предсказала положительный класс.
• ложное срабатывание означает, что модель ошибочно предсказала положительный класс.

Например, предположим, что модель сделала 200 положительных прогнозов. Из этих 200 положительных предсказаний:

• 150 из них были настоящими положительными.
• 50 оказались ложноположительными.

В этом случае:

$$\text{Precision} = \frac{\text{150}} {\text{150} + \text{50}} = 0.75$$

Сравните с точностью и отзывом .

Дополнительную информацию см. в разделе «Классификация: точность, полнота, прецизионность и связанные с ними показатели» в ускоренном курсе машинного обучения.

точность при k (precision@k)

#язык

#Метрика

Метрика для оценки ранжированного (упорядоченного) списка элементов. Точность в k определяет долю первых k элементов в этом списке, которые являются «релевантными». То есть:

\[\text{precision at k} = \frac{\text{relevant items in first k items of the list}} {\text{k}}\]

Значение k должно быть меньше или равно длине возвращаемого списка. Обратите внимание, что длина возвращаемого списка не является частью расчета.

Актуальность часто субъективна; Даже опытные оценщики человека часто не согласны с тем, какие предметы актуальны.

Сравните с:

• средняя точность при k
• Средняя средняя точность при k

Нажмите на значок, чтобы увидеть пример.

Предположим, что большая языковая модель дается следующий запрос:

List the 6 funniest movies of all time in order.

И модель большого языка возвращает список, показанный в первых двух столбцах следующей таблицы:

Позиция	Фильм	Соответствующий?
1	Генерал	Да
2	Подлые девушки	Да
3	Взвод	Нет
4	Подружки невесты	Да
5	Гражданин Кейн	Нет
6	Это позвоночник	Да

Два из первых трех фильмов актуальны, поэтому точность в 3 - это:

$$\text{precision at 3} = \frac{\text{2}} {\text{3}} = 0.67$$

Четыре из первых пяти фильмов очень смешные, поэтому точность в 5 - это:

$$\text{precision at 5} = \frac{\text{4}} {\text{5}} = 0.8$$

---

Кривая точности

#Метрика

Кривая точности в зависимости от воспоминания на разных порогах классификации .

предвзятость прогнозирования

#Метрика

Значение, указывающее, насколько далеко друг от друга среднее показатели , от среднего значения метки в наборе данных.

Не путать с термином смещения в моделях машинного обучения или с предвзятостью в этике и справедливости .

прогнозирующая паритет

#ответственный

#Метрика

Метрика справедливости , которая проверяет, являются ли для данного классификатора точные показатели эквивалентны для рассматриваемых подгрупп.

Например, модель, которая прогнозирует принятие колледжа, удовлетворит прогнозирующую паритет для национальности, если его точность одинакова для лиллипутов и бробдингнагианцев.

Предсказательный паритет иногда также называется паритетом прогнозной скорости .

См. «Определения справедливости, объясненные» (раздел 3.2.1) для более подробного обсуждения прогнозной паритета.

Прогнозирующая скорость паритета

#ответственный

#Метрика

Другое название для прогнозирующего паритета .

Функция плотности вероятности

#Метрика

Функция, которая идентифицирует частоту образцов данных, имеющих именно определенное значение. Когда значения набора данных являются непрерывными числами с плавающей точкой, точные совпадения редко встречаются. Однако интеграция функции плотности вероятности от значения x до значения y дает ожидаемую частоту образцов данных между x и y .

Например, рассмотрим нормальное распределение, составляющее среднее значение 200 и стандартное отклонение 30. Чтобы определить ожидаемую частоту образцов данных, падающих в диапазоне 211,4 до 218,7, вы можете интегрировать функцию плотности вероятности для нормального распределения от 211,4 до 218,7.

Р

отзывать

#Метрика

Метрика для классификационных моделей , которая отвечает на следующий вопрос:

Когда наземная правда была положительным классом , какой процент прогнозов модель правильно идентифицировала как положительный класс?

Вот формула:

\[\text{Recall} = \frac{\text{true positives}} {\text{true positives} + \text{false negatives}} \]

где:

• Истинный положительный означает, что модель правильно предсказала положительный класс.
• Ложный отрицательный означает, что модель ошибочно предсказала отрицательный класс .

Например, предположим, что ваша модель сделала 200 прогнозов по примерам, для которых основная истина была положительным классом. Из этих 200 прогнозов:

• 180 были настоящими положительными.
• 20 были ложными негативами.

В этом случае:

\[\text{Recall} = \frac{\text{180}} {\text{180} + \text{20}} = 0.9 \]

Нажмите на значок для заметок о наборах данных класса-имбалансированных данных.

Отзыв особенно полезен для определения прогнозирующей силы классификационных моделей, в которых положительный класс встречается редко. Например, рассмотрим класс-имбалансированный набор данных , в котором положительный класс для определенного заболевания происходит только у 10 пациентов из миллиона. Предположим, что ваша модель делает пять миллионов прогнозов, которые дают следующие результаты:

• 30 настоящих положительных моментов
• 20 ложных негативов
• 4 999 000 настоящих негативов
• 950 ложных срабатываний

Поэтому отзыв этой модели:

recall = TP / (TP + FN)
recall = 30 / (30 + 20) = 0.6 = 60%

Напротив, точность этой модели:

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (30 + 4,999,000) / (30 + 4,999,000 + 950 + 20) = 99.98%

Эта высокая ценность точности выглядит впечатляющей, но по сути бессмысленна. Напоминание-это гораздо более полезный показатель для наборов данных с имбалансными классами, чем точности.

---

См. Классификацию: Точность, отзыв, точность и связанные с ними метрики для получения дополнительной информации.

Напомним в K (Remeply@K)

#язык

#Метрика

Метрика для оценки систем, которые выводят рантин (упорядоченный) список элементов. Напомним, что в K определяет долю соответствующих элементов в первых k пунктах в этом списке из общего числа возвращаемых соответствующих элементов.

\[\text{recall at k} = \frac{\text{relevant items in first k items of the list}} {\text{total number of relevant items in the list}}\]

Контраст с точностью в k .

Нажмите на значок, чтобы увидеть пример.

Предположим, что большая языковая модель дается следующий запрос:

List the 10 funniest movies of all time in order.

И модель большого языка возвращает список, показанный в первых двух столбцах:

Позиция	Фильм	Соответствующий?
1	Генерал	Да
2	Подлые девушки	Да
3	Взвод	Нет
4	Подружки невесты	Да
5	Это позвоночник	Да
6	Самолет!	Да
7	День сурка	Да
8	Монти Питон и Святой Грааль	Да
9	Оппенгеймер	Нет
10	Невежественный	Да

Восемь фильмов в предыдущем списке очень смешные, поэтому они являются «соответствующими элементами в списке». Следовательно, 8 будет знаменателем во всех расчетах отзыва на k . А как насчет числителя? Ну, 3 из первых 4 пунктов актуальны, поэтому напомните в 4:

$$\text{recall at 4} = \frac{\text{3}} {\text{8}} = 0.375$$

7 из первых 8 фильмов очень смешные, так что напомните в 8:

$$\text{recall at 8} = \frac{\text{7}} {\text{8}} = 0.875$$

---

Кривая ROC (операционная характеристика приемника)

#основы

#Метрика

График истинной положительной скорости и ложной положительной скорости для различных порогов классификации в бинарной классификации.

Форма кривой ROC предполагает способность бинарной классификационной модели отделять положительные классы от негативных классов. Предположим, например, что модель бинарной классификации идеально отделяет все отрицательные классы от всех положительных классов:

Кривая ROC для предыдущей модели выглядит следующим образом:

Напротив, в следующих графиках иллюстрации значения необработанной логистической регрессии для ужасной модели, которая вообще не может отделить отрицательные классы от положительных классов:

Кривая ROC для этой модели выглядит следующим образом:

Между тем, в реальном мире большинство моделей бинарной классификации в некоторой степени разделяют положительные и отрицательные классы, но обычно не совсем идеально. Итак, типичная кривая ROC падает где -то между двумя крайностями:

Точка на кривой ROC, ближайшей к (0,0,1,0), теоретически идентифицирует идеальный порог классификации. Тем не менее, несколько других реальных проблем влияют на выбор идеального порога классификации. Например, возможно, ложные негативы вызывают гораздо большую боль, чем ложные позитивы.

Численная метрика, называемая AUC , суммирует кривую ROC в единое значение с плавающей точкой.

Средняя ошибка в квадрате корня (RMSE)

#основы

#Метрика

Квадратный корень средней квадратной ошибки .

Rouge (отзыв, ориентированная на отзыв, для расстояния оценки)

#язык

#Метрика

Семейство показателей, которые оценивают автоматическую суммирование и модели машинного перевода . Метрики Rouge определяют степень, в которой эталонный текст перекрывает текст сгенерированного модели ML. Каждый член семейных мер Rouge перекрывается по -разному. Более высокие оценки Rouge указывают на большее сходство между эталонным текстом и сгенерированным текстом, чем более низкие оценки Rouge.

Каждый член семьи Rouge обычно генерирует следующие показатели:

• Точность
• Отзывать
• F ₁

Примечание. Руж использует точность и воспоминания несколько иначе, чем традиционная точность и отзыв .

Для получения подробной информации и примеров см.

• Rouge-L
• Rouge-n
• Rouge-S.

Примечание: Bleu и Bleurt Optimize для точности , в то время как Rouge оптимизируется для отзыва . Следовательно, Bleu и Bleurt являются лучшими показателями для оценки машинного перевода (поскольку фокус является точностью), в то время как Rouge является лучшей метрикой для суммирования (поскольку фокус отзывает).

Rouge-L

#язык

#Метрика

Член семьи Руж сосредоточился на продолжительности самой длинной общей последующей последовательности в эталонном тексте и сгенерированном тексту . Следующие формулы рассчитывают отзыв и точность для Rouge-L:

$$\text{ROUGE-L recall} = \frac{\text{longest common sequence}} {\text{number of words in the reference text} }$$

$$\text{ROUGE-L precision} = \frac{\text{longest common sequence}} {\text{number of words in the generated text} }$$

Затем вы можете использовать F ₁ , чтобы свернуть отзыв Rouge-L и точность Rouge-L в одну метрику:

$$\text{ROUGE-L F} {_1} = \frac{\text{2} * \text{ROUGE-L recall} * \text{ROUGE-L precision}} {\text{ROUGE-L recall} + \text{ROUGE-L precision} }$$

Нажмите на значок для примера расчета Rouge-L.

Рассмотрим следующий справочный текст и сгенерированный текст.

Категория	Кто произвел?	Текст
Справочный текст	Человеческий переводчик	Я хочу понять широкий спектр вещей.
Сгенерированный текст	ML модель	Я хочу узнать много вещей.

Поэтому:

• Самая длинная общая последующая последовательность - 5 ( я хочу вещей )
• Количество слов в эталонном тексте составляет 9.
• Количество слов в сгенерированном тексте составляет 7.

Следовательно:

$$\text{ROUGE-L recall} = \frac{\text{5}} {\text{9} } = 0.56$$

$$\text{ROUGE-L precision} = \frac{\text{5}} {\text{7} } = 0.71$$

$$\text{ROUGE-L F} {_1} = \frac{\text{2} * \text{0.56} * \text{0.71}} {\text{0.56} + \text{0.71} } = 0.63$$

---

Rouge-L игнорирует любые новеньши в эталонном тексте и сгенерированный текст, поэтому самая длинная общая последовательность может пересекать несколько предложений. Когда ссылочный текст и сгенерированный текст включают несколько предложений, изменение Rouge-L, называемое Rouge-LSUM, как правило, является лучшей метрикой. Rouge-LSUM определяет самую длинную общую последующую последовательность для каждого предложения в отрывке, а затем вычисляет среднее значение для самых длинных общих подпоследований.

Нажмите на значок для примера расчета Rouge-LSUM.

Рассмотрим следующий справочный текст и сгенерированный текст.

Категория	Кто произвел?	Текст
Справочный текст	Человеческий переводчик	Поверхность Марса сухая. Почти вся вода глубоко под землей.
Сгенерированный текст	ML модель	Марс имеет сухую поверхность. Однако подавляющее большинство воды под землей.

Поэтому:

	Первое предложение	Второе предложение
Самая длинная общая последовательность	2 (Марс сухой)	3 (вода под землей)
Продолжительность эталонного текста предложения	6	7
Длина предложения сгенерированного текста	5	8

Следовательно:

$$\text{recall of first sentence} = \frac{\text{2}} {\text{6}} = 0.33 $$

$$\text{recall of second sentence} = \frac{\text{3}} {\text{7}} = 0.43 $$

$$\text{ROUGE-Lsum recall} = \frac{\text{0.33} + \text{0.43}} {\text{2}} = 0.38 $$

$$\text{precision of first sentence} = \frac{\text{2}} {\text{5}} = 0.4 $$

$$\text{precision of second sentence} = \frac{\text{3}} {\text{8}} = 0.38 $$

$$\text{ROUGE-Lsum precision} = \frac{\text{0.4} + \text{0.38}} {\text{2}} = 0.39 $$

$$\text{ROUGE-Lsum F}{_1} = \frac{\text{2} * \text{0.38} * \text{0.39}} {\text{0.38} + \text{0.39}} = 0.38 $$

---

Rouge-n

#язык

#Метрика

Набор метрик в семействе Rouge , который сравнивает общие N-граммы определенного размера в эталонном тексте и сгенерированном тексту . Например:

• Rouge-1 измеряет количество общих токенов в эталонном тексте и сгенерированном тексту.
• Rouge-2 измеряет количество общих биграм (2 грамма) в эталонном тексте и сгенерированном тексту.
• Rouge-3 измеряет количество общих триграмм (3 грамма) в эталонном тексте и сгенерированном тексту.

Вы можете использовать следующие формулы для расчета Rouge-N Recall и Rouge-N. Точность для любого члена семьи Rouge-N:

$$\text{ROUGE-N recall} = \frac{\text{number of matching N-grams}} {\text{number of N-grams in the reference text} }$$

$$\text{ROUGE-N precision} = \frac{\text{number of matching N-grams}} {\text{number of N-grams in the generated text} }$$

Затем вы можете использовать F ₁ , чтобы свернуть Rouge-n Remoad и Rouge-N. Точность в одну метрику:

$$\text{ROUGE-N F}{_1} = \frac{\text{2} * \text{ROUGE-N recall} * \text{ROUGE-N precision}} {\text{ROUGE-N recall} + \text{ROUGE-N precision} }$$

Нажмите на значок для примера.

Предположим, вы решите использовать Rouge-2 для измерения эффективности перевода модели ML по сравнению с человеческим переводчиком.

Категория	Кто произвел?	Текст	Биграмс
Справочный текст	Человеческий переводчик	Я хочу понять широкий спектр вещей.	Я хочу, чтобы понять, понять, широкий, разнообразие, разнообразие вещей
Сгенерированный текст	ML модель	Я хочу узнать много вещей.	Я хочу, хочу, учиться, многому, много, много вещей

Поэтому:

• Количество соответствующих 2 граммов составляет 3 ( я хочу , хочу , и вещей ).
• Количество 2 граммов в эталонном тексту составляет 8.
• Количество 2 граммов в сгенерированном тексте составляет 6.

Следовательно:

$$\text{ROUGE-2 recall} = \frac{\text{3}} {\text{8} } = 0.375$$

$$\text{ROUGE-2 precision} = \frac{\text{3}} {\text{6} } = 0.5$$

$$\text{ROUGE-2 F}{_1} = \frac{\text{2} * \text{0.375} * \text{0.5}} {\text{0.375} + \text{0.5} } = 0.43$$

---

Rouge-S.

#язык

#Метрика

Прощающая форма Rouge-n , которая позволяет сопоставлять скип-грамм . То есть Rouge-N считает только N-граммы , которые точно соответствуют, но Rouge-S также считает N-граммы, разделенные одним или несколькими словами. Например, рассмотрим следующее:

• Справочный текст : белые облака
• сгенерированный текст : белые вздымающиеся облака

При расчете Rouge-N 2-граммовые белые облака не соответствуют белым вздымающимся облакам . Однако при расчете Rouge-S белые облака соответствуют белым вздымающимся облакам .

R-Squared

#Метрика

Метрика регрессии , указывающая, сколько изменений в метке обусловлен индивидуальной функцией или набором функций. R-Squared-это значение от 0 до 1, которое вы можете интерпретировать следующим образом:

• R-квадрат 0 означает, что ни один из вариаций метки не связан с набором функций.
• R-квадрат 1 означает, что все изменения этикетки обусловлены набором функций.
• R-квадрат между 0 и 1 указывает на степень, в которой вариация метки может быть предсказан из определенной функции или набора функций. Например, R-квадрат 0,10 означает, что 10 процентов дисперсии на этикетке обусловлено набором функций, R-квадрат 0,20 означает, что 20 процентов связано с набором функций и т. Д.

R-Squared-это квадрат коэффициента корреляции Пирсона между значениями, которые предсказывали модель, и наземной истиной .

С

подсчет очков

#recsystems

#Метрика

Часть системы рекомендаций , которая обеспечивает значение или ранжирование для каждого элемента, созданного этапом генерации кандидатов .

мера сходства

#clustering

#Метрика

В алгоритмах кластеризации метрика использовалась для определения одинаковых (насколько похожи) какие -либо два примера.

редкость

#Метрика

Количество элементов, установленных на ноль (или нулевое) в векторе или матрице, деленное на общее количество записей в этом векторе или матрице. Например, рассмотрим матрицу из 100 элементов, в которой 98 ячеек содержат ноль. Расчет разреженности заключается в следующем:

$$ {\text{sparsity}} = \frac{\text{98}} {\text{100}} = {\text{0.98}} $$

Чувство редактирования относится к разрешению вектора функций; Модель разреженности относится к разрешению весов модели.

квадратная потеря шарнира

#Метрика

Квадрат потери шарнира . Потеря в квадрате шарнира наказывает выбросы более резко, чем обычная потеря шарнира.

квадратная потеря

#основы

#Метрика

Синоним L ₂ потери .

Т

Тестовая потеря

#основы

#Метрика

Метрика , представляющая потерю модели против испытательного набора . При создании модели вы обычно пытаетесь минимизировать потерю тестов. Это связано с тем, что низкая потеря тестов является более сильным сигналом качества, чем низкая потери тренировок или низкая потери проверки .

Большой разрыв между потерей теста и потерей обучения или потерей проверки иногда предполагает, что вам необходимо увеличить частоту регуляризации .

точность Top-K

#язык

#Метрика

Процент раз, когда «целевая метка» появляется в первых позициях k сгенерированных списков. Списки могут быть персонализированными рекомендациями или списком предметов, заказанных Softmax .

Точность Top-K также известна как точность в K.

ПРИМЕЧАНИЕ. Целевой меткой может быть любой класс (не обязательно основной класс истины ), поэтому точность Top-K не всегда эквивалентна традиционной точности .

Нажмите на значок для примера.

Рассмотрим систему машинного обучения, которая использует Softmax для идентификации вероятностей дерева на основе изображения листьев деревьев. В следующей таблице показаны списки выводов, сгенерированные из пяти изображений дерева входных деревьев. Каждый ряд содержит целевую метку и пять наиболее вероятных деревьев. Например, когда целевой этикеткой был клен , модель машинного обучения идентифицировала ELM как наиболее вероятное дерево, дуб как второе наиболее вероятное дерево и так далее.

Целевой ярлык	1	2	3	4	5
клен	вяз	дуб	клен	бук	тополь
кизил	дуб	кизил	тополь	гикори	клен
дуб	дуб	липа	саранча	ольха	липа
липа	клен	папайя	дуб	липа	тополь
дуб	саранча	липа	дуб	клен	папайя

Целевая метка появляется в первой позиции только один раз, поэтому точность TOP-1 такова:

$$\text{top-1 accuracy} = \frac{\text{1}} {\text{5}} = 0.2$$

Целевая метка появляется в одном из трех лучших позиций четыре раза, поэтому топ-3 точности:

$$\text{top-1 accuracy} = \frac{\text{4}} {\text{5}} = 0.8$$

---

токсичность

#язык

#Метрика

Степень, в которой контент является оскорбительным, угрожающим или оскорбительным. Многие модели машинного обучения могут идентифицировать и измерять токсичность. Большинство из этих моделей идентифицируют токсичность по нескольким параметрам, таким как уровень оскорбительного языка и уровень угрожающего языка.

Потеря обучения

#основы

#Метрика

Метрика , представляющая потерю модели во время конкретной учебной итерации. Например, предположим, что функция потери является средней квадратной ошибкой . Возможно, потери обучения (средняя квадратная ошибка) для 10 -й итерации составляет 2,2, а утрата обучения для 100 -й итерации составляет 1,9.

Кривая потерь определяет потерю обучения по сравнению с количеством итераций. Кривая потерь дает следующие намеки на обучение:

• Нисходящий наклон подразумевает, что модель улучшается.
• Вверх уклон подразумевает, что модель ухудшается.
• Плоский наклон подразумевает, что модель достигла сходимости .

Например, на следующей несколько идеализированной кривой потерь показывает:

• Крутой наклон вниз во время начальных итераций, что подразумевает быстрое улучшение модели.
• Постепенно сглаживающий (но все еще вниз) наклон до конца тренировок, что подразумевает продолжающееся улучшение модели в несколько более медленном темпе, чем во время начальных итераций.
• Плоский склон к концу тренировок, который предполагает сходимость.

Хотя убытка обучения важна, см. Также обобщение .

истинный отрицательный (TN)

#основы

#Метрика

Пример, в котором модель правильно предсказывает отрицательный класс . Например, модель делает, что конкретное сообщение электронной почты не является спамом , и это сообщение электронной почты на самом деле не спам .

истинный положительный (TP)

#основы

#Метрика

Пример, в котором модель правильно предсказывает положительный класс . Например, модель делает, что конкретным сообщением электронной почты является спам, и это сообщение электронной почты действительно является спамом.

Истинная положительная скорость (TPR)

#основы

#Метрика

Синоним для отзывов . То есть:

$$\text{true positive rate} = \frac {\text{true positives}} {\text{true positives} + \text{false negatives}}$$

Истинная положительная скорость-ось Y в кривой ROC .

В

убытка валидации

#основы

#Метрика

Метрика , представляющая потерю модели при наборе проверки во время конкретной итерации обучения.

См. Также кривая обобщения .

переменные импорты

#df

#Метрика

Набор результатов, которые указывают на относительную важность каждой функции для модели.

Например, рассмотрим дерево решений , которое оценивает цены на жилье. Предположим, что это дерево решений использует три функции: размер, возраст и стиль. Если набор переменных импортов для трех функций рассчитывается как {size = 5,8, возраст = 2,5, стиль = 4,7}, то размер более важен для дерева решений, чем возраст или стиль.

Существуют различные показатели важности переменной, которые могут информировать экспертов ML о различных аспектах моделей.

Вт

Вассерштейн потеря

#Метрика

Одна из функций потерь, обычно используемых в генеративных состязательных сетях , на основе расстояния грунта Земли между распределением сгенерированных данных и реальными данными.