Klasyfikacja: odchylenie prognozy
Zadbaj o dobrą organizację dzięki kolekcji
Zapisuj i kategoryzuj treści zgodnie ze swoimi preferencjami.
Jak wspomnieliśmy w
Regresja liniowa
moduł, obliczanie
odchylenie prognozy
to szybki test, który może oznaczać problemy z modelem lub danymi treningowymi
do ich wczesnych testów.
Odchylenie prognozy to różnica między średnią modelu
prognoz,
oraz średnią
etykiety ground-truth w
i skalowalnych danych. Model wytrenowany na zbiorze danych
gdzie 5% e-maili to spam można przewidzieć, że 5%
e-maile, które klasyfikuje jako spam. Innymi słowy, średnia dla etykiet w kolumnie
zbiór danych danych podstawowych to 0,05, a średnia prognoz modelu powinna
również będzie wynosić 0,05. W takim przypadku model ma zerowe odchylenie prognozy. z
model nadal może jednak mieć inne problemy.
Jeśli zamiast tego model przewiduje, że e-mail jest spamem w 50% przypadków, to:
coś jest nie tak ze zbiorem danych treningowych, nowym zbiorem danych używanym przez model
lub z samym modelem. Dowolne
znacząca różnica między tymi 2 środkami sugeruje, że model
pewne uprzedzenia prognozowania.
Przyczyny odchylenia prognozy:
- uprzedzenia lub szum w danych, w tym stronnicze próbkowanie w przypadku zbioru treningowego;
- Zbyt silna regularyzacja, co oznacza, że model został nadmiernie uproszczony i utracony
pewnej niezbędnej złożoności
- Błędy w potoku trenowania modelu
- Zestaw funkcji udostępnionych modelowi jest niewystarczający do realizacji zadania
O ile nie stwierdzono inaczej, treść tej strony jest objęta licencją Creative Commons – uznanie autorstwa 4.0, a fragmenty kodu są dostępne na licencji Apache 2.0. Szczegółowe informacje na ten temat zawierają zasady dotyczące witryny Google Developers. Java jest zastrzeżonym znakiem towarowym firmy Oracle i jej podmiotów stowarzyszonych.
Ostatnia aktualizacja: 2024-08-13 UTC.
[null,null,["Ostatnia aktualizacja: 2024-08-13 UTC."],[[["\u003cp\u003ePrediction bias, calculated as the difference between the average prediction and the average ground truth, is a quick check for model or data issues.\u003c/p\u003e\n"],["\u003cp\u003eA model with zero prediction bias ideally predicts the same average outcome as observed in the ground truth data, such as a spam detection model predicting the same percentage of spam emails as actually present in the dataset.\u003c/p\u003e\n"],["\u003cp\u003eSignificant prediction bias can indicate problems in the training data, the model itself, or the new data being applied to the model.\u003c/p\u003e\n"],["\u003cp\u003eCommon causes of prediction bias include biased data, excessive regularization, bugs in the training process, and insufficient features provided to the model.\u003c/p\u003e\n"]]],[],null,["# Classification: Prediction bias\n\nAs mentioned in the\n[Linear regression](/machine-learning/crash-course/linear-regression)\nmodule, calculating\n[**prediction bias**](/machine-learning/glossary#prediction_bias)\nis a quick check that can flag issues with the model or training data\nearly on.\n\nPrediction bias is the difference between the mean of a model's\n[**predictions**](/machine-learning/glossary#prediction)\nand the mean of\n[**ground-truth**](/machine-learning/glossary#ground-truth) labels in the\ndata. A model trained on a dataset\nwhere 5% of the emails are spam should predict, on average, that 5% of the\nemails it classifies are spam. In other words, the mean of the labels in the\nground-truth dataset is 0.05, and the mean of the model's predictions should\nalso be 0.05. If this is the case, the model has zero prediction bias. Of\ncourse, the model might still have other problems.\n\nIf the model instead predicts 50% of the time that an email is spam, then\nsomething is wrong with the training dataset, the new dataset the model is\napplied to, or with the model itself. Any\nsignificant difference between the two means suggests that the model has\nsome prediction bias.\n\nPrediction bias can be caused by:\n\n- Biases or noise in the data, including biased sampling for the training set\n- Too-strong regularization, meaning that the model was oversimplified and lost some necessary complexity\n- Bugs in the model training pipeline\n- The set of features provided to the model being insufficient for the task\n\n| **Key terms:**\n|\n| - [Ground truth](/machine-learning/glossary#ground-truth)\n| - [Prediction](/machine-learning/glossary#prediction)\n- [Prediction bias](/machine-learning/glossary#prediction_bias) \n[Help Center](https://support.google.com/machinelearningeducation)"]]
