Zadbaj o dobrą organizację dzięki kolekcji
Zapisuj i kategoryzuj treści zgodnie ze swoimi preferencjami.
Przed utworzeniem wektorów cech zalecamy zbadanie danych liczbowych na 2 sposoby:
wizualizować dane na wykresach lub w postaci wykresów,
uzyskiwać statystyki dotyczące swoich danych;
Utwórz wizualizację danych
Wykresy mogą pomóc w znalezieniu anomalii lub wzorców ukrytych w danych.
Dlatego zanim zaczniesz analizować dane, warto je najpierw wyświetlić w postaci wykresów rozproszonych lub histogramów. Wyświetlaj wykresy nie tylko na początku potoku danych, ale też podczas przekształcania danych. Wizualizacje pomagają stale sprawdzać założenia.
Do wizualizacji zalecamy użycie biblioteki pandas:
Pamiętaj, że niektóre narzędzia do wizualizacji są zoptymalizowane pod kątem określonych formatów danych.
Narzędzie do wizualizacji, które pomaga oceniać bufory protokołu, może, ale nie musi pomagać w ocenie danych CSV.
Statystyczna analiza danych
Oprócz analizy wizualnej zalecamy również ocenę potencjalnych funkcji i etykietek za pomocą obliczeń matematycznych, aby zebrać podstawowe statystyki, takie jak:
średnia i mediana
odchylenie standardowe
wartości w miejscach podziału na kwartyle: 0, 25, 50, 75 i 100 percentyla; 0. centyl to minimalna wartość w kolumnie, a 100. centyl to maksymalna wartość w kolumnie. (50 centyl to mediana).
znajdować wartości odstające.
Wyjątek to wartość odległa od większości innych wartości w cechu lub etykiecie. Warto pamiętać, że wartości odstające często powodują problemy podczas trenowania modelu, dlatego ważne jest ich znajdowanie.
Jeśli różnica między 0 a 25 procentylem różni się znacznie od różnicy między 75 a 100 procentylem, zbiór danych prawdopodobnie zawiera wartości odstające.
Wartości odstające mogą należeć do jednej z tych kategorii:
Wyjątek jest spowodowany błędem.
Może na przykład eksperymentator przez pomyłkę wpisał dodatkową cyfrę 0, a może instrument zbierający dane działał nieprawidłowo.
Zwykle usuwasz przykłady zawierające wartości odstające.
Wyjątek to prawidłowy punkt danych, a nie błąd.
Czy w tym przypadku wytrenowany model będzie musiał w końcu wyciągać trafne wnioski na podstawie tych wartości odstających?
Jeśli tak, zachowaj te wartości odstające w swoim zbiorze treningowym. W szakramie te wartości skrajne w pewnych cechach czasami odzwierciedlają wartości skrajne w etykiecie, więc mogą pomagać modelowi w uzyskiwaniu lepszych wyników.
Pamiętaj, że wartości skrajne mogą nadal negatywnie wpływać na model.
Jeśli nie, usuń wartości odstające lub zastosuj bardziej inwazyjne metody inżynierii cech, takie jak clipping.
[null,null,["Ostatnia aktualizacja: 2025-02-26 UTC."],[[["\u003cp\u003eBefore creating feature vectors, it is crucial to analyze numerical data by visualizing it through plots and graphs and calculating basic statistics like mean, median, and standard deviation.\u003c/p\u003e\n"],["\u003cp\u003eVisualizations, such as scatter plots and histograms, can reveal anomalies and patterns in the data, aiding in identifying potential issues early in the data analysis process.\u003c/p\u003e\n"],["\u003cp\u003eOutliers, values significantly distant from others, should be identified and handled appropriately, either by correcting mistakes, retaining legitimate outliers for model training, or applying techniques like clipping.\u003c/p\u003e\n"],["\u003cp\u003eStatistical evaluation helps in understanding the distribution and characteristics of data, providing insights into potential feature and label relationships.\u003c/p\u003e\n"],["\u003cp\u003eWhile basic statistics and visualizations provide valuable insights, it's essential to remain vigilant as anomalies can still exist in seemingly well-balanced data.\u003c/p\u003e\n"]]],[],null,["# Numerical data: First steps\n\nBefore creating feature vectors, we recommend studying numerical data in\ntwo ways:\n\n- Visualize your data in plots or graphs.\n- Get statistics about your data.\n\nVisualize your data\n-------------------\n\nGraphs can help you find anomalies or patterns hiding in the data.\nTherefore, before getting too far into analysis, look at your\ndata graphically, either as scatter plots or histograms. View graphs not\nonly at the beginning of the data pipeline, but also throughout data\ntransformations. Visualizations help you continually check your assumptions.\n\nWe recommend working with pandas for visualization:\n\n- [Working with Missing Data (pandas\n Documentation)](http://pandas.pydata.org/pandas-docs/stable/missing_data.html)\n- [Visualizations (pandas\n Documentation)](http://pandas.pydata.org/pandas-docs/stable/visualization.html)\n\nNote that certain visualization tools are optimized for certain data formats.\nA visualization tool that helps you evaluate protocol buffers may or may not\nbe able to help you evaluate CSV data.\n\nStatistically evaluate your data\n--------------------------------\n\nBeyond visual analysis, we also recommend evaluating potential features and\nlabels mathematically, gathering basic statistics such as:\n\n- mean and median\n- standard deviation\n- the values at the quartile divisions: the 0th, 25th, 50th, 75th, and 100th percentiles. The 0th percentile is the minimum value of this column; the 100th percentile is the maximum value of this column. (The 50th percentile is the median.)\n\nFind outliers\n-------------\n\nAn [**outlier**](/machine-learning/glossary#outliers) is a value *distant*\nfrom most other values in a feature or label. Outliers often cause problems\nin model training, so finding outliers is important.\n\nWhen the delta between the 0th and 25th percentiles differs significantly\nfrom the delta between the 75th and 100th percentiles, the dataset probably\ncontains outliers.\n| **Note:** Don't over-rely on basic statistics. Anomalies can also hide in seemingly well-balanced data.\n\nOutliers can fall into any of the following categories:\n\n- The outlier is due to a *mistake*. For example, perhaps an experimenter mistakenly entered an extra zero, or perhaps an instrument that gathered data malfunctioned. You'll generally delete examples containing mistake outliers.\n- The outlier is a legitimate data point, *not a mistake* . In this case, will your trained model ultimately need to infer good predictions on these outliers?\n - If yes, keep these outliers in your training set. After all, outliers in certain features sometimes mirror outliers in the label, so the outliers could actually *help* your model make better predictions. Be careful, extreme outliers can still hurt your model.\n - If no, delete the outliers or apply more invasive feature engineering techniques, such as [**clipping**](/machine-learning/glossary#clipping).\n\n| **Key terms:**\n|\n| - [Clipping](/machine-learning/glossary#clipping)\n- [Outliers](/machine-learning/glossary#outliers) \n[Help Center](https://support.google.com/machinelearningeducation)"]]
