Тримайте все під контролем за допомогою колекцій
Зберігайте контент і організовуйте його за категоріями відповідно до своїх потреб.
Перед створенням векторних представлень ознак рекомендуємо дослідити числові дані двома способами.
Візуалізувати дані, створивши графіки або діаграми.
Отримати статистику про дані.
Візуалізуйте дані
За допомогою графіків можна знайти аномалії або закономірності, що ховаються в даних.
Тому, перш ніж заглиблюватися в аналіз, подивіться на графічне представлення своїх даних: точкові діаграми або гістограми. Переглядайте графіки не лише на початковому етапі конвеєра даних, але й під час їх трансформації. Візуалізації допомагають постійно перевіряти свої припущення.
Зверніть увагу, що деякі інструменти візуалізації оптимізовано для певних форматів даних.
Інструмент візуалізації для оцінки даних у форматі Protocol Buffers може допомогти вам із даними у форматі CSV або не підтримувати їх взагалі.
Статистично оцінюйте свої дані
На додаток до візуального аналізу, рекомендуємо оцінити потенційні ознаки й мітки математичним способом, зібравши базові статистичні дані, такі як:
середнє арифметичне й медіана;
стандартні відхилення;
значення з квартильним розподілом: 0-й, 25-й, 50-й, 75-й і 100-й процентилі (0-й процентиль – мінімальне значення цього стовпця, 100-й – максимальне, а 50-й – медіана).
Знайдіть викиди
Викид – це значення, віддалене від більшості інших значень ознаки або мітки. Викиди часто спричиняють проблеми під час навчання моделі, тому важливо знаходити їх.
Якщо дельта між 0-м і 25-м процентилями значно відрізняється від дельти між 75-м і 100-м процентилями, набір даних, імовірно, містить викиди.
Викиди можуть належати до будь-якої з категорій, наведених нижче.
Викид пов’язаний із помилкою.
Можливо, експериментатор помилково ввів зайвий нуль або інструмент, який збирав дані, вийшов із ладу.
Приклади, у яких є помилкові викиди, зазвичай видаляються.
Викид – це легітимна точка даних, а не помилка.
У такому разі чи потрібно буде вашій навченій моделі зрештою робити хороші прогнози на основі таких викидів?
Якщо так, збережіть ці викиди у своєму навчальному наборі даних. Усе-таки викиди певних ознак іноді відображають викиди мітки, тому такі дані можуть допомогти вашій моделі робити кращі прогнози.
Не забувайте, що вкрай відмінні викиди все одно можуть зашкодити моделі.
Якщо ні, видаліть викиди або застосуйте агресивніші методи конструювання ознак, наприклад обрізання.
[null,null,["Останнє оновлення: 2025-04-22 (UTC)."],[[["\u003cp\u003eBefore creating feature vectors, it is crucial to analyze numerical data by visualizing it through plots and graphs and calculating basic statistics like mean, median, and standard deviation.\u003c/p\u003e\n"],["\u003cp\u003eVisualizations, such as scatter plots and histograms, can reveal anomalies and patterns in the data, aiding in identifying potential issues early in the data analysis process.\u003c/p\u003e\n"],["\u003cp\u003eOutliers, values significantly distant from others, should be identified and handled appropriately, either by correcting mistakes, retaining legitimate outliers for model training, or applying techniques like clipping.\u003c/p\u003e\n"],["\u003cp\u003eStatistical evaluation helps in understanding the distribution and characteristics of data, providing insights into potential feature and label relationships.\u003c/p\u003e\n"],["\u003cp\u003eWhile basic statistics and visualizations provide valuable insights, it's essential to remain vigilant as anomalies can still exist in seemingly well-balanced data.\u003c/p\u003e\n"]]],[],null,["# Numerical data: First steps\n\nBefore creating feature vectors, we recommend studying numerical data in\ntwo ways:\n\n- Visualize your data in plots or graphs.\n- Get statistics about your data.\n\nVisualize your data\n-------------------\n\nGraphs can help you find anomalies or patterns hiding in the data.\nTherefore, before getting too far into analysis, look at your\ndata graphically, either as scatter plots or histograms. View graphs not\nonly at the beginning of the data pipeline, but also throughout data\ntransformations. Visualizations help you continually check your assumptions.\n\nWe recommend working with pandas for visualization:\n\n- [Working with Missing Data (pandas\n Documentation)](http://pandas.pydata.org/pandas-docs/stable/missing_data.html)\n- [Visualizations (pandas\n Documentation)](http://pandas.pydata.org/pandas-docs/stable/visualization.html)\n\nNote that certain visualization tools are optimized for certain data formats.\nA visualization tool that helps you evaluate protocol buffers may or may not\nbe able to help you evaluate CSV data.\n\nStatistically evaluate your data\n--------------------------------\n\nBeyond visual analysis, we also recommend evaluating potential features and\nlabels mathematically, gathering basic statistics such as:\n\n- mean and median\n- standard deviation\n- the values at the quartile divisions: the 0th, 25th, 50th, 75th, and 100th percentiles. The 0th percentile is the minimum value of this column; the 100th percentile is the maximum value of this column. (The 50th percentile is the median.)\n\nFind outliers\n-------------\n\nAn [**outlier**](/machine-learning/glossary#outliers) is a value *distant*\nfrom most other values in a feature or label. Outliers often cause problems\nin model training, so finding outliers is important.\n\nWhen the delta between the 0th and 25th percentiles differs significantly\nfrom the delta between the 75th and 100th percentiles, the dataset probably\ncontains outliers.\n| **Note:** Don't over-rely on basic statistics. Anomalies can also hide in seemingly well-balanced data.\n\nOutliers can fall into any of the following categories:\n\n- The outlier is due to a *mistake*. For example, perhaps an experimenter mistakenly entered an extra zero, or perhaps an instrument that gathered data malfunctioned. You'll generally delete examples containing mistake outliers.\n- The outlier is a legitimate data point, *not a mistake* . In this case, will your trained model ultimately need to infer good predictions on these outliers?\n - If yes, keep these outliers in your training set. After all, outliers in certain features sometimes mirror outliers in the label, so the outliers could actually *help* your model make better predictions. Be careful, extreme outliers can still hurt your model.\n - If no, delete the outliers or apply more invasive feature engineering techniques, such as [**clipping**](/machine-learning/glossary#clipping).\n\n| **Key terms:**\n|\n| - [Clipping](/machine-learning/glossary#clipping)\n- [Outliers](/machine-learning/glossary#outliers) \n[Help Center](https://support.google.com/machinelearningeducation)"]]