Mit Sammlungen den Überblick behalten
Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.
Bevor Sie Feature-Vektoren erstellen, empfehlen wir, numerische Daten auf zwei Arten zu untersuchen:
Daten in Plots oder Diagrammen visualisieren.
Statistiken zu Ihren Daten abrufen
Daten visualisieren
Mithilfe von Grafiken können Sie Anomalien oder Muster in den Daten erkennen.
Bevor Sie mit der Analyse beginnen, sollten Sie sich Ihre Daten daher grafisch ansehen, entweder als Streudiagramme oder Histogramme. Sie können Diagramme nicht nur am Anfang der Datenpipeline, sondern auch während der Datentransformationen aufrufen. Mithilfe von Visualisierungen können Sie Ihre Annahmen kontinuierlich überprüfen.
Wir empfehlen für die Visualisierung die Verwendung von Pandas:
Bestimmte Visualisierungstools sind für bestimmte Datenformate optimiert.
Ein Visualisierungstool, das Ihnen bei der Auswertung von Protokoll-Buffers hilft, kann Ihnen bei der Auswertung von CSV-Daten helfen oder auch nicht.
Daten statistisch auswerten
Neben der visuellen Analyse empfehlen wir auch, potenzielle Funktionen und Labels mathematisch zu bewerten und grundlegende Statistiken zu erheben, z. B.:
Mittelwert und Median
Standardabweichung
die Werte an den Quartilunterteilungen: das 0., 25., 50., 75. und 100. Perzentil. Der 0. Perzentilwert ist der Mindestwert dieser Spalte und der 100. Perzentilwert ist der Höchstwert dieser Spalte. (Das 50. Perzentil ist der Medianwert.)
Ausreißer finden
Ein Ausreißer ist ein Wert, der weit entfernt von den meisten anderen Werten in einem Merkmal oder Label liegt. Außerhalb der Norm liegende Werte verursachen häufig Probleme beim Modelltraining. Daher ist es wichtig, sie zu finden.
Wenn sich das Delta zwischen dem 0. und dem 25. Perzentil deutlich vom Delta zwischen dem 75. und dem 100. Perzentil unterscheidet, enthält der Datensatz wahrscheinlich Ausreißer.
Außerhalb der Norm liegende Werte können in eine der folgenden Kategorien fallen:
Der Ausreißer ist auf einen Fehler zurückzuführen.
Vielleicht hat ein Testleiter beispielsweise versehentlich eine zusätzliche Null eingegeben oder ein Gerät, mit dem Daten erfasst wurden, funktionierte nicht richtig.
Sie sollten in der Regel Beispiele löschen, die Abweichungen aufgrund von Fehlern enthalten.
Der Ausreißer ist ein legitimer Datenpunkt und kein Fehler.
Muss Ihr trainiertes Modell in diesem Fall gute Vorhersagen für diese Ausreißer treffen?
Wenn ja, belassen Sie diese Ausreißer im Trainingsdatensatz. Außerhalb der Norm liegende Werte bei bestimmten Merkmalen spiegeln manchmal Außerhalb der Norm liegende Werte im Label wider. Daher können sie Ihrem Modell helfen, bessere Vorhersagen zu treffen.
Achtung: Extreme Ausreißer können Ihrem Modell trotzdem schaden.
Falls nicht, löschen Sie die Ausreißer oder wenden Sie drastischere Techniken zur Feature-Erstellung an, z. B. Clipping.
[null,null,["Zuletzt aktualisiert: 2025-02-26 (UTC)."],[[["\u003cp\u003eBefore creating feature vectors, it is crucial to analyze numerical data by visualizing it through plots and graphs and calculating basic statistics like mean, median, and standard deviation.\u003c/p\u003e\n"],["\u003cp\u003eVisualizations, such as scatter plots and histograms, can reveal anomalies and patterns in the data, aiding in identifying potential issues early in the data analysis process.\u003c/p\u003e\n"],["\u003cp\u003eOutliers, values significantly distant from others, should be identified and handled appropriately, either by correcting mistakes, retaining legitimate outliers for model training, or applying techniques like clipping.\u003c/p\u003e\n"],["\u003cp\u003eStatistical evaluation helps in understanding the distribution and characteristics of data, providing insights into potential feature and label relationships.\u003c/p\u003e\n"],["\u003cp\u003eWhile basic statistics and visualizations provide valuable insights, it's essential to remain vigilant as anomalies can still exist in seemingly well-balanced data.\u003c/p\u003e\n"]]],[],null,["# Numerical data: First steps\n\nBefore creating feature vectors, we recommend studying numerical data in\ntwo ways:\n\n- Visualize your data in plots or graphs.\n- Get statistics about your data.\n\nVisualize your data\n-------------------\n\nGraphs can help you find anomalies or patterns hiding in the data.\nTherefore, before getting too far into analysis, look at your\ndata graphically, either as scatter plots or histograms. View graphs not\nonly at the beginning of the data pipeline, but also throughout data\ntransformations. Visualizations help you continually check your assumptions.\n\nWe recommend working with pandas for visualization:\n\n- [Working with Missing Data (pandas\n Documentation)](http://pandas.pydata.org/pandas-docs/stable/missing_data.html)\n- [Visualizations (pandas\n Documentation)](http://pandas.pydata.org/pandas-docs/stable/visualization.html)\n\nNote that certain visualization tools are optimized for certain data formats.\nA visualization tool that helps you evaluate protocol buffers may or may not\nbe able to help you evaluate CSV data.\n\nStatistically evaluate your data\n--------------------------------\n\nBeyond visual analysis, we also recommend evaluating potential features and\nlabels mathematically, gathering basic statistics such as:\n\n- mean and median\n- standard deviation\n- the values at the quartile divisions: the 0th, 25th, 50th, 75th, and 100th percentiles. The 0th percentile is the minimum value of this column; the 100th percentile is the maximum value of this column. (The 50th percentile is the median.)\n\nFind outliers\n-------------\n\nAn [**outlier**](/machine-learning/glossary#outliers) is a value *distant*\nfrom most other values in a feature or label. Outliers often cause problems\nin model training, so finding outliers is important.\n\nWhen the delta between the 0th and 25th percentiles differs significantly\nfrom the delta between the 75th and 100th percentiles, the dataset probably\ncontains outliers.\n| **Note:** Don't over-rely on basic statistics. Anomalies can also hide in seemingly well-balanced data.\n\nOutliers can fall into any of the following categories:\n\n- The outlier is due to a *mistake*. For example, perhaps an experimenter mistakenly entered an extra zero, or perhaps an instrument that gathered data malfunctioned. You'll generally delete examples containing mistake outliers.\n- The outlier is a legitimate data point, *not a mistake* . In this case, will your trained model ultimately need to infer good predictions on these outliers?\n - If yes, keep these outliers in your training set. After all, outliers in certain features sometimes mirror outliers in the label, so the outliers could actually *help* your model make better predictions. Be careful, extreme outliers can still hurt your model.\n - If no, delete the outliers or apply more invasive feature engineering techniques, such as [**clipping**](/machine-learning/glossary#clipping).\n\n| **Key terms:**\n|\n| - [Clipping](/machine-learning/glossary#clipping)\n- [Outliers](/machine-learning/glossary#outliers) \n[Help Center](https://support.google.com/machinelearningeducation)"]]
