Mantieni tutto organizzato con le raccolte
Salva e classifica i contenuti in base alle tue preferenze.
Prima di creare vettori di funzionalità, ti consigliamo di studiare i dati numerici in due modi:
Visualizza i dati in grafici o grafici.
Visualizza le statistiche relative ai tuoi dati.
Visualizzare i dati
I grafici possono aiutarti a trovare anomalie o pattern nascosti nei dati.
Pertanto, prima di procedere troppo con l'analisi, esamina i dati in modo grafico, sotto forma di grafici a dispersione o istogrammi. Visualizza i grafici non solo all'inizio della pipeline di dati, ma anche durante le trasformazioni dei dati. Le visualizzazioni ti aiutano a verificare continuamente le tue ipotesi.
Per la visualizzazione, ti consigliamo di utilizzare pandas:
Tieni presente che alcuni strumenti di visualizzazione sono ottimizzati per determinati formati di dati.
Uno strumento di visualizzazione che ti aiuta a valutare i buffer del protocollo potrebbe o meno essere in grado di aiutarti a valutare i dati CSV.
Valutare i dati in modo statistico
Oltre all'analisi visiva, ti consigliamo anche di valutare matematicamente le potenziali funzionalità e le etichette, raccogliendo statistiche di base come:
media e mediana
deviazione standard
i valori alle suddivisioni dei quartili: i percentile 0, 25, 50, 75 e 100. Il percentile 0 è il valore minimo di questa colonna, mentre il
percentile 100 è il valore massimo di questa colonna. Il 50° percentile è la mediana.
Trovare gli outlier
Un outlier è un valore distante
dalla maggior parte degli altri valori in un elemento o in un'etichetta. Gli outlier spesso causano problemi
in fase di addestramento del modello, quindi è importante trovarli.
Quando il delta tra il percentile 0 e il percentile 25 è molto diverso
dal delta tra il percentile 75 e il percentile 100, il set di dati probabilmente
contiene valori anomali.
Gli outlier possono rientrare in una delle seguenti categorie:
L'outlier è dovuto a un errore.
Ad esempio, un sperimentatore potrebbe aver inserito per errore uno zero in più o un dispositivo che ha raccolto i dati potrebbe non aver funzionato correttamente.
In genere, eliminerai gli esempi contenenti valori anomali dovuti a errori.
L'outlier è un punto dati legittimo, non un errore.
In questo caso, il tuo modello addestrato dovrà ricavare buone previsioni su questi valori anomali?
Se sì, mantieni questi valori anomali nel set di addestramento. Dopotutto, gli outlier
in determinate funzionalità a volte rispecchiano gli outlier nell'etichetta, pertanto gli outlier potrebbero effettivamente aiutare il tuo modello a fare previsioni migliori.
Fai attenzione, gli outlier estremi possono comunque danneggiare il tuo modello.
In caso contrario, elimina gli outlier o applica tecniche di feature engineering più invasive, come il taglio.
[null,null,["Ultimo aggiornamento 2025-02-26 UTC."],[[["\u003cp\u003eBefore creating feature vectors, it is crucial to analyze numerical data by visualizing it through plots and graphs and calculating basic statistics like mean, median, and standard deviation.\u003c/p\u003e\n"],["\u003cp\u003eVisualizations, such as scatter plots and histograms, can reveal anomalies and patterns in the data, aiding in identifying potential issues early in the data analysis process.\u003c/p\u003e\n"],["\u003cp\u003eOutliers, values significantly distant from others, should be identified and handled appropriately, either by correcting mistakes, retaining legitimate outliers for model training, or applying techniques like clipping.\u003c/p\u003e\n"],["\u003cp\u003eStatistical evaluation helps in understanding the distribution and characteristics of data, providing insights into potential feature and label relationships.\u003c/p\u003e\n"],["\u003cp\u003eWhile basic statistics and visualizations provide valuable insights, it's essential to remain vigilant as anomalies can still exist in seemingly well-balanced data.\u003c/p\u003e\n"]]],[],null,["# Numerical data: First steps\n\nBefore creating feature vectors, we recommend studying numerical data in\ntwo ways:\n\n- Visualize your data in plots or graphs.\n- Get statistics about your data.\n\nVisualize your data\n-------------------\n\nGraphs can help you find anomalies or patterns hiding in the data.\nTherefore, before getting too far into analysis, look at your\ndata graphically, either as scatter plots or histograms. View graphs not\nonly at the beginning of the data pipeline, but also throughout data\ntransformations. Visualizations help you continually check your assumptions.\n\nWe recommend working with pandas for visualization:\n\n- [Working with Missing Data (pandas\n Documentation)](http://pandas.pydata.org/pandas-docs/stable/missing_data.html)\n- [Visualizations (pandas\n Documentation)](http://pandas.pydata.org/pandas-docs/stable/visualization.html)\n\nNote that certain visualization tools are optimized for certain data formats.\nA visualization tool that helps you evaluate protocol buffers may or may not\nbe able to help you evaluate CSV data.\n\nStatistically evaluate your data\n--------------------------------\n\nBeyond visual analysis, we also recommend evaluating potential features and\nlabels mathematically, gathering basic statistics such as:\n\n- mean and median\n- standard deviation\n- the values at the quartile divisions: the 0th, 25th, 50th, 75th, and 100th percentiles. The 0th percentile is the minimum value of this column; the 100th percentile is the maximum value of this column. (The 50th percentile is the median.)\n\nFind outliers\n-------------\n\nAn [**outlier**](/machine-learning/glossary#outliers) is a value *distant*\nfrom most other values in a feature or label. Outliers often cause problems\nin model training, so finding outliers is important.\n\nWhen the delta between the 0th and 25th percentiles differs significantly\nfrom the delta between the 75th and 100th percentiles, the dataset probably\ncontains outliers.\n| **Note:** Don't over-rely on basic statistics. Anomalies can also hide in seemingly well-balanced data.\n\nOutliers can fall into any of the following categories:\n\n- The outlier is due to a *mistake*. For example, perhaps an experimenter mistakenly entered an extra zero, or perhaps an instrument that gathered data malfunctioned. You'll generally delete examples containing mistake outliers.\n- The outlier is a legitimate data point, *not a mistake* . In this case, will your trained model ultimately need to infer good predictions on these outliers?\n - If yes, keep these outliers in your training set. After all, outliers in certain features sometimes mirror outliers in the label, so the outliers could actually *help* your model make better predictions. Be careful, extreme outliers can still hurt your model.\n - If no, delete the outliers or apply more invasive feature engineering techniques, such as [**clipping**](/machine-learning/glossary#clipping).\n\n| **Key terms:**\n|\n| - [Clipping](/machine-learning/glossary#clipping)\n- [Outliers](/machine-learning/glossary#outliers) \n[Help Center](https://support.google.com/machinelearningeducation)"]]
