קל לארגן דפים בעזרת אוספים
אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.
לפני שיוצרים ווקטורים של מאפיינים, מומלץ לבחון נתונים מספריים בשתי דרכים:
להציג את הנתונים בתרשים או בגרף.
לקבל נתונים סטטיסטיים על הנתונים שלכם.
המחשת הנתונים
תרשימים יכולים לעזור לכם למצוא חריגות או דפוסים שמסתתרים בנתונים.
לכן, לפני שמתעמקים בניתוח, כדאי להציג את הנתונים באופן גרפי, כתרשים פיזור או כהיסטוגרמה. אפשר להציג תרשימים לא רק בתחילת צינור עיבוד הנתונים, אלא גם לאורך טרנספורמציות הנתונים. התצוגות החזותיות עוזרות לכם לבדוק באופן שוטף את ההנחות שלכם.
חשוב לזכור שכלי חזותיים מסוימים מותאמים לפורמטים מסוימים של נתונים.
יכול להיות שכלי להצגה חזותית שעוזר לכם להעריך מאגרי נתונים של פרוטוקולים יוכל לעזור לכם להעריך נתוני CSV, ויכול להיות שלא.
הערכה סטטיסטית של הנתונים
בנוסף לניתוח חזותי, מומלץ גם להעריך תכונות ומדבקות פוטנציאליות באופן מתמטי, ולצבור נתונים סטטיסטיים בסיסיים כמו:
ממוצע וחציון
סטיית תקן
הערכים בחלוקות הרבעוניות: האחוזונים ה-0, ה-25, ה-50, ה-75 וה-100. האחוזון ה-0 הוא הערך המינימלי בעמודה הזו, והאחוזון ה-100 הוא הערך המקסימלי בעמודה הזו. (האחוזון ה-50 הוא החציון).
איתור ערכים חריגים
חריג הוא ערך שונה
ממרבית הערכים האחרים במאפיין או בתווית. ערכים חריגים בדרך כלל גורמים לבעיות בהדרכת המודל, ולכן חשוב למצוא ערכים חריגים.
אם הדלתה בין האחוזון ה-0 לאחוזון ה-25 שונה באופן משמעותי מהדלתא בין האחוזון ה-75 לאחוזון ה-100, סביר להניח שקבוצת הנתונים מכילה ערכים חריגים.
ערכים חריגים יכולים להיכלל באחת מהקטגוריות הבאות:
הערך החרגתי נובע מטעות.
לדוגמה, יכול להיות שמשתמש הזין בטעות אפס נוסף, או שמכשיר לא תקין אסף את הנתונים.
בדרך כלל כדאי למחוק דוגמאות שמכילות חריגים של שגיאות.
הערך החרגתי הוא נקודת נתונים לגיטימית, לא שגיאה.
במקרה כזה, האם המודל המאומן יצטרך להסיק תחזיות טובות לגבי ערכים חריגים כאלה?
אם כן, יש להשאיר את הערכים החריגים האלה בקבוצת האימון. אחרי הכל, ערכים חריגים במאפיינים מסוימים משקפים לפעמים ערכים חריגים בתוויות, כך שהערכים החריגים יכולים למעשה לעזור למודל לחזות טוב יותר.
חשוב לזכור שערכים חריגים קיצוניים עדיין עלולים לפגוע במודל.
אם לא, מוחקים את הערכים החריגים או מחילים שיטות פולשניות יותר של הנדסת תכונות, כמו חיתוך.
[null,null,["עדכון אחרון: 2025-02-26 (שעון UTC)."],[[["\u003cp\u003eBefore creating feature vectors, it is crucial to analyze numerical data by visualizing it through plots and graphs and calculating basic statistics like mean, median, and standard deviation.\u003c/p\u003e\n"],["\u003cp\u003eVisualizations, such as scatter plots and histograms, can reveal anomalies and patterns in the data, aiding in identifying potential issues early in the data analysis process.\u003c/p\u003e\n"],["\u003cp\u003eOutliers, values significantly distant from others, should be identified and handled appropriately, either by correcting mistakes, retaining legitimate outliers for model training, or applying techniques like clipping.\u003c/p\u003e\n"],["\u003cp\u003eStatistical evaluation helps in understanding the distribution and characteristics of data, providing insights into potential feature and label relationships.\u003c/p\u003e\n"],["\u003cp\u003eWhile basic statistics and visualizations provide valuable insights, it's essential to remain vigilant as anomalies can still exist in seemingly well-balanced data.\u003c/p\u003e\n"]]],[],null,["# Numerical data: First steps\n\nBefore creating feature vectors, we recommend studying numerical data in\ntwo ways:\n\n- Visualize your data in plots or graphs.\n- Get statistics about your data.\n\nVisualize your data\n-------------------\n\nGraphs can help you find anomalies or patterns hiding in the data.\nTherefore, before getting too far into analysis, look at your\ndata graphically, either as scatter plots or histograms. View graphs not\nonly at the beginning of the data pipeline, but also throughout data\ntransformations. Visualizations help you continually check your assumptions.\n\nWe recommend working with pandas for visualization:\n\n- [Working with Missing Data (pandas\n Documentation)](http://pandas.pydata.org/pandas-docs/stable/missing_data.html)\n- [Visualizations (pandas\n Documentation)](http://pandas.pydata.org/pandas-docs/stable/visualization.html)\n\nNote that certain visualization tools are optimized for certain data formats.\nA visualization tool that helps you evaluate protocol buffers may or may not\nbe able to help you evaluate CSV data.\n\nStatistically evaluate your data\n--------------------------------\n\nBeyond visual analysis, we also recommend evaluating potential features and\nlabels mathematically, gathering basic statistics such as:\n\n- mean and median\n- standard deviation\n- the values at the quartile divisions: the 0th, 25th, 50th, 75th, and 100th percentiles. The 0th percentile is the minimum value of this column; the 100th percentile is the maximum value of this column. (The 50th percentile is the median.)\n\nFind outliers\n-------------\n\nAn [**outlier**](/machine-learning/glossary#outliers) is a value *distant*\nfrom most other values in a feature or label. Outliers often cause problems\nin model training, so finding outliers is important.\n\nWhen the delta between the 0th and 25th percentiles differs significantly\nfrom the delta between the 75th and 100th percentiles, the dataset probably\ncontains outliers.\n| **Note:** Don't over-rely on basic statistics. Anomalies can also hide in seemingly well-balanced data.\n\nOutliers can fall into any of the following categories:\n\n- The outlier is due to a *mistake*. For example, perhaps an experimenter mistakenly entered an extra zero, or perhaps an instrument that gathered data malfunctioned. You'll generally delete examples containing mistake outliers.\n- The outlier is a legitimate data point, *not a mistake* . In this case, will your trained model ultimately need to infer good predictions on these outliers?\n - If yes, keep these outliers in your training set. After all, outliers in certain features sometimes mirror outliers in the label, so the outliers could actually *help* your model make better predictions. Be careful, extreme outliers can still hurt your model.\n - If no, delete the outliers or apply more invasive feature engineering techniques, such as [**clipping**](/machine-learning/glossary#clipping).\n\n| **Key terms:**\n|\n| - [Clipping](/machine-learning/glossary#clipping)\n- [Outliers](/machine-learning/glossary#outliers) \n[Help Center](https://support.google.com/machinelearningeducation)"]]
