با مجموعه‌ها، منظم بمانید
ذخیره و طبقه‌بندی محتوا براساس اولویت‌های شما.
مقدمه
این ماژول با یک سوال اصلی شروع می شود. یکی از پاسخ های زیر را انتخاب کنید:
اگر بخواهید یکی از زمینه های زیر را در پروژه یادگیری ماشین خود اولویت بندی کنید، کدامیک بیشترین تأثیر را خواهد داشت؟
بهبود کیفیت مجموعه داده شما
داده ها بر همه چیز برتری دارند. کیفیت و اندازه مجموعه داده بسیار بیشتر از الگوریتم درخشانی است که برای ساخت مدل خود استفاده می کنید.
استفاده از یک تابع زیان هوشمندانه تر برای آموزش مدل خود
درست است، عملکرد بهتر از دست دادن می‌تواند به یک مدل کمک کند تا سریع‌تر تمرین کند، اما هنوز هم در رتبه دوم از موارد دیگر در این لیست قرار دارد.
و در اینجا یک سوال مهم تر وجود دارد:
حدس بزنید: در پروژه یادگیری ماشینی خود، معمولاً چقدر زمان برای آماده سازی و تبدیل داده ها صرف می کنید؟
بیش از نیمی از زمان پروژه
بله، متخصصان ML بیشتر وقت خود را صرف ساخت مجموعه داده ها و انجام مهندسی ویژگی می کنند.
کمتر از نیمی از زمان پروژه
برای بیشتر برنامه ریزی کنید! به طور معمول، 80 درصد از زمان پروژه یادگیری ماشینی صرف ساخت مجموعه داده ها و تبدیل داده ها می شود.
در این ماژول، درباره ویژگی‌های مجموعه داده‌های یادگیری ماشین، و نحوه آماده‌سازی داده‌های خود برای اطمینان از نتایج با کیفیت در هنگام آموزش و ارزیابی مدل، اطلاعات بیشتری کسب خواهید کرد.
تاریخ آخرین بهروزرسانی 2025-07-29 بهوقت ساعت هماهنگ جهانی.
[null,null,["تاریخ آخرین بهروزرسانی 2025-07-29 بهوقت ساعت هماهنگ جهانی."],[[["\u003cp\u003eThis module emphasizes the critical role of data quality in machine learning projects, highlighting that it significantly impacts model performance more than algorithm choice.\u003c/p\u003e\n"],["\u003cp\u003eMachine learning practitioners typically dedicate a substantial portion of their project time (around 80%) to data preparation and transformation, including tasks like dataset construction and feature engineering.\u003c/p\u003e\n"],["\u003cp\u003eThe module covers key concepts in data preparation, such as identifying data characteristics, handling unreliable data, understanding data labels, and splitting datasets for training and evaluation.\u003c/p\u003e\n"],["\u003cp\u003eLearners will gain insights into techniques for improving data quality, mitigating issues like overfitting, and interpreting loss curves to assess model performance.\u003c/p\u003e\n"],["\u003cp\u003eThis module builds upon foundational machine learning concepts, assuming familiarity with topics like linear regression, numerical and categorical data handling, and basic machine learning principles.\u003c/p\u003e\n"]]],[],null,["# Datasets, generalization, and overfitting\n\n| **Estimated module length:** 105 minutes\n| **Learning objectives**\n|\n| - Identify four different characteristics of data and datasets.\n| - Identify at least four different causes of data unreliability.\n| - Determine when to discard missing data and when to impute it.\n| - Differentiate between direct and derived labels.\n| - Identify two different ways to improve the quality of human-rated labels.\n| - Explain why to subdivide a dataset into a training set, validation set, and test set; identify a potential problem in data splits.\n| - Explain overfitting and identify three possible causes for it.\n| - Explain the concept of regularization. In particular, explain the following:\n| - Bias versus variance (adaptation to outliers...)\n| - L~2~ regularization, including Lambda (regularization rate)\n| - Early stopping\n| - Interpret different kinds of loss curves; detect convergence and overfitting in loss curves.\n| **Prerequisites:**\n|\n| This module assumes you are familiar with the concepts covered in the\n| following modules:\n|\n| - [Introduction to Machine Learning](/machine-learning/intro-to-ml)\n| - [Linear regression](/machine-learning/crash-course/linear-regression)\n| - [Working with numerical data](/machine-learning/crash-course/numerical-data)\n| - [Working with categorical data](/machine-learning/crash-course/categorical-data)\n\nIntroduction\n------------\n\nThis module begins with a leading question.\nChoose one of the following answers: \nIf you had to prioritize improving one of the following areas in your machine learning project, which would have the most impact? \nImproving the quality of your dataset \nData trumps all. The quality and size of the dataset matters much more than which shiny algorithm you use to build your model. \nApplying a more clever loss function to training your model \nTrue, a better loss function can help a model train faster, but it's still a distant second to another item in this list.\n\nAnd here's an even more leading question: \nTake a guess: In your machine learning project, how much time do you typically spend on data preparation and transformation? \nMore than half of the project time \nYes, ML practitioners spend the majority of their time constructing datasets and doing feature engineering. \nLess than half of the project time \nPlan for more! Typically, 80% of the time on a machine learning project is spent constructing datasets and transforming data.\n\nIn this module, you'll learn more about the characteristics of machine learning\ndatasets, and how to prepare your data to ensure high-quality results when\ntraining and evaluating your model. \n[Help Center](https://support.google.com/machinelearningeducation)"]]
