این سند به شما کمک می کند تا مدل های یادگیری عمیق را به طور موثرتری آموزش دهید. اگرچه این سند بر تنظیم هایپرپارامتر تأکید می کند، اما جنبه های دیگر آموزش یادگیری عمیق مانند اجرای خط لوله آموزشی و بهینه سازی را نیز مورد توجه قرار می دهد.
این سند فرض می‌کند که وظیفه یادگیری ماشین شما یک مشکل یادگیری تحت نظارت یا یک مشکل مشابه است (به عنوان مثال، یادگیری خود نظارتی ) که گفته شد، برخی از توصیه‌های این سند ممکن است برای انواع دیگر مشکلات یادگیری ماشین نیز اعمال شود.
مخاطب هدف
ما این سند را برای مهندسین و محققینی طراحی کرده‌ایم که حداقل دانش اولیه در مورد یادگیری ماشین و یادگیری عمیق دارند. اگر چنین پیش‌زمینه‌ای ندارید، لطفاً دوره آموزشی تصادفی یادگیری ماشین را در نظر بگیرید.
چرا این سند را نوشتیم؟
در حال حاضر، مقدار حیرت‌آوری زحمت و حدس و گمان درگیر است تا شبکه‌های عصبی عمیق در عمل به خوبی کار کنند. حتی بدتر از آن، دستور العمل های واقعی مردم برای به دست آوردن نتایج خوب با یادگیری عمیق به ندرت مستند شده است. مقالات به منظور ارائه داستانی تمیزتر، فرآیندی را که منجر به نتایج نهایی آنها شد، محو می‌کنند و مهندسان یادگیری ماشینی که روی مشکلات تجاری کار می‌کنند، به ندرت وقت دارند که یک قدم به عقب بردارند و روند خود را تعمیم دهند. کتاب‌های درسی تمایل دارند از راهنمایی‌های عملی اجتناب کنند و اصول اساسی را در اولویت قرار دهند، حتی اگر نویسندگان آنها تجربه لازم را در کار کاربردی برای ارائه توصیه‌های مفید داشته باشند.
هنگام آماده شدن برای ایجاد این سند، ما نتوانستیم هیچ تلاش جامعی برای توضیح نحوه دستیابی به نتایج خوب با یادگیری عمیق پیدا کنیم. در عوض، ما بخش‌هایی از توصیه‌ها را در پست‌های وبلاگ و رسانه‌های اجتماعی، ترفندهایی که از ضمیمه مقالات تحقیقاتی نمایان می‌شوند، مطالعات موردی گاه به گاه درباره یک پروژه یا خط لوله خاص، و سردرگمی‌های زیادی پیدا کردیم. شکاف بزرگی بین نتایج به دست آمده توسط متخصصان یادگیری عمیق و متخصصان کمتر ماهر که از روش های سطحی مشابه استفاده می کنند وجود دارد. با این حال، کارشناسان به راحتی اعتراف می کنند که برخی از کارهایی که انجام می دهند ممکن است به خوبی توجیه نشود. همانطور که یادگیری عمیق بالغ می شود و تأثیر بیشتری بر جهان می گذارد، جامعه به منابع بیشتری نیاز دارد که دستور العمل های مفید را پوشش دهد، از جمله تمام جزئیات عملی که می تواند برای به دست آوردن نتایج خوب بسیار حیاتی باشد.
ما تیمی متشکل از پنج محقق و مهندس هستیم که سال‌ها در زمینه یادگیری عمیق کار کرده‌ایم، برخی از ما از اوایل سال 2006. یادگیری عمیق را در همه چیز از تشخیص گفتار گرفته تا نجوم به کار برده‌ایم. این سند از تجربه خود ما در آموزش شبکه‌های عصبی، آموزش مهندسین جدید یادگیری ماشین و مشاوره به همکارانمان در مورد تمرین یادگیری عمیق نشأت می‌گیرد.
خوشحال کننده است که می بینیم یادگیری عمیق از رویکرد یادگیری ماشینی که توسط تعدادی آزمایشگاه دانشگاهی انجام می شود به محصولاتی که میلیاردها نفر از آن ها استفاده می کنند فناوری می کند، خوشحال کننده است. با این حال، یادگیری عمیق هنوز در مراحل اولیه خود به عنوان یک رشته مهندسی است، و ما امیدواریم که این سند دیگران را تشویق کند تا به سیستماتیک کردن پروتکل های آزمایشی این رشته کمک کنند.
این سند زمانی به وجود آمد که ما سعی کردیم رویکرد خودمان به یادگیری عمیق را متبلور کنیم. بنابراین، بیانگر نظرات ما در زمان نگارش است، نه هر نوع حقیقت عینی. مبارزات خودمان با تنظیم هایپرپارامتر، آن را به تمرکز ویژه ای از راهنمایی هایمان تبدیل کرده است، اما ما همچنین مسائل مهم دیگری را که در کار خود با آن مواجه شده ایم (یا دیده ایم که اشتباه کرده ایم) پوشش می دهیم. قصد ما این است که این اثر یک سند زنده باشد که با تغییر باورهای ما رشد و تکامل یابد. به عنوان مثال، دو سال پیش امکان نوشتن مطالب مربوط به اشکال زدایی و کاهش خطاهای آموزشی برای ما وجود نداشت زیرا بر اساس نتایج اخیر و تحقیقات در حال انجام است.
به ناچار، برخی از توصیه های ما باید به روز شوند تا نتایج جدید و گردش کار بهبود یافته را در نظر بگیرند. ما دستور العمل یادگیری عمیق بهینه را نمی دانیم، اما تا زمانی که جامعه شروع به نوشتن و بحث در مورد روش های مختلف نکند، نمی توانیم امیدوار باشیم که آن را پیدا کنیم. برای این منظور، خوانندگانی را که با توصیه‌های ما مشکل پیدا می‌کنند تشویق می‌کنیم تا توصیه‌های جایگزین را همراه با شواهد قانع‌کننده ارائه کنند تا بتوانیم کتاب بازی را به‌روزرسانی کنیم. ما همچنین دوست داریم راهنماها و کتاب‌های راهنما جایگزینی را ببینیم که ممکن است توصیه‌های متفاوتی داشته باشند تا بتوانیم به عنوان یک جامعه به سمت بهترین شیوه‌ها کار کنیم.
درباره آن ایموجی ربات
ایموجی ربات 🤖 مناطقی را نشان می دهد که می خواهیم در آن تحقیقات بیشتری انجام دهیم. تنها پس از تلاش برای نوشتن این کتاب راهنما، کاملاً مشخص شد که چگونه بسیاری از سؤالات تحقیقاتی جالب و نادیده گرفته شده را می توان در گردش کار متخصص یادگیری عمیق یافت.
،این سند به شما کمک می کند تا مدل های یادگیری عمیق را به طور موثرتری آموزش دهید. اگرچه این سند بر تنظیم هایپرپارامتر تأکید می کند، اما جنبه های دیگر آموزش یادگیری عمیق مانند اجرای خط لوله آموزشی و بهینه سازی را نیز مورد توجه قرار می دهد.
این سند فرض می‌کند که وظیفه یادگیری ماشین شما یک مشکل یادگیری تحت نظارت یا یک مشکل مشابه است (به عنوان مثال، یادگیری خود نظارتی ) که گفته شد، برخی از توصیه‌های این سند ممکن است برای انواع دیگر مشکلات یادگیری ماشین نیز اعمال شود.
مخاطب هدف
ما این سند را برای مهندسین و محققینی طراحی کرده‌ایم که حداقل دانش اولیه در مورد یادگیری ماشین و یادگیری عمیق دارند. اگر چنین پیش‌زمینه‌ای ندارید، لطفاً دوره آموزشی تصادفی یادگیری ماشین را در نظر بگیرید.
چرا این سند را نوشتیم؟
در حال حاضر، مقدار حیرت‌آوری زحمت و حدس و گمان درگیر است تا شبکه‌های عصبی عمیق در عمل به خوبی کار کنند. حتی بدتر از آن، دستور العمل های واقعی مردم برای به دست آوردن نتایج خوب با یادگیری عمیق به ندرت مستند شده است. مقالات به منظور ارائه داستانی تمیزتر، فرآیندی را که منجر به نتایج نهایی آنها شد، محو می‌کنند و مهندسان یادگیری ماشینی که روی مشکلات تجاری کار می‌کنند، به ندرت وقت دارند که یک قدم به عقب بردارند و روند خود را تعمیم دهند. کتاب‌های درسی تمایل دارند از راهنمایی‌های عملی اجتناب کنند و اصول اساسی را در اولویت قرار دهند، حتی اگر نویسندگان آنها تجربه لازم را در کار کاربردی برای ارائه توصیه‌های مفید داشته باشند.
هنگام آماده شدن برای ایجاد این سند، ما نتوانستیم هیچ تلاش جامعی برای توضیح نحوه دستیابی به نتایج خوب با یادگیری عمیق پیدا کنیم. در عوض، ما بخش‌هایی از توصیه‌ها را در پست‌های وبلاگ و رسانه‌های اجتماعی، ترفندهایی که از ضمیمه مقالات تحقیقاتی نمایان می‌شوند، مطالعات موردی گاه به گاه درباره یک پروژه یا خط لوله خاص، و سردرگمی‌های زیادی پیدا کردیم. شکاف بزرگی بین نتایج به دست آمده توسط متخصصان یادگیری عمیق و متخصصان کمتر ماهر که از روش های سطحی مشابه استفاده می کنند وجود دارد. با این حال، کارشناسان به راحتی اعتراف می کنند که برخی از کارهایی که انجام می دهند ممکن است به خوبی توجیه نشود. همانطور که یادگیری عمیق بالغ می شود و تأثیر بیشتری بر جهان می گذارد، جامعه به منابع بیشتری نیاز دارد که دستور العمل های مفید را پوشش دهد، از جمله تمام جزئیات عملی که می تواند برای به دست آوردن نتایج خوب بسیار حیاتی باشد.
ما تیمی متشکل از پنج محقق و مهندس هستیم که سال‌ها در زمینه یادگیری عمیق کار کرده‌ایم، برخی از ما از اوایل سال 2006. یادگیری عمیق را در همه چیز از تشخیص گفتار گرفته تا نجوم به کار برده‌ایم. این سند از تجربه خود ما در آموزش شبکه‌های عصبی، آموزش مهندسین جدید یادگیری ماشین و مشاوره به همکارانمان در مورد تمرین یادگیری عمیق نشأت می‌گیرد.
خوشحال کننده است که می بینیم یادگیری عمیق از رویکرد یادگیری ماشینی که توسط تعدادی آزمایشگاه دانشگاهی انجام می شود به محصولاتی که میلیاردها نفر از آن ها استفاده می کنند فناوری می کند، خوشحال کننده است. با این حال، یادگیری عمیق هنوز به عنوان یک رشته مهندسی در مراحل ابتدایی خود است، و ما امیدواریم که این سند دیگران را تشویق کند تا به سیستم‌بندی پروتکل‌های آزمایشی این رشته کمک کنند.
این سند زمانی به وجود آمد که ما سعی کردیم رویکرد خودمان به یادگیری عمیق را متبلور کنیم. بنابراین، بیانگر نظرات ما در زمان نگارش است، نه هر نوع حقیقت عینی. مبارزات خودمان با تنظیم هایپرپارامتر، آن را به تمرکز ویژه ای از راهنمایی هایمان تبدیل کرده است، اما ما همچنین مسائل مهم دیگری را که در کار خود با آن مواجه شده ایم (یا دیده ایم که اشتباه کرده ایم) پوشش می دهیم. قصد ما این است که این اثر یک سند زنده باشد که با تغییر باورهای ما رشد و تکامل یابد. به عنوان مثال، دو سال پیش امکان نوشتن مطالب مربوط به اشکال زدایی و کاهش خطاهای آموزشی برای ما وجود نداشت زیرا بر اساس نتایج اخیر و تحقیقات در حال انجام است.
به ناچار، برخی از توصیه های ما باید به روز شوند تا نتایج جدید و گردش کار بهبود یافته را در نظر بگیرند. ما دستور العمل یادگیری عمیق بهینه را نمی دانیم، اما تا زمانی که جامعه شروع به نوشتن و بحث در مورد روش های مختلف نکند، نمی توانیم امیدوار باشیم که آن را پیدا کنیم. برای این منظور، خوانندگانی را که با توصیه‌های ما مشکل پیدا می‌کنند تشویق می‌کنیم تا توصیه‌های جایگزین را همراه با شواهد قانع‌کننده ارائه کنند تا بتوانیم کتاب بازی را به‌روزرسانی کنیم. ما همچنین دوست داریم راهنماها و کتاب‌های راهنما جایگزینی را ببینیم که ممکن است توصیه‌های متفاوتی داشته باشند تا بتوانیم به عنوان یک جامعه به سمت بهترین شیوه‌ها کار کنیم.
درباره آن ایموجی ربات
ایموجی ربات 🤖 مناطقی را نشان می دهد که می خواهیم در آن تحقیقات بیشتری انجام دهیم. تنها پس از تلاش برای نوشتن این کتاب راهنما، کاملاً مشخص شد که چگونه بسیاری از سؤالات تحقیقاتی جالب و نادیده گرفته شده را می توان در گردش کار متخصص یادگیری عمیق یافت.