Ce document vous aidera à entraîner plus efficacement des modèles de deep learning. Bien que ce document met l'accent sur le réglage des hyperparamètres, il aborde également d'autres aspects de l'entraînement de deep learning, tels que l'implémentation et l'optimisation du pipeline d'entraînement.
Dans ce document, nous partons du principe que votre tâche de machine learning est un problème d'apprentissage supervisé ou un problème similaire (par exemple, l'apprentissage automatique). Cela dit, certains conseils qu'il contient peuvent également s'appliquer à d'autres types de problèmes de machine learning.
Audience cible
Ce document est destiné aux ingénieurs et aux chercheurs disposant au minimum de connaissances de base en machine learning et en deep learning. Si vous ne disposez pas de ces informations, vous pouvez suivre le Cours d'initiation au Machine Learning.
Pourquoi avons-nous rédigé ce document ?
Actuellement, mettre en pratique les réseaux de neurones profonds est très fastidieux et difficile à réaliser. Pire encore, les recettes réelles utilisées par les utilisateurs pour obtenir de bons résultats avec le deep learning sont rarement documentées. Les articles passent en revue le processus qui a abouti à leurs résultats finaux pour présenter un récit plus clair, et les ingénieurs en machine learning qui traitent des problèmes commerciaux ont rarement le temps de prendre du recul et de généraliser leur processus. Les manuels évitent généralement les conseils pratiques et privilégient les principes fondamentaux, même si leurs auteurs disposent de l'expérience nécessaire dans le domaine des travaux appliqués pour fournir des conseils utiles.
Lors de la création de ce document, nous n'avons trouvé aucune tentative complète d'explication pour obtenir de bons résultats avec le deep learning. Nous avons trouvé des extraits de conseils dans des articles de blog et sur les réseaux sociaux, des astuces tirées de l'annexe des études, des études de cas occasionnelles sur un projet ou un pipeline en particulier, et beaucoup de confusion. Il existe un fossé vaste entre les résultats obtenus par les experts du deep learning et les professionnels moins qualifiés qui utilisent des méthodes très similaires. Toutefois, les experts reconnaissent volontiers que certaines de leurs actions ne sont peut-être pas justifiées. À mesure que le deep learning évolue et a un impact plus important sur la planète, la communauté a besoin de plus de ressources couvrant des recettes utiles, y compris tous les détails pratiques qui peuvent être si essentiels pour obtenir de bons résultats.
Nous sommes une équipe de cinq chercheurs et ingénieurs qui travaillent dans le deep learning depuis de nombreuses années, certains parmi nous depuis 2006. Nous avons appliqué le deep learning à toutes sortes de sujets, de la reconnaissance vocale à l'astronomie. Ce document est le fruit de notre propre expérience dans l'entraînement de réseaux de neurones, la formation de nouveaux ingénieurs en machine learning et le conseil de nos collègues sur la pratique du deep learning.
Il est gratifiant de voir le deep learning passer d'une approche de machine learning pratiquée par plusieurs ateliers universitaires à une technologie qui alimente des produits utilisés par des milliards de personnes. Cependant, le deep learning n'en est qu'à ses débuts en tant que discipline d'ingénierie. Nous espérons que ce document encouragera d'autres personnes à systématiser les protocoles expérimentaux du champ.
Nous avons vu ce document lorsque nous avons essayé de concrétiser notre propre approche du deep learning. Il représente donc notre point de vue au moment de la rédaction de ce document, et non une vérité objective. Nos propres difficultés avec le réglage des hyperparamètres en ont fait une priorité de nos conseils, mais nous abordons également d'autres problèmes importants que nous avons rencontrés dans notre travail (ou qui nous ont paru mal utilisés). Notre objectif est de faire de ce document un document vivant qui s'étend et évolue à mesure que nos croyances changent. Par exemple, il n'aurait pas été possible d'écrire le support de débogage et d'atténuation des échecs d'entraînement il y a deux ans, car il est basé sur des résultats récents et des recherches en cours.
Inévitablement, certains de nos conseils devront être mis à jour pour tenir compte des nouveaux résultats et de l'amélioration des workflows. Nous ne connaissons pas la recette optimale du deep learning, mais nous ne espérons pas la trouver tant que la communauté n'aura pas commencé à écrire ni à débattre les différentes procédures. À cette fin, nous encourageons les lecteurs qui trouvent des problèmes avec nos conseils à produire des recommandations alternatives, ainsi que des preuves convaincantes, afin que nous puissions mettre à jour le playbook. Nous aimerions également voir d'autres guides et playbooks comportant d'autres recommandations qui nous aideront à appliquer les bonnes pratiques de la communauté.
À propos de cet emoji robot
L'emoji Robot peut indiquer que vous souhaitez effectuer d'autres recherches. Ce n'est qu'après avoir essayé de rédiger ce playbook que nous avons pu voir clairement combien de questions de recherche intéressantes et négligées se trouvent dans le workflow du deep learning.