Este documento te ayuda a entrenar modelos de aprendizaje profundo con mayor eficacia. Aunque en este documento se hace énfasis en el ajuste de hiperparámetros, también se mencionan otros aspectos del entrenamiento de aprendizaje profundo, como la implementación y optimización de canalizaciones de entrenamiento.
En este documento, se supone que tu tarea de aprendizaje automático es un problema de aprendizaje supervisado o uno similar (por ejemplo, aprendizaje supervisado). Dicho esto, algunas de las sugerencias de este documento también pueden aplicarse a otros tipos de problemas de aprendizaje automático.
Público objetivo
Orientamos este documento a investigadores y a ingenieros con, al menos, conocimientos básicos sobre aprendizaje automático y aprendizaje profundo. Si no tienes conocimientos previos, considera realizar el Curso intensivo de aprendizaje automático.
¿Por qué escribimos este documento?
Actualmente, hay una cantidad asombrosa de trabajo repetitivo y conjeturas involucradas en lograr que las redes neuronales profundas funcionen bien en la práctica. Lo peor es que las recetas reales que las personas usan para obtener buenos resultados con el aprendizaje profundo rara vez se documentan. Los documentos se pasan por alto el proceso que llevó a sus resultados finales a fin de presentar una historia más limpia, y los ingenieros de aprendizaje automático que trabajan con problemas comerciales rara vez tienen tiempo para dar un paso atrás y generalizar su proceso. Los libros de texto tienden a evitar las guías prácticas y a priorizar los principios fundamentales, incluso si sus autores tienen la experiencia necesaria en el trabajo aplicado para proporcionar consejos útiles.
Cuando nos preparamos para crear este documento, no encontramos ningún intento exhaustivo que explique cómo obtener buenos resultados con el aprendizaje profundo. En su lugar, encontramos fragmentos de consejos en entradas de blog y en redes sociales, trucos que se asomaban en el apéndice de artículos de investigación, casos de éxito ocasionales sobre un proyecto o canalización en particular y mucha confusión. Existe una gran diferencia entre los resultados que alcanzan los expertos en aprendizaje profundo y los profesionales con menos habilidades que usan métodos superficialmente similares. Sin embargo, los expertos reconocen que parte de lo que hacen podría no estar bien justificado. A medida que el aprendizaje profundo madura y tiene un mayor impacto en el mundo, la comunidad necesita más recursos que cubran recetas útiles, incluidos todos los detalles prácticos que pueden ser fundamentales para obtener buenos resultados.
Somos un equipo de cinco investigadores e ingenieros que han trabajado en el aprendizaje profundo durante muchos años, algunos de nosotros desde principios de 2006. Aplicamos el aprendizaje profundo en todo lo que abarca desde el reconocimiento de voz hasta la astronomía. Este documento surgió de nuestra propia experiencia en el entrenamiento de redes neuronales, la enseñanza de nuevos ingenieros de aprendizaje automático y el asesoramiento de nuestros colegas sobre la práctica del aprendizaje profundo.
Ha sido gratificante ver que el aprendizaje profundo pasa de un enfoque de aprendizaje automático practicado por varios labs académicos a una tecnología que potencia los productos utilizados por miles de millones de personas. Sin embargo, el aprendizaje profundo aún se encuentra en sus inicios como disciplina de ingeniería, y esperamos que este documento motive a otros a sistematizar los protocolos experimentales del campo.
Este documento surgió mientras intentamos materializar nuestro propio enfoque sobre el aprendizaje profundo. Por lo tanto, representa nuestras opiniones en el momento de la redacción, no cualquier clase de verdad objetiva. Nuestras propias dificultades con el ajuste de hiperparámetros hicieron que nuestro enfoque se enfocara en nuestra guía, pero también cubrimos otros problemas importantes que encontramos en nuestro trabajo (o vistos por error). Nuestra intención es que este trabajo sea un documento activo que crezca y evolucione a medida que cambien nuestras creencias. Por ejemplo, el material sobre depuración y mitigación de fallas en el entrenamiento no hubiera sido posible de escribirnos hace dos años porque se basa en investigaciones recientes y resultados recientes.
Inevitablemente, algunos de nuestros consejos deberán actualizarse para tener en cuenta los resultados nuevos y los flujos de trabajo mejorados. No sabemos cuál es la receta de aprendizaje profundo óptima, pero, hasta que la comunidad comience a escribir y debatir sobre diferentes procedimientos, no esperamos poder encontrarla. Por ese motivo, recomendamos que los lectores que encuentren problemas con nuestros consejos produzcan recomendaciones alternativas, junto con pruebas convincentes, para poder actualizar la guía. También nos gustaría ver guías y guías alternativas que puedan tener recomendaciones diferentes para que podamos trabajar en las prácticas recomendadas como comunidad.
Acerca de ese emoji robot
El emoji stream de robot indica las áreas en las que nos gustaría investigar más. Solo después de intentar escribir esta guía, quedó completamente claro cuántas preguntas de investigación interesantes y desaprobadas se pueden encontrar en el flujo de trabajo del profesional de aprendizaje profundo.