이 문서는 딥 러닝 모델을 더 효과적으로 학습시키는 데 도움이 됩니다. 이 문서에서는 초매개변수 조정을 중점적으로 설명하지만 학습 파이프라인 구현 및 최적화와 같은 딥 러닝 학습의 다른 측면도 다룹니다.
이 문서에서는 머신러닝 작업이 지도 학습 문제이거나 이와 유사한 문제 (예: 자체 감독 학습)라고 가정합니다. 그러나 이 문서의 조언은 다른 유형의 머신러닝 문제에도 적용될 수 있습니다.
타겟 잠재고객
이 문서는 머신러닝 및 딥 러닝에 관한 기본 지식이 있는 엔지니어와 연구원을 대상으로 작성되었습니다. 해당 배경 지식이 없다면 머신러닝 단기집중과정을 수강해 보세요.
이 문서를 작성한 이유
현재 심층신경망이 실제로 잘 작동하도록 하려면 엄청난 노력과 추측이 필요합니다. 게다가 딥 러닝으로 좋은 결과를 얻기 위해 사용하는 실제 레시피는 기록되는 경우가 거의 없습니다. 종이는 보다 분명한 스토리를 제시하기 위해 최종 결과를 도출한 과정을 간결히 보여주며 상업적인 문제를 담당하는 머신러닝 엔지니어는 한 걸음 물러나 프로세스를 일반화할 시간이 거의 없습니다. 교과서는 저자가 유용한 조언을 제공하는 데 필요한 경험을 갖추고 있더라도 실용적인 가이드를 피하고 기본 원칙을 우선시하는 경향이 있습니다.
이 문서를 만들기 위해 준비할 때 딥 러닝으로 좋은 결과를 얻는 방법을 실제로 설명하는 시도를 찾지 못했습니다. 대신 블로그 게시물과 소셜 미디어에서 조언 스니펫을 발견하고, 연구 논문 부록을 살짝 공개하며, 한 가지 특정 프로젝트나 파이프라인에 관한 가끔 우수사례를 제공하고, 많은 혼란을 발견했습니다. 딥 러닝 전문가와 표면적으로 유사한 방법을 사용하는 숙련도가 낮은 실무자들이 얻은 결과 사이에는 엄청난 차이가 있습니다. 하지만 전문가들은 일부 행동이 타당하지 않을 수 있다는 점을 분명히 인정합니다. 딥 러닝이 성숙해지고 세상에 큰 영향을 미치고 있는 만큼, 커뮤니티에는 좋은 결과를 얻는 데 매우 중요한 모든 실용적인 세부정보를 포함하여 유용한 레시피를 다루는 더 많은 리소스가 필요합니다.
5명의 연구원과 엔지니어로 구성된 팀에서 수년간 딥 러닝을 사용해 왔으며, 일부는 2006년부터 운영되고 있습니다. 음성 인식부터 천문학에 이르기까지 모든 분야에서 딥 러닝을 적용했습니다. 이 문서는 신경망을 학습시키고 새로운 머신러닝 엔지니어를 교육하며 동료들에게 딥 러닝 관행에 대한 조언을 제공하는 경험에서 비롯되었습니다.
딥 러닝이 소수의 학술 연구 기관에서 실행되었던 머신러닝 접근 방식에서 수십억 명이 사용하는 제품에 기반하는 기술로 발전하는 모습을 지켜보며 만족감을 느꼈습니다. 그러나 딥 러닝은 아직 엔지니어링 학문으로서 아직 시작 단계에 있으므로 이 문서를 통해 다른 사람들이 이 필드의 실험용 프로토콜을 체화하는 데 도움이 되기를 바랍니다.
이 문서는 딥 러닝에 대한 Google의 접근 방식을 구체화하기 위해 마련되었습니다. 따라서 객관적 진실이 아닌 작성 당시의 의견을 나타냅니다. 초매개변수 조정과 관련된 Google의 노력으로 인해 이 가이드가 특히 중점을 둬야 할 부분이 많았지만 작업 중에 겪었던 다른 중요한 문제 (또는 잘못 확인됨)도 다룹니다. Google은 이 작업이 신념의 변화에 따라 성장하고 진화하는 살아있는 문서가 되기를 바랍니다. 예를 들어 2년 전에는 학습 실패 및 디버깅 실패에 관한 자료를 최신 자료와 지속적인 조사를 토대로 작성할 수 없었을 것입니다.
당연히 새로운 결과와 개선된 워크플로를 고려하여 일부 조언을 업데이트해야 합니다. 최적의 딥 러닝 레시피는 아직 모르지만, 커뮤니티가 여러 절차를 작성하고 논의하기 시작할 때까지 이 프로세스를 찾을 수 있기를 바라고 있습니다. 따라서 Google의 조언으로 문제가 있는 독자에게 플레이북을 업데이트할 수 있도록 설득력 있는 증거와 함께 대체 권장사항을 생성하도록 권장합니다. 또한 커뮤니티마다 권장사항을 참고할 수 있도록 다양한 가이드가 포함된 대체 가이드와 플레이북이 있으면 좋겠습니다.
로봇 이모티콘 정보
로봇 그림 이모티콘은 더 자세히 조사해야 할 영역을 나타냅니다. 이 플레이북을 작성하려고 한 후야 딥 러닝 실무자의 워크플로에서 흥미롭고 소외된 연구 질문을 얼마나 많이 찾을 수 있는지 확실히 알 수 있었습니다.