Tài liệu này giúp bạn đào tạo các mô hình học sâu một cách hiệu quả hơn. Mặc dù tài liệu này nhấn mạnh đến tinh chỉnh siêu tham số, nhưng tài liệu này cũng đề cập đến các khía cạnh khác của quá trình đào tạo chuyên sâu, chẳng hạn như triển khai quy trình đào tạo và tối ưu hoá.
Tài liệu này giả định rằng công việc máy học có thể là vấn đề học tập có giám sát hoặc một vấn đề tương tự (ví dụ: học tự giám sát) Tuy nhiên, một số lời khuyên trong tài liệu này cũng có thể áp dụng cho các vấn đề khác liên quan đến máy học.
Đối tượng mục tiêu
Tài liệu này dành cho những kỹ sư và nhà nghiên cứu có ít nhất một kiến thức cơ bản về công nghệ máy học và học sâu. Nếu bạn không có nền tảng đó, vui lòng tham gia Khoá học Máy học.
Tại sao chúng tôi viết tài liệu này?
Hiện tại, có một lượng công việc cực kỳ khó khăn và phỏng đoán liên quan đến việc làm cho mạng nơron sâu hoạt động tốt trong thực tế. Tệ hơn nữa, các công thức nấu ăn thực tế mà mọi người sử dụng để đạt được kết quả tốt với công nghệ học sâu hiếm khi được ghi lại. Các bài viết trình bày chi tiết quy trình dẫn đến kết quả cuối cùng để trình bày một câu chuyện rõ ràng hơn và các kỹ sư máy học xử lý các vấn đề thương mại hiếm khi có thời gian để lùi lại và khái quát hóa quy trình của họ. Sách giáo khoa có xu hướng tránh sử dụng hướng dẫn thực tế và ưu tiên các nguyên tắc cơ bản, ngay cả khi tác giả có kinh nghiệm cần thiết trong công việc ứng dụng để đưa ra lời khuyên hữu ích.
Khi chuẩn bị tạo tài liệu này, chúng tôi không thể tìm thấy cách giải thích toàn diện nào về việc làm thế nào để đạt được kết quả tốt nhờ công nghệ học sâu. Thay vào đó, chúng tôi tìm thấy các lời khuyên trong bài đăng trên blog và trên mạng xã hội, các thủ thuật lấy thông tin từ phần phụ lục của các bài nghiên cứu, thỉnh thoảng là các trường hợp nghiên cứu về một dự án hoặc quy trình cụ thể và rất nhiều nhầm lẫn. Có một khoảng cách lớn giữa kết quả thu được từ các chuyên gia học sâu và những người dùng có tay nghề thấp đang sử dụng các phương pháp bề ngoài tương tự. Tuy nhiên, các chuyên gia sẵn sàng thừa nhận rằng một số việc họ làm có thể không chính đáng. Khi công nghệ học sâu trưởng thành và có tác động lớn hơn đến thế giới, cộng đồng cần nhiều tài nguyên hơn để trình bày các công thức hữu ích, bao gồm tất cả các chi tiết thực tế có thể rất quan trọng để đạt được kết quả tốt.
Chúng tôi là một nhóm gồm năm nhà nghiên cứu và kỹ sư đã làm việc trong công nghệ học sâu trong nhiều năm, một số người trong chúng tôi kể từ đầu năm 2006. Chúng tôi đã áp dụng học sâu trong mọi thứ từ nhận dạng giọng nói cho đến thiên văn học. Tài liệu này phát triển từ kinh nghiệm của chính chúng tôi trong việc đào tạo mạng nơ-ron, dạy kỹ sư máy học mới và tư vấn cho đồng nghiệp về việc thực hành học sâu.
Chúng tôi rất vui khi thấy công nghệ học sâu đi từ phương pháp máy học được một số phòng thí nghiệm thực hành áp dụng cho đến công nghệ giúp các sản phẩm được hàng tỷ người sử dụng. Tuy nhiên, học sâu vẫn chỉ là giai đoạn sơ khai của ngành kỹ thuật và chúng tôi hy vọng tài liệu này sẽ khuyến khích người khác giúp hệ thống hoá các giao thức thử nghiệm của trường.
Tài liệu này được đề cập khi chúng tôi cố gắng kết tinh phương pháp tiếp cận học sâu của riêng mình. Như vậy, nó đại diện cho quan điểm của chúng tôi tại thời điểm viết chứ không phải bất kỳ sự thật khách quan nào. Việc đấu tranh với phương pháp siêu tham số của riêng chúng tôi đã khiến nó trở thành một trọng tâm của hướng dẫn, nhưng chúng tôi cũng đề cập đến các vấn đề quan trọng khác mà chúng tôi đã gặp phải trong công việc (hoặc gặp sự cố). Ý định của chúng tôi là làm cho tài liệu này trở thành một tài liệu sống động và phát triển khi những thay đổi về niềm tin của chúng tôi. Ví dụ: chúng tôi không thể viết tài liệu về gỡ lỗi và giảm thiểu lỗi đào tạo trong hai năm trước vì tài liệu này dựa trên các kết quả gần đây và các cuộc điều tra đang diễn ra.
Tuy nhiên, chúng tôi cần cập nhật một số lời khuyên của mình để tính đến kết quả mới và quy trình làm việc được cải thiện. Chúng tôi không biết công thức học sâu tối ưu, nhưng cho đến khi cộng đồng bắt đầu viết ra và thảo luận về các quy trình khác nhau, chúng tôi không thể hy vọng tìm thấy công thức đó. Do đó, chúng tôi khuyến khích độc giả gặp phải vấn đề trong lời khuyên nên đưa ra các đề xuất thay thế kèm theo bằng chứng thuyết phục để chúng tôi có thể cập nhật cẩm nang. Chúng tôi cũng muốn xem các cẩm nang và hướng dẫn thay thế có thể có các đề xuất khác nhau để chúng tôi có thể nỗ lực hướng tới các phương pháp hay nhất trong vai trò cộng đồng.
Giới thiệu về biểu tượng cảm xúc người máy
Biểu tượng cảm xúc 🤖 của robot cho biết những khu vực mà chúng tôi muốn nghiên cứu thêm. Chỉ sau khi thử viết cẩm nang này, chúng ta mới thấy rõ có bao nhiêu câu hỏi nghiên cứu thú vị và bị bỏ quên trong quy trình làm việc của học viên chuyên sâu.