Các dự án học máy đòi hỏi các nhóm có thành viên có nhiều kỹ năng, chuyên môn và trách nhiệm liên quan đến học máy. Sau đây là những URL phổ biến nhất vai trò của các nhóm học máy điển hình:
| Vai trò | Kiến thức và kỹ năng | Thành phẩm chính |
|---|---|---|
| nhà quản lý sản phẩm học máy | Các nhà quản lý sản phẩm học máy hiểu rõ những điểm mạnh của công nghệ học máy và những điểm yếu và quá trình phát triển công nghệ học máy. Loại từ khoá này phù hợp với các vấn đề của doanh nghiệp vào các giải pháp học máy bằng cách làm việc trực tiếp với nhóm học máy, người dùng cuối và các bên liên quan khác. Họ tạo ra tầm nhìn sản phẩm, xác định các trường hợp sử dụng và yêu cầu, đồng thời lập kế hoạch và ưu tiên các dự án. |
Tài liệu yêu cầu về sản phẩm (PRD). |
| Nhà quản lý kỹ thuật | Các nhà quản lý kỹ thuật đạt được mục tiêu kinh doanh bằng cách đặt ra, trao đổi thông tin và đạt được các ưu tiên của nhóm. Giống như công nghệ học máy nhà quản lý sản phẩm, họ điều chỉnh các giải pháp học máy cho phù hợp với vấn đề kinh doanh. Họ đặt ra các kỳ vọng rõ ràng cho các thành viên trong nhóm, tiến hành đánh giá hiệu suất và hỗ trợ phát triển sự nghiệp cũng như chuyên môn. |
Tài liệu thiết kế, kế hoạch dự án và đánh giá hiệu suất. |
| Nhà khoa học dữ liệu | Các nhà khoa học dữ liệu sử dụng phương pháp phân tích định lượng và thống kê để trích xuất thông tin chi tiết và giá trị từ dữ liệu. Chúng giúp xác định và thử nghiệm các tính năng, mô hình nguyên mẫu và trợ giúp về mức độ diễn giải mô hình. | Các báo cáo và hình ảnh dữ liệu giúp giải đáp các thắc mắc về doanh nghiệp thông qua phân tích thống kê. |
| kỹ sư học máy | Các kỹ sư học máy thiết kế, xây dựng, sản xuất và quản lý các mô hình học máy. Họ là những kỹ sư phần mềm giỏi, có hiểu biết sâu sắc về các công nghệ và phương pháp hay nhất về máy học. | Mô hình đã triển khai có đủ chất lượng dự đoán để đáp ứng hoạt động kinh doanh mục tiêu. |
| Kỹ sư dữ liệu | Kỹ sư dữ liệu xây dựng quy trình dữ liệu để lưu trữ, tổng hợp và xử lý một lượng lớn dữ liệu. Các nhóm này phát triển cơ sở hạ tầng và hệ thống để thu thập và chuyển đổi dữ liệu thô thành các định dạng hữu ích cho việc huấn luyện và phân phát mô hình. Kỹ sư dữ liệu chịu trách nhiệm về dữ liệu trong toàn bộ quy trình phát triển công nghệ học máy. | Quy trình dữ liệu được triển khai đầy đủ với các tính năng giám sát và cảnh báo cần thiết. |
| Kỹ sư vận hành dành cho nhà phát triển (DevOps) | Kỹ sư DevOps phát triển, triển khai, mở rộng quy mô và giám sát cơ sở hạ tầng phân phát cho các mô hình máy học. | Một quy trình tự động để phân phát, giám sát, kiểm thử và cảnh báo về hành vi của mô hình. |
Các dự án học máy thành công có các nhóm với mỗi vai trò được thể hiện rõ ràng. Khi làm việc với quy mô nhỏ, các cá nhân sẽ phải xử lý trách nhiệm của nhiều vai trò.
Xây dựng các phương pháp cho nhóm
Vì các vai trò, công cụ và khung khác nhau rất nhiều trong quá trình phát triển công nghệ học máy, nên điều quan trọng là phải thiết lập các phương pháp chung thông qua tài liệu quy trình chất lượng cao. Ví dụ: một kỹ sư có thể nghĩ rằng chỉ cần có dữ liệu phù hợp là đủ để bắt đầu huấn luyện mô hình, trong khi một kỹ sư có trách nhiệm hơn sẽ xác thực rằng tập dữ liệu được ẩn danh chính xác và ghi lại siêu dữ liệu cũng như nguồn gốc của tập dữ liệu đó. Việc đảm bảo các kỹ sư chia sẻ định nghĩa chung về quy trình và mẫu thiết kế sẽ giúp giảm sự nhầm lẫn và tăng tốc độ của nhóm.
Tài liệu về quy trình
Tài liệu quy trình phải xác định các công cụ, cơ sở hạ tầng và quy trình mà nhóm sẽ sử dụng để phát triển công nghệ học máy. Tài liệu về quy trình hiệu quả giúp thống nhất nội dung mới và hiện tại các thành viên trong nhóm. Họ cần trả lời các loại câu hỏi sau:
- Dữ liệu được tạo cho mô hình này như thế nào?
- Chúng tôi kiểm tra, xác thực và trực quan hoá dữ liệu bằng cách nào?
- Làm cách nào để sửa đổi tính năng đầu vào hoặc nhãn trong dữ liệu huấn luyện?
- Làm cách nào để tuỳ chỉnh quy trình tạo, huấn luyện và đánh giá dữ liệu?
- Làm cách nào để thay đổi cấu trúc mô hình cho phù hợp với các thay đổi về dữ liệu đầu vào tính năng hoặc nhãn nào?
- Làm cách nào để chúng tôi có được các ví dụ thử nghiệm?
- Chúng ta sẽ sử dụng những chỉ số nào để đánh giá chất lượng mô hình?
- Làm cách nào để chúng tôi ra mắt các mô hình sản xuất?
- Làm cách nào để biết mô hình của chúng ta có vấn đề gì không?
- Các mô hình của chúng tôi phụ thuộc vào những hệ thống thượng nguồn nào?
- Làm cách nào để SQL của tôi có thể duy trì và sử dụng lại?
Các câu hỏi khác có thể xảy ra
Mô hìnhTôi có thể huấn luyện mô hình trên nhiều tập dữ liệu trong cùng một quy trình không, chẳng hạn như để tinh chỉnh không?
Làm cách nào để thêm tập dữ liệu kiểm thử mới vào quy trình của tôi?
Làm cách nào để kiểm tra dự đoán của mô hình trên một ví dụ thủ công?
Cách tìm, kiểm tra và trực quan hoá các ví dụ mà mô hình được tạo ra sai lầm?
Làm cách nào để xác định tính năng nào đóng góp nhiều nhất cho một dự đoán nhất định?
Làm cách nào để biết những đặc điểm nào có tác động nhiều nhất đến dự đoán trong một mẫu nhất định?
Làm cách nào để tính toán hoặc lập biểu đồ dự đoán của mô hình trên một tập dữ liệu hoặc mẫu đã chọn?
Làm cách nào để tính toán chỉ số chuẩn cho các dự đoán của mô hình về tập dữ liệu đã chọn?
Làm cách nào để phát triển và tính toán các chỉ số tuỳ chỉnh?
Làm cách nào để so sánh mô hình của tôi với các mô hình khác ngoại tuyến?
Tôi có thể thực hiện phân tích tổng hợp cho nhiều hoạt động đánh giá mô hình trong một môi trường phát triển duy nhất không?
Tôi có thể so sánh mô hình hiện tại với mô hình cách đây 10 tháng không?
Tôi nghĩ mình đã tạo một mô hình tốt. Làm cách nào để ra mắt phiên bản chính thức?
Làm cách nào để xác minh rằng mô hình mới của tôi đang chạy chính xác trong môi trường thực tế?
Tôi có thể xem nhật ký đánh giá mô hình theo thời gian không?
Làm cách nào để biết khi nào mô hình này gặp sự cố?
Tôi được giao một trang/lỗi đề cập đến một số nội dung về mô hình. Tôi cần làm gì?
Làm cách nào để tuỳ chỉnh quy trình tạo/huấn luyện/đánh giá dữ liệu?
Tôi nên tạo một quy trình hoàn toàn mới khi nào và bằng cách nào?
Tôi cần SQL để tạo một số dữ liệu. Tôi nên đặt mã này ở đâu?
Tính năng phân phát mô hình hoạt động như thế nào? Có sơ đồ nào không?
Tôi nên lưu ý đến những hệ thống thượng nguồn nào mà mô hình của mình phụ thuộc vào?
Tôi không hiểu một vấn đề. Tôi nên liên hệ với ai (và bằng cách nào)?
Lưu ý
"Các phương pháp hay nhất về học máy" có thể khác nhau giữa các công ty, nhóm và cá nhân. Ví dụ: một số thành viên trong nhóm có thể xem xét các Colab thử nghiệm là sản phẩm chính, trong khi những người khác muốn làm việc trong R. Một số người có thể đam mê kỹ thuật phần mềm, một số khác lại cho rằng việc giám sát là điều quan trọng nhất, nhưng một số khác lại biết đến các phương pháp sản xuất tính năng hiệu quả nhưng muốn sử dụng Scala. Mọi người đều "đúng" theo quan điểm của riêng họ và nếu được điều hướng chính xác, bản phối sẽ trở thành một nguồn năng lượng mạnh mẽ. Nếu không, tình huống có thể trở nên lộn xộn.
Việc thiết lập các công cụ, quy trình và cơ sở hạ tầng mà nhóm sẽ sử dụng trước khi viết một dòng mã có thể là sự khác biệt giữa việc dự án thất bại sau hai năm hoặc ra mắt thành công sớm hơn một quý so với lịch trình.
Đánh giá hiệu suất
Do tính chất mơ hồ và không chắc chắn vốn có của công nghệ học máy, các nhà quản lý nhân sự cần đặt ra rõ ràng kỳ vọng và xác định sớm các sản phẩm cần giao.
Khi xác định kỳ vọng và nội dung phân phối, hãy cân nhắc xem chúng sẽ như thế nào đánh giá xem một dự án hoặc phương pháp tiếp cận không thành công. Nói cách khác, hiệu suất của thành viên trong nhóm không liên quan trực tiếp đến thành công của dự án. Ví dụ: việc các thành viên trong nhóm chi tiêu không phải là điều bất thường tuần tìm hiểu các giải pháp cuối cùng không thành công. Ngay cả trong những trường hợp này, mã chất lượng cao, tài liệu kỹ lưỡng và khả năng cộng tác hiệu quả của họ vẫn sẽ đóng góp tích cực vào quá trình đánh giá.