Sản xuất

Để chuẩn bị quy trình sản xuất công nghệ học máy, bạn cần làm như sau:

• Cung cấp tài nguyên điện toán cho quy trình của bạn
• Triển khai việc ghi nhật ký, giám sát và cảnh báo

Cấp phép tài nguyên điện toán

Việc chạy quy trình học máy cần có tài nguyên điện toán như RAM, CPU và GPU/TPU. Bạn không thể chạy quy trình nếu không có đủ khả năng tính toán. Do đó, hãy đảm bảo để có đủ hạn mức nhằm cung cấp các tài nguyên cần thiết cho kênh của bạn cần chạy trong phiên bản chính thức.

• Quy trình phân phát, đào tạo và xác thực. Những quy trình này yêu cầu TPU, GPU hoặc CPU. Tuỳ thuộc vào trường hợp sử dụng của mình, bạn có thể huấn luyện và phân phát trên phần cứng khác hoặc sử dụng cùng một phần cứng. Ví dụ: việc huấn luyện có thể xảy ra trên CPU nhưng quá trình phân phát có thể sử dụng TPU hoặc ngược lại. Nhìn chung, thường để huấn luyện trên phần cứng lớn hơn rồi phân phát trên phần cứng nhỏ hơn.

  Khi chọn phần cứng, hãy cân nhắc những điều sau:

  • Bạn có thể tập luyện trên thiết bị ít tốn kém hơn không?
  • Liệu việc chuyển sang phần cứng khác có giúp tăng hiệu suất không?
  • Kiểu máy có kích thước như thế nào và phần cứng nào sẽ tối ưu hoá hiệu suất của máy?
  • Phần cứng nào phù hợp nhất với cấu trúc mô hình của bạn?
  Lưu ý: Khi chuyển đổi giữa các mô hình, hãy cân nhắc thời gian và công sức để di chuyển mô hình. Việc chuyển đổi phần cứng có thể giúp mô hình trở nên rẻ hơn nhưng nỗ lực về mặt kỹ thuật để chạy có thể nặng hơn tiết kiệm—hoặc nỗ lực kỹ thuật có thể được ưu tiên tốt hơn trên các .

• Quy trình dữ liệu. Quy trình dữ liệu cần có hạn mức cho RAM và CPU Bạn sẽ cần ước tính cách hạn mức mà quy trình của bạn cần để tạo tập dữ liệu huấn luyện và kiểm thử.

Bạn có thể không phân bổ hạn mức cho từng quy trình. Thay vào đó, bạn có thể phân bổ hạn mức mà đường dẫn chia sẻ. Trong những trường hợp như vậy, hãy xác minh bạn có đủ hạn mức để chạy tất cả kênh của mình, đồng thời thiết lập các chức năng giám sát và thay đổi để ngăn một đường ống ngẫu nhiên tiêu thụ hết hạn mức.

Hạn mức ước tính

Để ước tính hạn mức bạn cần cho dữ liệu và quy trình huấn luyện, hãy tìm các dự án tương tự để làm cơ sở cho số liệu ước tính của bạn. Để ước tính hạn mức phân phát, hãy thử dự đoán số truy vấn của dịch vụ trong mỗi giây. Các phương pháp này cung cấp đường cơ sở. Như bạn bắt đầu tạo nguyên mẫu cho một giải pháp trong giai đoạn thử nghiệm, bạn sẽ bắt đầu để có được ước tính hạn mức chính xác hơn.

Khi ước tính hạn mức, hãy nhớ tính đến hạn mức không chỉ cho quá trình sản xuất quy trình mà còn cho các thử nghiệm đang diễn ra.

Kiểm tra sự hiểu biết của bạn

Khi chọn phần cứng để cung cấp dự đoán, bạn phải luôn chọn phần cứng mạnh hơn so với mức dùng để huấn luyện mô hình.

Sai

Chính xác. Thông thường, quá trình huấn luyện yêu cầu phần cứng lớn hơn so với tính năng phân phát.

Đúng

Ghi nhật ký, giám sát và cảnh báo

Việc ghi nhật ký và theo dõi hành vi của mô hình sản xuất là rất quan trọng. Robust cơ sở hạ tầng giám sát xác nhận các mô hình của bạn đang phân phối đáng tin cậy, các dự đoán chất lượng cao.

Các phương pháp giám sát và ghi nhật ký hiệu quả giúp chủ động xác định các vấn đề trong công nghệ học máy và giảm thiểu tác động tiềm ẩn đối với hoạt động kinh doanh. Khi sự cố xảy ra, cảnh báo thông báo cho các thành viên trong nhóm, đồng thời nhật ký toàn diện hỗ trợ việc chẩn đoán căn nguyên của vấn đề.

Bạn nên triển khai việc ghi nhật ký và giám sát để phát hiện các vấn đề sau với quy trình học máy:

Quy trình	Giám Sát
Đang phân phối	Dữ liệu phân phát bị lệch hoặc trôi dạt so với dữ liệu huấn luyện Sai lệch hoặc trôi dạt trong các dự đoán Vấn đề về loại dữ liệu, chẳng hạn như giá trị bị thiếu hoặc bị hỏng Hạn mức sử dụng Các chỉ số về chất lượng của mô hình Việc tính toán chất lượng của mô hình sản xuất khác với tính toán chất lượng của mô hình trong quá trình huấn luyện. Trong giai đoạn sản xuất, bạn không nhất thiết phải tiếp cận được thông tin thực tế để so sánh dự đoán chính xác. Thay vào đó, bạn cần phải viết giám sát khả năng đo lường để nắm bắt các chỉ số đóng vai trò là proxy cho chất lượng mô hình. Ví dụ: trong ứng dụng thư, bạn sẽ không biết thư nào là spam theo thời gian thực. Thay vào đó, bạn có thể theo dõi tỷ lệ người dùng thư chuyển sang thư mục thư rác. Nếu số nhảy từ 0,5% đến 3% thì đây là dấu hiệu cho thấy mô hình này có thể đang có vấn đề. Lưu ý rằng việc so sánh các thay đổi trong các chỉ số proxy sẽ chi tiết hơn so với số liệu thô của chúng.
Dữ liệu	Độ lệch và độ trượt trong các giá trị tính năng Độ lệch và trôi trong giá trị của nhãn Vấn đề về loại dữ liệu, chẳng hạn như giá trị bị thiếu hoặc bị hỏng Tỷ lệ sử dụng hạn mức Sắp đạt đến hạn mức
Đào tạo	Thời gian đào tạo Lỗi huấn luyện Hạn mức sử dụng
Xác thực	Sai lệch hoặc trôi dạt trong các tập dữ liệu thử nghiệm

Bạn cũng cần ghi nhật ký, giám sát và cảnh báo về những việc sau:

• Độ trễ. Mất bao lâu để đưa ra thông tin gợi ý?
• Sự cố ngừng dịch vụ. Mô hình đã ngừng đưa ra cụm từ gợi ý chưa?

Kiểm tra sự hiểu biết của bạn

Lý do nào sau đây là lý do chính cho việc ghi nhật ký và giám sát quy trình học máy của mình?

Chủ động phát hiện vấn đề trước khi vấn đề ảnh hưởng đến người dùng

Theo dõi hạn mức và mức sử dụng tài nguyên

Xác định các vấn đề bảo mật tiềm ẩn

Tất cả các câu trên

Chính xác. Việc ghi nhật ký và giám sát quy trình học máy giúp ngăn chặn và chẩn đoán vấn đề trước khi chúng trở nên nghiêm trọng.

Triển khai mô hình

Để triển khai mô hình, bạn cần ghi chép các tài liệu sau:

• Cần phê duyệt để bắt đầu triển khai và tăng cường triển khai.
• Cách đưa mô hình vào sản xuất.
• Nơi mô hình được triển khai, ví dụ: nếu có thử nghiệm hoặc canary môi trường xung quanh.
• Việc cần làm nếu quá trình triển khai không thành công.
• Cách khôi phục một mô hình đã được phát hành chính thức.

Sau khi tự động hoá quy trình huấn luyện mô hình, bạn nên tự động hoá xác thực và triển khai. Tự động hoá quy trình triển khai phân phối trách nhiệm và khả năng triển khai bị tắc nghẽn do một người duy nhất. AI cũng giúp giảm thiểu sai sót có thể xảy ra, tăng tính hiệu quả và độ tin cậy và cho phép xoay vòng khi nhận cuộc gọi cũng như hỗ trợ SRE.

Thông thường, bạn triển khai các mô hình mới cho một nhóm nhỏ người dùng để kiểm tra xem mô hình có hoạt động như mong đợi. Nếu có, hãy tiếp tục triển khai. Nếu không, bạn khôi phục triển khai và bắt đầu chẩn đoán và gỡ lỗi vấn đề.