Trong giai đoạn lên ý tưởng và lập kế hoạch, bạn sẽ tìm hiểu các yếu tố của giải pháp học máy. Trong nhiệm vụ lấy khung hình cho vấn đề, bạn sẽ phác thảo vấn đề để tìm ra giải pháp bằng công nghệ học máy. Khoá học Giới thiệu về việc lập khung hình cho vấn đề trong công nghệ học máy sẽ trình bày chi tiết các bước đó. Trong nhiệm vụ lập kế hoạch, bạn sẽ ước tính tính khả thi của giải pháp, lập kế hoạch phương pháp tiếp cận và thiết lập các chỉ số thành công.
Mặc dù về mặt lý thuyết, công nghệ học máy có thể là một giải pháp hiệu quả, nhưng bạn vẫn cần ước tính tính khả thi trong thực tế. Ví dụ: một giải pháp có thể hiệu quả về mặt kỹ thuật nhưng không thực tế hoặc không thể triển khai. Các yếu tố sau ảnh hưởng đến tính khả thi của dự án:
- Phạm vi cung cấp dữ liệu
- Độ khó của bài toán
- Chất lượng dự đoán
- Yêu cầu về kỹ thuật
- Chi phí
Phạm vi cung cấp dữ liệu
Mô hình học máy hiệu quả nhất khi được huấn luyện dựa trên dữ liệu. Họ cần nhiều dữ liệu chất lượng cao để đưa ra các dự đoán chất lượng cao. Việc giải quyết các câu hỏi sau có thể giúp bạn đánh giá xem liệu mình có dữ liệu cần thiết để huấn luyện một mô hình hay không:
Số lượng. Bạn có thể có đủ dữ liệu chất lượng cao để huấn luyện một mô hình không? Ví dụ có gắn nhãn có khan hiếm, khó tìm hoặc quá tốn kém không? Ví dụ: việc nhận được các hình ảnh y khoa hoặc bản dịch cho các ngôn ngữ hiếm gặp là rất khó. Để đưa ra dự đoán chính xác, mô hình phân loại cần có nhiều ví dụ cho mỗi nhãn. Nếu tập dữ liệu huấn luyện có chứa các ví dụ giới hạn cho một số nhãn, thì mô hình này sẽ không thể đưa ra dự đoán chính xác.
Các tính năng có thể sử dụng tại thời điểm phân phát. Tất cả các tính năng dùng trong chương trình huấn luyện có hoạt động tại thời điểm phân phát không? Các nhóm đã dành một lượng thời gian đáng kể để đào tạo các mô hình chỉ để nhận ra rằng một số tính năng chỉ hoạt động được vài ngày sau khi mô hình cần đến các tính năng đó.
Ví dụ: giả sử một mô hình dự đoán liệu khách hàng có nhấp vào một URL hay không và một trong các tính năng được dùng trong quá trình huấn luyện bao gồm
user_age. Tuy nhiên, khi mô hình phân phát nội dung dự đoán,user_agesẽ không có sẵn, có thể là do người dùng chưa tạo tài khoản.Quy định. Các quy định và yêu cầu pháp lý đối với việc thu thập và sử dụng dữ liệu là gì? Ví dụ: một số yêu cầu đặt ra giới hạn cho việc lưu trữ và sử dụng một số loại dữ liệu nhất định.
AI tạo sinh
Các mô hình AI tạo sinh đã qua huấn luyện thường yêu cầu các tập dữ liệu được tuyển chọn để có thể thực hiện xuất sắc các công việc dành riêng cho từng miền. Có thể bạn sẽ cần tập dữ liệu cho các trường hợp sử dụng sau:
-
kỹ thuật lời nhắc,
điều chỉnh hiệu quả tham số và
tinh chỉnh.
Tuỳ thuộc vào trường hợp sử dụng, bạn có thể cần từ 10 đến 10.000 ví dụ chất lượng cao để tinh chỉnh thêm kết quả của một mô hình. Ví dụ: nếu một mô hình cần được tinh chỉnh để xuất sắc trong một nhiệm vụ cụ thể, chẳng hạn như trả lời câu hỏi y khoa, bạn sẽ cần một tập dữ liệu chất lượng cao đại diện cho các loại câu hỏi mà mô hình đó sẽ được hỏi cùng với các loại câu trả lời mà mô hình đó nên trả lời.
Bảng sau đây đưa ra số liệu ước tính về số lượng ví dụ cần thiết để tinh chỉnh kết quả của mô hình AI tạo sinh cho một kỹ thuật cụ thể:
-
Thông tin mới nhất. Sau khi được huấn luyện trước, các mô hình AI tạo sinh sẽ có một nền tảng kiến thức cố định. Nếu nội dung trong miền của mô hình thay đổi thường xuyên,
bạn sẽ cần có một chiến lược để đảm bảo mô hình này luôn cập nhật, chẳng hạn như:
- tinh chỉnh
- Tạo tăng cường truy xuất (RAG)
- đào tạo trước định kỳ
| Kỹ thuật | Số lượng ví dụ bắt buộc |
|---|---|
| Lời nhắc tự động đăng ký | 0 |
| Lời nhắc sau vài lần quay | ~10 giây – 100 giây |
| Điều chỉnh thông số hiệu quả 1 | ~100 giây – 10.000 giây |
| Tinh chỉnh | ~1000s – 10.000s (trở lên) |
Độ khó của bài toán
Độ khó của một vấn đề có thể khó ước tính. Những gì ban đầu có vẻ là một cách tiếp cận hợp lý thực tế lại trở thành một câu hỏi nghiên cứu mở; những gì có vẻ thiết thực và khả thi lại đôi khi lại không thực tế hoặc không khả thi. Việc trả lời những câu hỏi sau đây có thể giúp đánh giá mức độ khó của vấn đề:
Vấn đề tương tự đã được giải quyết chưa? Ví dụ: các nhóm trong tổ chức của bạn có sử dụng dữ liệu tương tự (hoặc giống hệt) để xây dựng mô hình không? Những người hoặc nhóm bên ngoài tổ chức của bạn đã giải quyết những vấn đề tương tự, chẳng hạn như tại Kaggle hoặc TensorFlow Hub chưa? Nếu có, có nhiều khả năng bạn sẽ có thể sử dụng các phần của mô hình đó để xây dựng mô hình của mình.
Bản chất của vấn đề này có khó không? Việc biết điểm chuẩn của con người cho nhiệm vụ có thể cho biết mức độ khó của vấn đề. Ví dụ:
- Con người có thể phân loại động vật trong hình ảnh với độ chính xác khoảng 95%.
- Con người có thể phân loại các chữ số viết tay với độ chính xác khoảng 99%.
Dữ liệu trên cho thấy việc tạo một mô hình để phân loại động vật sẽ khó hơn so với việc tạo một mô hình để phân loại các chữ số viết tay.
Có đối tượng xấu nào không? Mọi người có tích cực cố gắng khai thác mô hình của bạn không? Nếu vậy, bạn sẽ phải liên tục cập nhật mô hình trước khi có thể sử dụng sai mục đích. Ví dụ: các bộ lọc thư rác không thể phát hiện các loại thư rác mới khi ai đó lợi dụng mô hình này để tạo những email có vẻ hợp lệ.
AI tạo sinh
Các mô hình AI tạo sinh có các lỗ hổng bảo mật tiềm ẩn có thể làm tăng độ khó của vấn đề:
- Nguồn đầu vào. Dữ liệu đầu vào sẽ đến từ đâu? Lời nhắc đối nghịch có thể làm rò rỉ dữ liệu huấn luyện, tài liệu mở đầu, nội dung cơ sở dữ liệu hoặc thông tin về công cụ không?
- Mức sử dụng đầu ra. Kết quả đầu ra sẽ được sử dụng như thế nào? Mô hình này sẽ tạo ra nội dung thô hay sẽ có các bước trung gian để kiểm tra và xác minh nội dung đó là phù hợp? Ví dụ: việc cung cấp dữ liệu đầu ra thô cho các trình bổ trợ có thể gây ra một số vấn đề bảo mật.
- Tinh chỉnh. Việc tinh chỉnh tập dữ liệu bị hỏng có thể ảnh hưởng tiêu cực đến trọng số của mô hình. Việc hỏng này sẽ khiến mô hình đưa ra nội dung không chính xác, độc hại hoặc thiên lệch. Như đã lưu ý trước đó, tính năng tinh chỉnh yêu cầu một tập dữ liệu đã được xác minh để chứa các ví dụ chất lượng cao.
Chất lượng dự đoán
Bạn nên cân nhắc kỹ tác động mà các dự đoán của mô hình sẽ tác động đến người dùng và xác định chất lượng dự đoán cần thiết cần thiết cho mô hình này.
Chất lượng dự đoán cần thiết phụ thuộc vào loại dự đoán. Ví dụ: chất lượng dự đoán cần thiết cho một hệ thống đề xuất sẽ không giống với mô hình gắn cờ các lỗi vi phạm chính sách. Đề xuất video không phù hợp có thể tạo trải nghiệm người dùng kém. Tuy nhiên, việc gắn cờ không chính xác một video vi phạm chính sách của nền tảng có thể phát sinh chi phí hỗ trợ hoặc tệ hơn là phí pháp lý.
Mô hình của bạn có cần phải có chất lượng dự đoán rất cao vì việc dự đoán sai sẽ cực kỳ tốn kém không? Nhìn chung, chất lượng dự đoán yêu cầu càng cao thì vấn đề càng khó. Thật không may, các dự án thường có tỷ lệ trả về giảm dần khi bạn cố gắng cải thiện chất lượng. Ví dụ: việc tăng độ chính xác của một mô hình từ 99,9% lên 99,99% có nghĩa là chi phí dự án tăng lên gấp 10 lần (nếu không muốn nói là hơn).
Hình 2. Một dự án ML thường ngày càng đòi hỏi nhiều tài nguyên hơn khi chất lượng dự đoán cần thiết tăng lên.
AI tạo sinh
Khi phân tích đầu ra của AI tạo sinh, hãy cân nhắc những điều sau:
-
Chính xác thực tế. Mặc dù các mô hình AI tạo sinh có thể tạo ra nội dung trôi chảy và mạch lạc, nhưng không chắc chắn đây là thông tin thực tế. Câu lệnh sai trong các mô hình AI tạo sinh được gọi là lỗi xác nhận.
Ví dụ: các mô hình AI tạo sinh có thể giao tiếp và đưa ra nội dung tóm tắt không chính xác, trả lời sai các câu hỏi toán học hoặc đưa ra tuyên bố sai về thế giới. Nhiều trường hợp sử dụng vẫn yêu cầu con người xác minh đầu ra của AI tạo sinh trước khi sử dụng trong môi trường phát hành chính thức, chẳng hạn như mã do LLM tạo.
Giống như công nghệ học máy truyền thống, yêu cầu về độ chính xác của dữ liệu thực tế càng cao thì chi phí phát triển và duy trì càng cao.
- Chất lượng đầu ra. Những hậu quả về mặt pháp lý và tài chính (hoặc các hệ quả về mặt đạo đức) do kết quả kém chất lượng gây ra, chẳng hạn như nội dung thiên vị, đạo văn hoặc độc hại là gì?
Yêu cầu về kỹ thuật
Các mô hình có một số yêu cầu về kỹ thuật ảnh hưởng đến tính khả thi. Sau đây là những yêu cầu chính về kỹ thuật mà bạn cần giải quyết để xác định tính khả thi của dự án:
- Độ trễ. Yêu cầu về độ trễ là gì? Thời gian phân phát dự đoán là bao lâu?
- Số truy vấn mỗi giây (QPS). Các yêu cầu về QPS là gì?
- Mức sử dụng RAM. Yêu cầu về RAM cho việc huấn luyện và phân phối là gì?
- Nền tảng. Mô hình này sẽ chạy ở đâu: Trực tuyến (các truy vấn được gửi đến máy chủ RPC), WebML (bên trong trình duyệt web), ODML (trên điện thoại hoặc máy tính bảng) hay ngoại tuyến (nội dung đề xuất được lưu trong bảng)?
Khả năng diễn giải. Các dự đoán có cần phải diễn giải được không? Chẳng hạn, sản phẩm của bạn có cần trả lời các câu hỏi như "Tại sao một nội dung cụ thể bị đánh dấu là vi phạm?" hoặc "Tại sao một video được xác định là vi phạm chính sách của nền tảng này?"
Tần suất đào tạo lại. Khi dữ liệu cơ bản cho mô hình của bạn thay đổi nhanh chóng, bạn có thể cần phải đào tạo lại thường xuyên hoặc liên tục. Tuy nhiên, việc đào tạo lại thường xuyên có thể dẫn đến chi phí đáng kể có thể lớn hơn lợi ích của việc cập nhật dự đoán của mô hình.
Trong hầu hết các trường hợp, bạn có thể sẽ phải ảnh hưởng đến chất lượng của một mô hình để tuân thủ các thông số kỹ thuật. Trong những trường hợp đó, bạn cần phải xác định xem liệu bạn vẫn có thể tạo một mô hình đủ tốt để chuyển sang khâu phát hành công khai hay không.
AI tạo sinh
Hãy cân nhắc các yêu cầu kỹ thuật sau đây khi làm việc với AI tạo sinh:
- Nền tảng. Nhiều mô hình luyện sẵn có nhiều kích thước khác nhau nên hoạt động trên nhiều nền tảng có tài nguyên điện toán khác nhau. Ví dụ: các mô hình luyện sẵn có thể có quy mô từ quy mô trung tâm dữ liệu đến quy mô phù hợp với điện thoại. Bạn sẽ cần cân nhắc các giới hạn về độ trễ, quyền riêng tư và chất lượng của sản phẩm hoặc dịch vụ khi chọn kích thước mô hình. Những quy tắc ràng buộc này thường có thể xung đột với nhau. Ví dụ: các quy tắc ràng buộc về quyền riêng tư có thể yêu cầu các dự đoán chạy trên thiết bị của người dùng. Tuy nhiên, chất lượng đầu ra có thể kém vì thiết bị thiếu tài nguyên điện toán để tạo ra kết quả tốt.
- Độ trễ. Kích thước đầu vào và đầu ra của mô hình ảnh hưởng đến độ trễ. Cụ thể, kích thước đầu ra ảnh hưởng đến độ trễ nhiều hơn kích thước đầu vào. Mặc dù có thể tải song song dữ liệu đầu vào, nhưng các mô hình chỉ có thể tạo đầu ra theo tuần tự. Nói cách khác, độ trễ có thể giống nhau khi nhập một bản tóm tắt gồm 500 từ hoặc 10 từ, trong khi việc tạo một bản tóm tắt 500 từ sẽ mất nhiều thời gian hơn so với việc tạo một bản tóm tắt 10 từ.
- Sử dụng công cụ và API. Mô hình này có cần sử dụng các công cụ và API, chẳng hạn như tìm kiếm trên Internet, sử dụng máy tính hay truy cập vào một ứng dụng email để hoàn thành một nhiệm vụ không? Thông thường, càng cần có nhiều công cụ để hoàn thành một nhiệm vụ thì càng có nhiều cơ hội để phát tán lỗi và gia tăng lỗ hổng của mô hình.
Chi phí
Việc triển khai công nghệ học máy có xứng đáng với chi phí bỏ ra không? Hầu hết các dự án học máy sẽ không được phê duyệt nếu việc triển khai và duy trì giải pháp học máy tốn kém hơn so với số tiền tạo ra (hoặc tiết kiệm được). Các dự án học máy phải chịu cả chi phí về con người và máy móc.
Chi phí nhân lực. Sẽ cần bao nhiêu người để dự án này chuyển từ giai đoạn hoàn thiện khái niệm sang giai đoạn sản xuất? Khi các dự án học máy phát triển, chi phí thường sẽ tăng lên. Ví dụ: các dự án học máy cần nhiều người triển khai và duy trì một hệ thống sẵn sàng sản xuất hơn so với việc tạo một nguyên mẫu. Hãy cố gắng ước tính số lượng và loại vai trò mà dự án sẽ cần ở mỗi giai đoạn.
Chi phí máy móc. Việc huấn luyện, triển khai và duy trì mô hình đòi hỏi nhiều điện toán và bộ nhớ. Ví dụ: bạn có thể cần hạn mức TPU cho các mô hình huấn luyện và nội dung dự đoán về việc phân phát, cùng với cơ sở hạ tầng cần thiết cho quy trình dữ liệu của mình. Bạn có thể phải trả tiền để được gắn nhãn dữ liệu hoặc trả phí cấp phép dữ liệu. Trước khi huấn luyện một mô hình, hãy cân nhắc việc ước tính chi phí xây dựng và duy trì các tính năng học máy trong dài hạn.
Chi phí dự đoán. Mô hình này có cần phải tạo ra hàng trăm hoặc hàng nghìn lượt suy luận tốn nhiều chi phí hơn doanh thu được tạo ra không?
Lưu ý
Việc gặp phải các vấn đề liên quan đến bất kỳ chủ đề nào trước đây có thể khiến việc triển khai giải pháp học máy trở nên khó khăn, nhưng thời hạn chặt chẽ có thể khiến khó khăn hơn nữa. Hãy cố gắng lập kế hoạch và dành đủ thời gian dựa trên mức độ khó nhận thấy của vấn đề, sau đó cố gắng dành nhiều thời gian vận hành hơn nữa so với dự án không phải công nghệ học máy.