Với các API gắn nhãn hình ảnh của Bộ công cụ học máy, bạn có thể phát hiện và trích xuất thông tin về các thực thể trong một hình ảnh trên một nhóm danh mục lớn. Mô hình gắn nhãn hình ảnh mặc định có thể xác định các đối tượng, địa điểm, hoạt động, loài động vật, sản phẩm chung và các thông tin khác.
Bạn cũng có thể sử dụng mô hình phân loại hình ảnh tuỳ chỉnh để điều chỉnh khả năng phát hiện cho một trường hợp sử dụng cụ thể. Hãy xem bài viết Sử dụng mô hình TensorFlow Lite tuỳ chỉnh để biết thêm thông tin.
Các khả năng chính
- Một thuật toán phân loại cơ sở mạnh mẽ đa năng Nhận biết hơn 400 danh mục mô tả các đối tượng thường gặp nhất trong ảnh.
- Điều chỉnh cho phù hợp với trường hợp sử dụng của bạn với mô hình tuỳ chỉnh Sử dụng các mô hình luyện sẵn khác từ TensorFlow Hub hoặc mô hình tuỳ chỉnh của riêng bạn được huấn luyện bằng TensorFlow, AutoML Vision Edge hoặc trình tạo mô hình TensorFlow Lite.
- API cấp cao dễ sử dụng Không cần phải xử lý đầu vào/đầu ra của mô hình cấp thấp, xử lý trước và sau hình ảnh hay xây dựng quy trình xử lý. Bộ công cụ học máy trích xuất các nhãn từ mô hình TensorFlow Lite và cung cấp các nhãn đó dưới dạng nội dung mô tả văn bản.
Xin lưu ý rằng API này dành cho các mô hình phân loại hình ảnh mô tả hình ảnh đầy đủ. Để phân loại một hoặc nhiều đối tượng trong một hình ảnh, chẳng hạn như giày dép hoặc đồ nội thất, API Phát hiện và theo dõi đối tượng có thể phù hợp hơn.
Các mô hình phân loại hình ảnh được hỗ trợ
Image Labeling API hỗ trợ nhiều mô hình phân loại hình ảnh:
| Các mô hình phân loại hình ảnh được hỗ trợ | |
|---|---|
| Mẫu cơ sở | Theo mặc định, API này sử dụng một mô hình gắn nhãn hình ảnh mạnh mẽ đa năng, giúp nhận dạng hơn 400 thực thể có chứa các khái niệm thường gặp nhất trong ảnh. |
| Mô hình TensorFlow Lite tuỳ chỉnh | Để nhắm mục tiêu đến các khái niệm dành riêng cho ứng dụng, API chấp nhận các mô hình phân loại hình ảnh tuỳ chỉnh từ nhiều nguồn. Các mô hình này có thể là mô hình luyện sẵn, được tải xuống từ TensorFlow Hub hoặc là mô hình của riêng bạn được huấn luyện bằng AutoML Vision Edge, Trình tạo mô hình TensorFlow Lite hoặc chính TensorFlow. Bạn có thể đóng gói các mô hình với ứng dụng hoặc lưu trữ bằng công nghệ Học máy của Firebase và tải xuống trong thời gian chạy. |
Sử dụng mô hình cơ sở
Mô hình cơ sở của Bộ công cụ học máy trả về danh sách các thực thể xác định người, sự vật, địa điểm, hoạt động, v.v. Mỗi thực thể sẽ có một điểm số cho biết mức độ tin cậy của mô hình học máy về mức độ liên quan của nó. Với thông tin này, bạn có thể thực hiện các công việc như tự động tạo siêu dữ liệu và kiểm duyệt nội dung. Mô hình mặc định đi kèm với Bộ công cụ học máy nhận dạng hơn 400 thực thể.
Nhãn mẫu
Mô hình cơ sở trong API gắn nhãn hình ảnh hỗ trợ hơn 400 nhãn, chẳng hạn như các ví dụ sau:
| Danh mục | Nhãn mẫu |
|---|---|
| Mọi người | CrowdSelfieSmile |
| Hoạt động | DancingEatingSurfing |
| Sự vật | CarPianoReceipt |
| Động vật | BirdCatDog |
| Thực vật | FlowerFruitVegetable |
| Địa điểm | BeachLakeMountain |
Kết quả mẫu
Dưới đây là ví dụ về các thực thể đã được nhận dạng trong ảnh đi kèm.
| Nhãn 0 | |
|---|---|
| Văn bản | Sân vận động |
| Mức độ tin cậy | 0,9205354 |
| Nhãn 1 | |
| Văn bản | Thể thao |
| Mức độ tin cậy | 0,7531109 |
| Nhãn 2 | |
| Văn bản | Sự kiện |
| Mức độ tin cậy | 0,66905296 |
| Nhãn 3 | |
| Văn bản | Giải trí |
| Mức độ tin cậy | 0,59904146 |
| Nhãn 4 | |
| Văn bản | Bóng đá |
| Mức độ tin cậy | 0,56384534 |
| Nhãn 5 | |
| Văn bản | Thực |
| Mức độ tin cậy | 0,54679185 |
| Nhãn 6 | |
| Văn bản | Thực vật |
| Mức độ tin cậy | 0,524364 |
Sử dụng mô hình TensorFlow Lite tuỳ chỉnh
Mô hình gắn nhãn hình ảnh cơ sở của Bộ công cụ học máy được thiết kế để sử dụng cho nhiều mục đích. API này được huấn luyện để nhận ra 400 danh mục mô tả các đối tượng thường thấy nhất trong ảnh. Ứng dụng của bạn có thể cần một mô hình phân loại hình ảnh chuyên biệt giúp nhận dạng một số lượng danh mục hẹp hơn một cách chi tiết, chẳng hạn như một mô hình phân biệt giữa các loài hoa hoặc loại thực phẩm.
API này cho phép bạn điều chỉnh cho phù hợp với một trường hợp sử dụng cụ thể bằng cách hỗ trợ các mô hình phân loại hình ảnh tuỳ chỉnh từ nhiều nguồn. Vui lòng tham khảo bài viết Mô hình tuỳ chỉnh đi kèm Bộ công cụ học máy để tìm hiểu thêm. Bạn có thể đóng gói các mô hình tuỳ chỉnh với ứng dụng của mình hoặc tự động tải các mô hình đó xuống từ đám mây bằng cách sử dụng dịch vụ triển khai mô hình của Công nghệ học máy Firebase.
Xử lý trước hình ảnh đầu vào
Nếu cần, tính năng Gắn nhãn hình ảnh sẽ sử dụng tỷ lệ và kéo giãn hình ảnh song tuyến tính để điều chỉnh kích thước hình ảnh đầu vào và tỷ lệ khung hình cho phù hợp với yêu cầu của mô hình cơ sở.