Bạn có thể dùng Bộ công cụ học máy để nhận dạng văn bản trong hình ảnh hoặc video, chẳng hạn như văn bản của một biển báo trên đường. Các đặc điểm chính của tính năng này là:
| API Nhận dạng văn bản phiên bản 2 | |
|---|---|
| Mô tả | Nhận dạng văn bản trong hình ảnh hoặc video, hỗ trợ Tiếng Latinh, tiếng Trung, chữ Devanagari, chữ viết Nhật và tiếng Hàn và nhiều ngôn ngữ. |
| Tên SDK | GoogleMLKit/TextRecognition |
| Triển khai | Các thành phần được liên kết tĩnh với ứng dụng của bạn tại thời điểm xây dựng |
| Tác động của kích thước ứng dụng | Khoảng 38 MB trên mỗi SDK tập lệnh |
| Hiệu suất | Thời gian thực trên hầu hết thiết bị đối với SDK tập lệnh Latinh, chậm hơn đối với các thiết bị khác. |
Dùng thử
- Dùng thử ứng dụng mẫu để xem ví dụ về cách sử dụng API này.
- Hãy tự mình thử mã bằng lớp học lập trình.
Trước khi bắt đầu
- Đưa các nhóm Bộ công cụ học máy sau đây vào Podfile của bạn:
# To recognize Latin script pod 'GoogleMLKit/TextRecognition', '7.0.0' # To recognize Chinese script pod 'GoogleMLKit/TextRecognitionChinese', '7.0.0' # To recognize Devanagari script pod 'GoogleMLKit/TextRecognitionDevanagari', '7.0.0' # To recognize Japanese script pod 'GoogleMLKit/TextRecognitionJapanese', '7.0.0' # To recognize Korean script pod 'GoogleMLKit/TextRecognitionKorean', '7.0.0'
- Sau khi bạn cài đặt hoặc cập nhật Nhóm của dự án, hãy mở dự án Xcode của bạn bằng cách sử dụng
.xcworkspace. Bộ công cụ học máy được hỗ trợ trong Xcode phiên bản 12.4 trở lên.
1. Tạo một thực thể của TextRecognizer
Tạo một thực thể của TextRecognizer bằng cách gọi
+textRecognizer(options:), truyền các tuỳ chọn liên quan đến SDK mà bạn đã khai báo dưới dạng
phần phụ thuộc vào trên:
// When using Latin script recognition SDK let latinOptions = TextRecognizerOptions() let latinTextRecognizer = TextRecognizer.textRecognizer(options:options) // When using Chinese script recognition SDK let chineseOptions = ChineseTextRecognizerOptions() let chineseTextRecognizer = TextRecognizer.textRecognizer(options:options) // When using Devanagari script recognition SDK let devanagariOptions = DevanagariTextRecognizerOptions() let devanagariTextRecognizer = TextRecognizer.textRecognizer(options:options) // When using Japanese script recognition SDK let japaneseOptions = JapaneseTextRecognizerOptions() let japaneseTextRecognizer = TextRecognizer.textRecognizer(options:options) // When using Korean script recognition SDK let koreanOptions = KoreanTextRecognizerOptions() let koreanTextRecognizer = TextRecognizer.textRecognizer(options:options)
// When using Latin script recognition SDK MLKTextRecognizerOptions *latinOptions = [[MLKTextRecognizerOptions alloc] init]; MLKTextRecognizer *latinTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options]; // When using Chinese script recognition SDK MLKChineseTextRecognizerOptions *chineseOptions = [[MLKChineseTextRecognizerOptions alloc] init]; MLKTextRecognizer *chineseTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options]; // When using Devanagari script recognition SDK MLKDevanagariTextRecognizerOptions *devanagariOptions = [[MLKDevanagariTextRecognizerOptions alloc] init]; MLKTextRecognizer *devanagariTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options]; // When using Japanese script recognition SDK MLKJapaneseTextRecognizerOptions *japaneseOptions = [[MLKJapaneseTextRecognizerOptions alloc] init]; MLKTextRecognizer *japaneseTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options]; // When using Korean script recognition SDK MLKKoreanTextRecognizerOptions *koreanOptions = [[MLKKoreanTextRecognizerOptions alloc] init]; MLKTextRecognizer *koreanTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options];
2. Chuẩn bị hình ảnh đầu vào
Truyền hình ảnh dưới dạngUIImage hoặc CMSampleBufferRef vào
Phương thức process(_:completion:) của TextRecognizer:
Tạo đối tượng VisionImage bằng UIImage hoặc
CMSampleBuffer.
Nếu bạn sử dụng UIImage, hãy làm theo các bước sau:
- Tạo đối tượng
VisionImagebằngUIImage. Hãy nhớ chỉ định đúng.orientation.let image = VisionImage(image: UIImage) visionImage.orientation = image.imageOrientation
MLKVisionImage *visionImage = [[MLKVisionImage alloc] initWithImage:image]; visionImage.orientation = image.imageOrientation;
Nếu bạn sử dụng CMSampleBuffer, hãy làm theo các bước sau:
-
Chỉ định hướng của dữ liệu hình ảnh có trong
CMSampleBuffer.Cách lấy hướng ảnh:
func imageOrientation( deviceOrientation: UIDeviceOrientation, cameraPosition: AVCaptureDevice.Position ) -> UIImage.Orientation { switch deviceOrientation { case .portrait: return cameraPosition == .front ? .leftMirrored : .right case .landscapeLeft: return cameraPosition == .front ? .downMirrored : .up case .portraitUpsideDown: return cameraPosition == .front ? .rightMirrored : .left case .landscapeRight: return cameraPosition == .front ? .upMirrored : .down case .faceDown, .faceUp, .unknown: return .up } }
- (UIImageOrientation) imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation cameraPosition:(AVCaptureDevicePosition)cameraPosition { switch (deviceOrientation) { case UIDeviceOrientationPortrait: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationLeftMirrored : UIImageOrientationRight; case UIDeviceOrientationLandscapeLeft: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationDownMirrored : UIImageOrientationUp; case UIDeviceOrientationPortraitUpsideDown: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationRightMirrored : UIImageOrientationLeft; case UIDeviceOrientationLandscapeRight: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationUpMirrored : UIImageOrientationDown; case UIDeviceOrientationUnknown: case UIDeviceOrientationFaceUp: case UIDeviceOrientationFaceDown: return UIImageOrientationUp; } }
- Tạo đối tượng
VisionImagebằng cách sử dụng Đối tượng và hướngCMSampleBuffer:let image = VisionImage(buffer: sampleBuffer) image.orientation = imageOrientation( deviceOrientation: UIDevice.current.orientation, cameraPosition: cameraPosition)
MLKVisionImage *image = [[MLKVisionImage alloc] initWithBuffer:sampleBuffer]; image.orientation = [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation cameraPosition:cameraPosition];
3. Xử lý hình ảnh
Sau đó, hãy truyền hình ảnh đó vào phương thức process(_:completion:):
textRecognizer.process(visionImage) { result, error in
guard error == nil, let result = result else {
// Error handling
return
}
// Recognized text
}[textRecognizer processImage:image completion:^(MLKText *_Nullable result, NSError *_Nullable error) { if (error != nil || result == nil) { // Error handling return; } // Recognized text }];
4. Trích xuất văn bản từ các khối văn bản được nhận dạng
Nếu thao tác nhận dạng văn bản thành công, thao tác sẽ trả về một
Đối tượng Text. Đối tượng Text chứa toàn bộ văn bản
nhận ra trong hình ảnh và không hoặc nhiều hơn TextBlock
.
Mỗi TextBlock đại diện cho một khối văn bản hình chữ nhật có
không chứa hoặc chứa nhiều đối tượng TextLine. Mỗi TextLine
đối tượng không chứa hoặc chứa nhiều đối tượng TextElement,
đại diện cho các từ và các đối tượng giống từ như ngày và số.
Đối với mỗi TextBlock, TextLine và
TextElement, bạn có thể nhận dạng văn bản trong
vùng và toạ độ giới hạn của vùng.
Ví dụ:
let resultText = result.text
for block in result.blocks {
let blockText = block.text
let blockLanguages = block.recognizedLanguages
let blockCornerPoints = block.cornerPoints
let blockFrame = block.frame
for line in block.lines {
let lineText = line.text
let lineLanguages = line.recognizedLanguages
let lineCornerPoints = line.cornerPoints
let lineFrame = line.frame
for element in line.elements {
let elementText = element.text
let elementCornerPoints = element.cornerPoints
let elementFrame = element.frame
}
}
}NSString *resultText = result.text;
for (MLKTextBlock *block in result.blocks) {
NSString *blockText = block.text;
NSArray<MLKTextRecognizedLanguage *> *blockLanguages = block.recognizedLanguages;
NSArray<NSValue *> *blockCornerPoints = block.cornerPoints;
CGRect blockFrame = block.frame;
for (MLKTextLine *line in block.lines) {
NSString *lineText = line.text;
NSArray<MLKTextRecognizedLanguage *> *lineLanguages = line.recognizedLanguages;
NSArray<NSValue *> *lineCornerPoints = line.cornerPoints;
CGRect lineFrame = line.frame;
for (MLKTextElement *element in line.elements) {
NSString *elementText = element.text;
NSArray<NSValue *> *elementCornerPoints = element.cornerPoints;
CGRect elementFrame = element.frame;
}
}
}Nguyên tắc nhập hình ảnh
-
Để Bộ công cụ học máy nhận dạng chính xác văn bản, hình ảnh đầu vào phải chứa được biểu thị bằng đủ dữ liệu pixel. Tốt nhất là bạn nên mỗi ký tự phải có kích thước tối thiểu là 16x16 pixel. Thường thì không có tính chính xác cho các ký tự lớn hơn 24x24 pixel.
Vì vậy, ví dụ: hình ảnh 640x480 có thể phù hợp để quét danh thiếp chiếm toàn bộ chiều rộng của hình ảnh. Để quét tài liệu được in trên giấy có kích thước chữ cái, có thể yêu cầu hình ảnh 720x1280 pixel.
-
Tiêu điểm hình ảnh kém có thể ảnh hưởng đến độ chính xác của nhận dạng văn bản. Nếu bạn không để nhận được kết quả có thể chấp nhận được, hãy thử yêu cầu người dùng chụp lại hình ảnh.
-
Nếu đang nhận dạng được văn bản trong ứng dụng theo thời gian thực, hãy xem xét kích thước tổng thể của các hình ảnh đầu vào. Nhỏ hơn có thể được xử lý nhanh hơn. Để giảm độ trễ, hãy đảm bảo rằng văn bản chiếm nhiều ảnh càng tốt và chụp ảnh ở độ phân giải thấp hơn (lưu ý đến độ chính xác nêu trên). Để biết thêm thông tin, hãy xem Mẹo cải thiện hiệu suất.
Mẹo cải thiện hiệu suất
- Để xử lý khung hình video, hãy sử dụng API đồng bộ
results(in:)của trình phát hiện. Gọi điện phương thức này từ Điều khoản dịch vụ và Chính sách quyền riêng tư củaAVCaptureVideoDataOutputSampleBufferDelegatecaptureOutput(_, didOutput:from:)để nhận kết quả một cách đồng bộ từ video đã cho khung. Giữ củaAVCaptureVideoDataOutputalwaysDiscardsLateVideoFramesdưới dạngtrueđể điều tiết lệnh gọi đến trình phát hiện. Nếu một khách hàng mới khung hình video sẽ bị loại bỏ trong khi trình phát hiện đang chạy. - Nếu bạn sử dụng đầu ra của trình phát hiện để phủ đồ hoạ lên hình ảnh đầu vào, trước tiên hãy lấy kết quả từ Bộ công cụ học máy, sau đó kết xuất hình ảnh và phủ lên trên trong một bước duy nhất. Khi làm vậy, bạn sẽ kết xuất lên giao diện màn hình một lần cho mỗi khung đầu vào đã xử lý. Hãy xem lớp updatePreviewOverlayViewWithLastFrame trong mẫu bắt đầu nhanh của Bộ công cụ học máy.
- Cân nhắc chụp ảnh ở độ phân giải thấp hơn. Tuy nhiên, hãy lưu ý rằng các yêu cầu về kích thước hình ảnh của API này.
- Để tránh làm giảm hiệu suất tiềm ẩn, đừng chạy nhiều
Các thực thể
TextRecognizercó các tuỳ chọn tập lệnh khác nhau đồng thời.