Trang này được dịch bởi Cloud Translation API.

Nhận dạng văn bản trong hình ảnh bằng Bộ công cụ học máy trên iOS

Bạn có thể sử dụng Bộ công cụ máy học để nhận dạng văn bản trong hình ảnh hoặc video, chẳng hạn như văn bản trên biển báo đường phố. Các đặc điểm chính của tính năng này là:

API Nhận dạng văn bản phiên bản 2
Mô tả	Nhận dạng văn bản trong hình ảnh hoặc video, hỗ trợ các phông chữ La Mã, Trung Quốc, Devanagari, Nhật Bản và Hàn Quốc cũng như nhiều ngôn ngữ.
Tên SDK	`GoogleMLKit/TextRecognition GoogleMLKit/TextRecognitionChinese GoogleMLKit/TextRecognitionDevanagari GoogleMLKit/TextRecognitionJapanese GoogleMLKit/TextRecognitionKorean`
Triển khai	Các thành phần được liên kết tĩnh với ứng dụng của bạn tại thời điểm tạo bản dựng
Ảnh hưởng của kích thước ứng dụng	Khoảng 38 MB cho mỗi SDK tập lệnh
Hiệu suất	Theo thời gian thực trên hầu hết các thiết bị đối với SDK chữ viết La Mã, chậm hơn đối với các thiết bị khác.

Dùng thử

Hãy thử nghiệm với ứng dụng mẫu để xem ví dụ về cách sử dụng API này.
Hãy tự thử mã này trong lớp học lập trình.

Trước khi bắt đầu

Thêm các nhóm Bộ công cụ học máy sau vào Podfile:

# To recognize Latin script
pod 'GoogleMLKit/TextRecognition', '7.0.0'
# To recognize Chinese script
pod 'GoogleMLKit/TextRecognitionChinese', '7.0.0'
# To recognize Devanagari script
pod 'GoogleMLKit/TextRecognitionDevanagari', '7.0.0'
# To recognize Japanese script
pod 'GoogleMLKit/TextRecognitionJapanese', '7.0.0'
# To recognize Korean script
pod 'GoogleMLKit/TextRecognitionKorean', '7.0.0'

Sau khi bạn cài đặt hoặc cập nhật Pods của dự án, hãy mở dự án Xcode bằng .xcworkspace. Bộ công cụ học máy được hỗ trợ trong Xcode phiên bản 12.4 trở lên.

1. Tạo một thực thể của `TextRecognizer`

Tạo một thực thể của TextRecognizer bằng cách gọi +textRecognizer(options:), truyền các tuỳ chọn liên quan đến SDK mà bạn đã khai báo làm phần phụ thuộc ở trên:

Swift

// When using Latin script recognition SDK
let latinOptions = TextRecognizerOptions()
let latinTextRecognizer = TextRecognizer.textRecognizer(options:options)

// When using Chinese script recognition SDK
let chineseOptions = ChineseTextRecognizerOptions()
let chineseTextRecognizer = TextRecognizer.textRecognizer(options:options)

// When using Devanagari script recognition SDK
let devanagariOptions = DevanagariTextRecognizerOptions()
let devanagariTextRecognizer = TextRecognizer.textRecognizer(options:options)

// When using Japanese script recognition SDK
let japaneseOptions = JapaneseTextRecognizerOptions()
let japaneseTextRecognizer = TextRecognizer.textRecognizer(options:options)

// When using Korean script recognition SDK
let koreanOptions = KoreanTextRecognizerOptions()
let koreanTextRecognizer = TextRecognizer.textRecognizer(options:options)

Objective-C

// When using Latin script recognition SDK
MLKTextRecognizerOptions *latinOptions = [[MLKTextRecognizerOptions alloc] init];
MLKTextRecognizer *latinTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options];

// When using Chinese script recognition SDK
MLKChineseTextRecognizerOptions *chineseOptions = [[MLKChineseTextRecognizerOptions alloc] init];
MLKTextRecognizer *chineseTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options];

// When using Devanagari script recognition SDK
MLKDevanagariTextRecognizerOptions *devanagariOptions = [[MLKDevanagariTextRecognizerOptions alloc] init];
MLKTextRecognizer *devanagariTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options];

// When using Japanese script recognition SDK
MLKJapaneseTextRecognizerOptions *japaneseOptions = [[MLKJapaneseTextRecognizerOptions alloc] init];
MLKTextRecognizer *japaneseTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options];

// When using Korean script recognition SDK
MLKKoreanTextRecognizerOptions *koreanOptions = [[MLKKoreanTextRecognizerOptions alloc] init];
MLKTextRecognizer *koreanTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options];

2. Chuẩn bị hình ảnh đầu vào

Truyền hình ảnh dưới dạng UIImage hoặc CMSampleBufferRef đến phương thức process(_:completion:) của TextRecognizer:

Tạo đối tượng VisionImage bằng UIImage hoặc CMSampleBuffer.

Nếu bạn sử dụng UIImage, hãy làm theo các bước sau:

Tạo đối tượng VisionImage bằng UIImage. Hãy nhớ chỉ định đúng .orientation.

Swift

let image = VisionImage(image: UIImage)
visionImage.orientation = image.imageOrientation

Objective-C

MLKVisionImage *visionImage = [[MLKVisionImage alloc] initWithImage:image];
visionImage.orientation = image.imageOrientation;

Nếu bạn sử dụng CMSampleBuffer, hãy làm theo các bước sau:

Chỉ định hướng của dữ liệu hình ảnh có trong CMSampleBuffer.

Cách lấy hướng hình ảnh:

Swift

func imageOrientation(
  deviceOrientation: UIDeviceOrientation,
  cameraPosition: AVCaptureDevice.Position
) -> UIImage.Orientation {
  switch deviceOrientation {
  case .portrait:
    return cameraPosition == .front ? .leftMirrored : .right
  case .landscapeLeft:
    return cameraPosition == .front ? .downMirrored : .up
  case .portraitUpsideDown:
    return cameraPosition == .front ? .rightMirrored : .left
  case .landscapeRight:
    return cameraPosition == .front ? .upMirrored : .down
  case .faceDown, .faceUp, .unknown:
    return .up
  }
}

Objective-C

- (UIImageOrientation)
  imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation
                         cameraPosition:(AVCaptureDevicePosition)cameraPosition {
  switch (deviceOrientation) {
    case UIDeviceOrientationPortrait:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationLeftMirrored
                                                            : UIImageOrientationRight;

    case UIDeviceOrientationLandscapeLeft:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationDownMirrored
                                                            : UIImageOrientationUp;
    case UIDeviceOrientationPortraitUpsideDown:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationRightMirrored
                                                            : UIImageOrientationLeft;
    case UIDeviceOrientationLandscapeRight:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationUpMirrored
                                                            : UIImageOrientationDown;
    case UIDeviceOrientationUnknown:
    case UIDeviceOrientationFaceUp:
    case UIDeviceOrientationFaceDown:
      return UIImageOrientationUp;
  }
}

Tạo đối tượng VisionImage bằng đối tượng và hướng CMSampleBuffer:

Swift

let image = VisionImage(buffer: sampleBuffer)
image.orientation = imageOrientation(
  deviceOrientation: UIDevice.current.orientation,
  cameraPosition: cameraPosition)

Objective-C

 MLKVisionImage *image = [[MLKVisionImage alloc] initWithBuffer:sampleBuffer];
 image.orientation =
   [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation
                                cameraPosition:cameraPosition];

3. Xử lý hình ảnh

Sau đó, hãy truyền hình ảnh vào phương thức process(_:completion:):

Swift

textRecognizer.process(visionImage) { result, error in
  guard error == nil, let result = result else {
    // Error handling
    return
  }
  // Recognized text
}

Objective-C

[textRecognizer processImage:image
                  completion:^(MLKText *_Nullable result,
                               NSError *_Nullable error) {
  if (error != nil || result == nil) {
    // Error handling
    return;
  }
  // Recognized text
}];

4. Trích xuất văn bản từ các khối văn bản được nhận dạng

Nếu thành công, thao tác nhận dạng văn bản sẽ trả về một đối tượng Text. Đối tượng Text chứa toàn bộ văn bản được nhận dạng trong hình ảnh và không có hoặc có nhiều đối tượng TextBlock.

Mỗi TextBlock đại diện cho một khối văn bản hình chữ nhật, chứa từ 0 đến nhiều đối tượng TextLine. Mỗi đối tượng TextLine chứa từ 0 đến nhiều đối tượng TextElement, đại diện cho các từ và thực thể giống từ như ngày tháng và số.

Đối với mỗi đối tượng TextBlock, TextLine và TextElement, bạn có thể nhận được văn bản được nhận dạng trong vùng và toạ độ giới hạn của vùng.

Ví dụ:

Swift

let resultText = result.text
for block in result.blocks {
    let blockText = block.text
    let blockLanguages = block.recognizedLanguages
    let blockCornerPoints = block.cornerPoints
    let blockFrame = block.frame
    for line in block.lines {
        let lineText = line.text
        let lineLanguages = line.recognizedLanguages
        let lineCornerPoints = line.cornerPoints
        let lineFrame = line.frame
        for element in line.elements {
            let elementText = element.text
            let elementCornerPoints = element.cornerPoints
            let elementFrame = element.frame
        }
    }
}

Objective-C

NSString *resultText = result.text;
for (MLKTextBlock *block in result.blocks) {
  NSString *blockText = block.text;
  NSArray<MLKTextRecognizedLanguage *> *blockLanguages = block.recognizedLanguages;
  NSArray<NSValue *> *blockCornerPoints = block.cornerPoints;
  CGRect blockFrame = block.frame;
  for (MLKTextLine *line in block.lines) {
    NSString *lineText = line.text;
    NSArray<MLKTextRecognizedLanguage *> *lineLanguages = line.recognizedLanguages;
    NSArray<NSValue *> *lineCornerPoints = line.cornerPoints;
    CGRect lineFrame = line.frame;
    for (MLKTextElement *element in line.elements) {
      NSString *elementText = element.text;
      NSArray<NSValue *> *elementCornerPoints = element.cornerPoints;
      CGRect elementFrame = element.frame;
    }
  }
}

Nguyên tắc về hình ảnh đầu vào

Để Bộ công cụ học máy nhận dạng chính xác văn bản, hình ảnh đầu vào phải chứa văn bản được biểu thị bằng đủ dữ liệu pixel. Tốt nhất là mỗi ký tự phải có kích thước tối thiểu là 16x16 pixel. Thường thì kích thước ký tự lớn hơn 24x24 pixel sẽ không mang lại lợi ích về độ chính xác.

Ví dụ: hình ảnh 640x480 có thể hoạt động tốt để quét danh thiếp chiếm toàn bộ chiều rộng của hình ảnh. Để quét tài liệu in trên giấy cỡ thư, bạn có thể phải có hình ảnh có kích thước 720x1280 pixel.
Độ nét của hình ảnh kém có thể ảnh hưởng đến độ chính xác của tính năng nhận dạng văn bản. Nếu bạn không nhận được kết quả chấp nhận được, hãy thử yêu cầu người dùng chụp lại hình ảnh.
Nếu đang nhận dạng văn bản trong một ứng dụng theo thời gian thực, bạn nên cân nhắc kích thước tổng thể của hình ảnh đầu vào. Hình ảnh nhỏ hơn có thể được xử lý nhanh hơn. Để giảm độ trễ, hãy đảm bảo văn bản chiếm nhiều không gian hình ảnh nhất có thể và chụp ảnh ở độ phân giải thấp hơn (lưu ý các yêu cầu về độ chính xác nêu trên). Để biết thêm thông tin, hãy xem phần Mẹo cải thiện hiệu suất.

Mẹo cải thiện hiệu suất

Để xử lý khung hình video, hãy sử dụng API đồng bộ results(in:) của trình phát hiện. Gọi phương thức này từ hàm captureOutput(_, didOutput:from:) của AVCaptureVideoDataOutputSampleBufferDelegate để đồng bộ nhận kết quả từ khung video đã cho. Giữ alwaysDiscardsLateVideoFrames của AVCaptureVideoDataOutput ở dạng true để điều tiết các lệnh gọi đến trình phát hiện. Nếu có khung video mới trong khi trình phát hiện đang chạy, khung video đó sẽ bị loại bỏ.
Nếu bạn sử dụng kết quả của trình phát hiện để phủ hình ảnh đồ hoạ lên hình ảnh đầu vào, trước tiên, hãy lấy kết quả từ Bộ công cụ học máy, sau đó kết xuất hình ảnh và phủ trong một bước. Bằng cách này, bạn chỉ kết xuất một lần cho mỗi khung đầu vào đã xử lý trên bề mặt hiển thị. Hãy xem updatePreviewOverlayViewWithLastFrame trong mẫu bắt đầu nhanh của Bộ công cụ học máy để biết ví dụ.
Cân nhắc chụp ảnh ở độ phân giải thấp hơn. Tuy nhiên, hãy lưu ý đến các yêu cầu về kích thước hình ảnh của API này.
Để tránh tình trạng giảm hiệu suất tiềm ẩn, đừng chạy đồng thời nhiều thực thể TextRecognizer với các tuỳ chọn tập lệnh khác nhau.

Nhận dạng văn bản trong hình ảnh bằng Bộ công cụ học máy trên iOS

Dùng thử

Trước khi bắt đầu

1. Tạo một thực thể của TextRecognizer

Swift

Objective-C

2. Chuẩn bị hình ảnh đầu vào

Swift

Objective-C

Swift

Objective-C

Swift

Objective-C

3. Xử lý hình ảnh

Swift

Objective-C

4. Trích xuất văn bản từ các khối văn bản được nhận dạng

Swift

Objective-C

Nguyên tắc về hình ảnh đầu vào

Mẹo cải thiện hiệu suất

1. Tạo một thực thể của `TextRecognizer`