Nhận dạng văn bản trong hình ảnh bằng Bộ công cụ máy học trên iOS

Bạn có thể sử dụng Bộ công cụ máy học để nhận dạng văn bản trong hình ảnh hoặc video, chẳng hạn như văn bản của biển báo đường phố. Đặc điểm chính của tính năng này là:

API nhận dạng văn bản v2
Nội dung mô tảNhận dạng văn bản trong hình ảnh hoặc video, hỗ trợ các chữ viết tiếng Latinh, tiếng Trung, Devanagari, tiếng Nhật và tiếng Hàn, cũng như nhiều ngôn ngữ.
Tên SDKGoogleMLKit/TextRecognition
GoogleMLKit/TextRecognitionChinese
GoogleMLKit/TextRecognitionDevanagari
GoogleMLKit/TextRecognitionJapanese
GoogleMLKit/TextRecognitionKorean
Triển khaiTài sản được liên kết tĩnh với ứng dụng tại thời điểm tạo bản dựng
Tác động đến kích thước ứng dụngKhoảng 38 MB cho mỗi SDK tập lệnh
Hiệu suấtThời gian thực trên hầu hết các thiết bị đối với SDK tập lệnh Latinh, chậm hơn đối với các thiết bị khác.

Trước khi bắt đầu

  1. Đưa các nhóm Bộ công cụ máy học sau vào Podfile:
    # To recognize Latin script
    pod 'GoogleMLKit/TextRecognition', '3.2.0'
    # To recognize Chinese script
    pod 'GoogleMLKit/TextRecognitionChinese', '3.2.0'
    # To recognize Devanagari script
    pod 'GoogleMLKit/TextRecognitionDevanagari', '3.2.0'
    # To recognize Japanese script
    pod 'GoogleMLKit/TextRecognitionJapanese', '3.2.0'
    # To recognize Korean script
    pod 'GoogleMLKit/TextRecognitionKorean', '3.2.0'
    
  2. Sau khi bạn cài đặt hoặc cập nhật Nhóm của dự án, hãy mở dự án Xcode bằng cách sử dụng .xcworkspace của dự án đó. Bộ công cụ máy học được hỗ trợ trong Xcode phiên bản 12.4 trở lên.

1. Tạo một thực thể của TextRecognizer

Tạo một bản sao của TextRecognizer bằng cách gọi +textRecognizer(options:), chuyển các tuỳ chọn liên quan đến SDK mà bạn đã khai báo là phần phụ thuộc ở trên:

Swift

// When using Latin script recognition SDK
let latinOptions = TextRecognizerOptions()
let latinTextRecognizer = TextRecognizer.textRecognizer(options:options)

// When using Chinese script recognition SDK
let chineseOptions = ChineseTextRecognizerOptions()
let chineseTextRecognizer = TextRecognizer.textRecognizer(options:options)

// When using Devanagari script recognition SDK
let devanagariOptions = DevanagariTextRecognizerOptions()
let devanagariTextRecognizer = TextRecognizer.textRecognizer(options:options)

// When using Japanese script recognition SDK
let japaneseOptions = JapaneseTextRecognizerOptions()
let japaneseTextRecognizer = TextRecognizer.textRecognizer(options:options)

// When using Korean script recognition SDK
let koreanOptions = KoreanTextRecognizerOptions()
let koreanTextRecognizer = TextRecognizer.textRecognizer(options:options)

Objective-C

// When using Latin script recognition SDK
MLKTextRecognizerOptions *latinOptions = [[MLKTextRecognizerOptions alloc] init];
MLKTextRecognizer *latinTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options];

// When using Chinese script recognition SDK
MLKChineseTextRecognizerOptions *chineseOptions = [[MLKChineseTextRecognizerOptions alloc] init];
MLKTextRecognizer *chineseTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options];

// When using Devanagari script recognition SDK
MLKDevanagariTextRecognizerOptions *devanagariOptions = [[MLKDevanagariTextRecognizerOptions alloc] init];
MLKTextRecognizer *devanagariTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options];

// When using Japanese script recognition SDK
MLKJapaneseTextRecognizerOptions *japaneseOptions = [[MLKJapaneseTextRecognizerOptions alloc] init];
MLKTextRecognizer *japaneseTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options];

// When using Korean script recognition SDK
MLKKoreanTextRecognizerOptions *koreanOptions = [[MLKKoreanTextRecognizerOptions alloc] init];
MLKTextRecognizer *koreanTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options];

2. Chuẩn bị hình ảnh nhập

Truyền hình ảnh dưới dạng UIImage hoặc CMSampleBufferRef tới phương thức process(_:completion:) TextRecognizer:

Tạo đối tượng VisionImage bằng UIImage hoặc CMSampleBuffer.

Nếu bạn sử dụng UIImage, hãy làm theo các bước sau:

  • Tạo đối tượng VisionImage bằng UIImage. Hãy nhớ chỉ định đúng .orientation.

    Swift

    let image = VisionImage(image: UIImage)
    visionImage.orientation = image.imageOrientation

    Objective-C

    MLKVisionImage *visionImage = [[MLKVisionImage alloc] initWithImage:image];
    visionImage.orientation = image.imageOrientation;

Nếu bạn sử dụng CMSampleBuffer, hãy làm theo các bước sau:

  • Chỉ định hướng của dữ liệu hình ảnh trong CMSampleBuffer.

    Cách lấy hướng hình ảnh:

    Swift

    func imageOrientation(
      deviceOrientation: UIDeviceOrientation,
      cameraPosition: AVCaptureDevice.Position
    ) -> UIImage.Orientation {
      switch deviceOrientation {
      case .portrait:
        return cameraPosition == .front ? .leftMirrored : .right
      case .landscapeLeft:
        return cameraPosition == .front ? .downMirrored : .up
      case .portraitUpsideDown:
        return cameraPosition == .front ? .rightMirrored : .left
      case .landscapeRight:
        return cameraPosition == .front ? .upMirrored : .down
      case .faceDown, .faceUp, .unknown:
        return .up
      }
    }
          

    Objective-C

    - (UIImageOrientation)
      imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation
                             cameraPosition:(AVCaptureDevicePosition)cameraPosition {
      switch (deviceOrientation) {
        case UIDeviceOrientationPortrait:
          return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationLeftMirrored
                                                                : UIImageOrientationRight;
    
        case UIDeviceOrientationLandscapeLeft:
          return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationDownMirrored
                                                                : UIImageOrientationUp;
        case UIDeviceOrientationPortraitUpsideDown:
          return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationRightMirrored
                                                                : UIImageOrientationLeft;
        case UIDeviceOrientationLandscapeRight:
          return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationUpMirrored
                                                                : UIImageOrientationDown;
        case UIDeviceOrientationUnknown:
        case UIDeviceOrientationFaceUp:
        case UIDeviceOrientationFaceDown:
          return UIImageOrientationUp;
      }
    }
          
  • Tạo đối tượng VisionImage bằng cách sử dụng đối tượng và hướng CMSampleBuffer:

    Swift

    let image = VisionImage(buffer: sampleBuffer)
    image.orientation = imageOrientation(
      deviceOrientation: UIDevice.current.orientation,
      cameraPosition: cameraPosition)

    Objective-C

     MLKVisionImage *image = [[MLKVisionImage alloc] initWithBuffer:sampleBuffer];
     image.orientation =
       [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation
                                    cameraPosition:cameraPosition];

3. Xử lý hình ảnh

Sau đó, hãy truyền hình ảnh đến phương thức process(_:completion:):

Swift

textRecognizer.process(visionImage) { result, error in
  guard error == nil, let result = result else {
    // Error handling
    return
  }
  // Recognized text
}

Objective-C

[textRecognizer processImage:image
                  completion:^(MLKText *_Nullable result,
                               NSError *_Nullable error) {
  if (error != nil || result == nil) {
    // Error handling
    return;
  }
  // Recognized text
}];

4. Trích xuất văn bản từ các khối văn bản được công nhận

Nếu thao tác nhận dạng văn bản thành công, thao tác này sẽ trả về đối tượng Text. Đối tượng Text chứa văn bản đầy đủ được nhận dạng trong hình ảnh và không có hoặc có đối tượng TextBlock.

Mỗi TextBlock đại diện cho một khối văn bản hình chữ nhật, chứa các đối tượng TextLine bằng 0 trở lên. Mỗi đối tượng TextLine chứa nhiều hoặc không có đối tượng TextElement, đại diện cho các từ và các thực thể giống từ (chẳng hạn như ngày và số).

Đối với mỗi đối tượng TextBlock, TextLineTextElement, bạn có thể nhận dạng văn bản trong khu vực và toạ độ ranh giới của khu vực.

Ví dụ:

Swift

let resultText = result.text
for block in result.blocks {
    let blockText = block.text
    let blockLanguages = block.recognizedLanguages
    let blockCornerPoints = block.cornerPoints
    let blockFrame = block.frame
    for line in block.lines {
        let lineText = line.text
        let lineLanguages = line.recognizedLanguages
        let lineCornerPoints = line.cornerPoints
        let lineFrame = line.frame
        for element in line.elements {
            let elementText = element.text
            let elementCornerPoints = element.cornerPoints
            let elementFrame = element.frame
        }
    }
}

Objective-C

NSString *resultText = result.text;
for (MLKTextBlock *block in result.blocks) {
  NSString *blockText = block.text;
  NSArray<MLKTextRecognizedLanguage *> *blockLanguages = block.recognizedLanguages;
  NSArray<NSValue *> *blockCornerPoints = block.cornerPoints;
  CGRect blockFrame = block.frame;
  for (MLKTextLine *line in block.lines) {
    NSString *lineText = line.text;
    NSArray<MLKTextRecognizedLanguage *> *lineLanguages = line.recognizedLanguages;
    NSArray<NSValue *> *lineCornerPoints = line.cornerPoints;
    CGRect lineFrame = line.frame;
    for (MLKTextElement *element in line.elements) {
      NSString *elementText = element.text;
      NSArray<NSValue *> *elementCornerPoints = element.cornerPoints;
      CGRect elementFrame = element.frame;
    }
  }
}

Nhập nguyên tắc về hình ảnh

  • Để Bộ công cụ máy học nhận dạng chính xác văn bản, hình ảnh đầu vào phải chứa văn bản được biểu thị bằng đủ dữ liệu pixel. Tốt nhất là mỗi ký tự phải có kích thước tối thiểu là 16x16 pixel. Việc sử dụng các ký tự lớn hơn 24x24 pixel thường không mang lại lợi ích nào về độ chính xác.

    Ví dụ: hình ảnh 640x480 có thể hoạt động hiệu quả để quét danh thiếp chiếm toàn bộ chiều rộng của hình ảnh. Để quét tài liệu trên giấy khổ nhỏ, bạn có thể phải sử dụng hình ảnh có kích thước 720x1280 pixel.

  • Lấy nét hình ảnh kém có thể ảnh hưởng đến độ chính xác của nhận dạng văn bản. Nếu bạn không nhận được kết quả chấp nhận được, hãy thử yêu cầu người dùng chụp lại hình ảnh.

  • Nếu nhận ra văn bản trong một ứng dụng theo thời gian thực, bạn nên xem xét kích thước tổng thể của hình ảnh nhập vào. Hình ảnh nhỏ hơn có thể được xử lý nhanh hơn. Để giảm độ trễ, hãy đảm bảo rằng văn bản chiếm nhiều nhất có thể đối với hình ảnh và chụp ảnh ở độ phân giải thấp hơn (lưu ý đến các yêu cầu về độ chính xác nêu trên). Để biết thêm thông tin, hãy xem bài viết Mẹo cải thiện hiệu suất.

Mẹo cải thiện hiệu suất

  • Để xử lý khung hình video, hãy sử dụng API đồng bộ results(in:) của trình phát hiện. Gọi phương thức này từ hàm captureOutput(_, didOutput:from:) của AVCaptureVideoDataOutputSampleBufferDelegate để nhận kết quả từ một khung hình video nhất định. Giữ AVCaptureVideoDataOutput\39; alwaysDiscardsLateVideoFrames làm true để điều tiết các lệnh gọi đến trình phát hiện. Nếu một khung hình video mới ra mắt trong khi trình phát hiện đang chạy, thì trình phát hiện đó sẽ bị loại bỏ.
  • Nếu bạn sử dụng đầu ra của trình phát hiện để che phủ hình ảnh trên hình ảnh nhập vào, trước tiên, hãy lấy kết quả từ Bộ công cụ máy học, sau đó kết xuất hình ảnh và lớp phủ trong một bước duy nhất. Bằng cách này, bạn chỉ hiển thị trên nền tảng hiển thị một lần cho mỗi khung đầu vào đã xử lý. Hãy xem ví dụ về updatePreviewOverlayViewWithLastFrame trong mẫu bắt đầu nhanh của Bộ công cụ máy học.
  • Hãy cân nhắc chụp ảnh ở độ phân giải thấp hơn. Tuy nhiên, bạn cần lưu ý rằng các yêu cầu về kích thước hình ảnh của API này.
  • Để tránh nguy cơ sụt giảm hiệu suất, bạn không nên chạy nhiều phiên bản TextRecognizer cùng lúc với các tùy chọn của các tập lệnh khác nhau.