このページは Cloud Translation API によって翻訳されました。

ML Kit を使用して画像内のテキストを認識する（iOS）

ML Kit を使用すると、画像や動画内のテキスト（たとえば、あります。この機能の主な特徴は次のとおりです。

テキスト認識 v2 API
説明	画像や動画内のテキストを認識し、ラテン文字、中国語、デバナーガリ文字、日本語、韓国語の文字に加え、多言語対応
SDK 名	`GoogleMLKit/TextRecognition GoogleMLKit/TextRecognitionChinese GoogleMLKit/TextRecognitionDevanagari GoogleMLKit/TextRecognitionJapanese GoogleMLKit/TextRecognitionKorean`
実装	アセットはビルド時にアプリに静的にリンクされます
アプリのサイズへの影響	スクリプト SDK あたり約 38 MB
パフォーマンス	ラテン文字の SDK の場合はほとんどのデバイスでリアルタイム、その他のデバイスでは遅くなります。

試してみる

サンプルアプリを試してみましょう。この API の使用例をご覧ください
<ph type="x-smartling-placeholder"></ph> Codelab へようこそ。

始める前に

Podfile に次の ML Kit Pod を追加します。

# To recognize Latin script
pod 'GoogleMLKit/TextRecognition', '3.2.0'
# To recognize Chinese script
pod 'GoogleMLKit/TextRecognitionChinese', '3.2.0'
# To recognize Devanagari script
pod 'GoogleMLKit/TextRecognitionDevanagari', '3.2.0'
# To recognize Japanese script
pod 'GoogleMLKit/TextRecognitionJapanese', '3.2.0'
# To recognize Korean script
pod 'GoogleMLKit/TextRecognitionKorean', '3.2.0'

プロジェクトの Pod をインストールまたは更新したら、Xcode プロジェクトを開きます。 .xcworkspace。ML Kit は Xcode バージョン 12.4 以降でサポートされています。

1. `TextRecognizer` のインスタンスを作成する

次の呼び出しを使用して TextRecognizer のインスタンスを作成します。 +textRecognizer(options:)（宣言した SDK に関連するオプションを渡します）上記の依存関係:

Swift

// When using Latin script recognition SDK
let latinOptions = TextRecognizerOptions()
let latinTextRecognizer = TextRecognizer.textRecognizer(options:options)

// When using Chinese script recognition SDK
let chineseOptions = ChineseTextRecognizerOptions()
let chineseTextRecognizer = TextRecognizer.textRecognizer(options:options)

// When using Devanagari script recognition SDK
let devanagariOptions = DevanagariTextRecognizerOptions()
let devanagariTextRecognizer = TextRecognizer.textRecognizer(options:options)

// When using Japanese script recognition SDK
let japaneseOptions = JapaneseTextRecognizerOptions()
let japaneseTextRecognizer = TextRecognizer.textRecognizer(options:options)

// When using Korean script recognition SDK
let koreanOptions = KoreanTextRecognizerOptions()
let koreanTextRecognizer = TextRecognizer.textRecognizer(options:options)

Objective-C

// When using Latin script recognition SDK
MLKTextRecognizerOptions *latinOptions = [[MLKTextRecognizerOptions alloc] init];
MLKTextRecognizer *latinTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options];

// When using Chinese script recognition SDK
MLKChineseTextRecognizerOptions *chineseOptions = [[MLKChineseTextRecognizerOptions alloc] init];
MLKTextRecognizer *chineseTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options];

// When using Devanagari script recognition SDK
MLKDevanagariTextRecognizerOptions *devanagariOptions = [[MLKDevanagariTextRecognizerOptions alloc] init];
MLKTextRecognizer *devanagariTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options];

// When using Japanese script recognition SDK
MLKJapaneseTextRecognizerOptions *japaneseOptions = [[MLKJapaneseTextRecognizerOptions alloc] init];
MLKTextRecognizer *japaneseTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options];

// When using Korean script recognition SDK
MLKKoreanTextRecognizerOptions *koreanOptions = [[MLKKoreanTextRecognizerOptions alloc] init];
MLKTextRecognizer *koreanTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options];

2. 入力画像を準備する

画像を UIImage または CMSampleBufferRef として TextRecognizer の process(_:completion:) メソッド:

VisionImageオブジェクトを作成するには、UIImage または CMSampleBuffer。

UIImage を使用する場合は、次の手順を行います。

UIImage を使用して VisionImage オブジェクトを作成します。正しい .orientation を指定してください。

Swift

let image = VisionImage(image: UIImage)
visionImage.orientation = image.imageOrientation

Objective-C

MLKVisionImage *visionImage = [[MLKVisionImage alloc] initWithImage:image];
visionImage.orientation = image.imageOrientation;

CMSampleBuffer を使用する場合は、次の手順を行います。

格納されている画像データの向きを指定します。 CMSampleBuffer。

画像の向きを取得するには:

Swift

func imageOrientation(
  deviceOrientation: UIDeviceOrientation,
  cameraPosition: AVCaptureDevice.Position
) -> UIImage.Orientation {
  switch deviceOrientation {
  case .portrait:
    return cameraPosition == .front ? .leftMirrored : .right
  case .landscapeLeft:
    return cameraPosition == .front ? .downMirrored : .up
  case .portraitUpsideDown:
    return cameraPosition == .front ? .rightMirrored : .left
  case .landscapeRight:
    return cameraPosition == .front ? .upMirrored : .down
  case .faceDown, .faceUp, .unknown:
    return .up
  }
}

Objective-C

- (UIImageOrientation)
  imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation
                         cameraPosition:(AVCaptureDevicePosition)cameraPosition {
  switch (deviceOrientation) {
    case UIDeviceOrientationPortrait:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationLeftMirrored
                                                            : UIImageOrientationRight;

    case UIDeviceOrientationLandscapeLeft:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationDownMirrored
                                                            : UIImageOrientationUp;
    case UIDeviceOrientationPortraitUpsideDown:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationRightMirrored
                                                            : UIImageOrientationLeft;
    case UIDeviceOrientationLandscapeRight:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationUpMirrored
                                                            : UIImageOrientationDown;
    case UIDeviceOrientationUnknown:
    case UIDeviceOrientationFaceUp:
    case UIDeviceOrientationFaceDown:
      return UIImageOrientationUp;
  }
}

次のコマンドを使用して、VisionImage オブジェクトを作成します。 CMSampleBuffer オブジェクトと向き:

Swift

let image = VisionImage(buffer: sampleBuffer)
image.orientation = imageOrientation(
  deviceOrientation: UIDevice.current.orientation,
  cameraPosition: cameraPosition)

Objective-C

 MLKVisionImage *image = [[MLKVisionImage alloc] initWithBuffer:sampleBuffer];
 image.orientation =
   [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation
                                cameraPosition:cameraPosition];

3. 画像を処理する

次に、画像を process(_:completion:) メソッドに渡します。

Swift

textRecognizer.process(visionImage) { result, error in
  guard error == nil, let result = result else {
    // Error handling
    return
  }
  // Recognized text
}

Objective-C

[textRecognizer processImage:image
                  completion:^(MLKText *_Nullable result,
                               NSError *_Nullable error) {
  if (error != nil || result == nil) {
    // Error handling
    return;
  }
  // Recognized text
}];

4. 認識されたテキストのブロックからテキストを抽出する

テキスト認識オペレーションが成功すると、 Text オブジェクト。全文を含む Text オブジェクト 0 個以上の TextBlock で認識されています。説明します。

各 TextBlock は長方形のテキストブロックを表します。 0 個以上の TextLine オブジェクトが含まれている。各TextLine 0 個以上の TextElement オブジェクトが含まれている。これは、単語や、日付や数値などの単語に似たエンティティを表します。

各 TextBlock、TextLine、 TextElement オブジェクトを使用すると、領域の境界座標を指定します。

例:

Swift

let resultText = result.text
for block in result.blocks {
    let blockText = block.text
    let blockLanguages = block.recognizedLanguages
    let blockCornerPoints = block.cornerPoints
    let blockFrame = block.frame
    for line in block.lines {
        let lineText = line.text
        let lineLanguages = line.recognizedLanguages
        let lineCornerPoints = line.cornerPoints
        let lineFrame = line.frame
        for element in line.elements {
            let elementText = element.text
            let elementCornerPoints = element.cornerPoints
            let elementFrame = element.frame
        }
    }
}

Objective-C

NSString *resultText = result.text;
for (MLKTextBlock *block in result.blocks) {
  NSString *blockText = block.text;
  NSArray<MLKTextRecognizedLanguage *> *blockLanguages = block.recognizedLanguages;
  NSArray<NSValue *> *blockCornerPoints = block.cornerPoints;
  CGRect blockFrame = block.frame;
  for (MLKTextLine *line in block.lines) {
    NSString *lineText = line.text;
    NSArray<MLKTextRecognizedLanguage *> *lineLanguages = line.recognizedLanguages;
    NSArray<NSValue *> *lineCornerPoints = line.cornerPoints;
    CGRect lineFrame = line.frame;
    for (MLKTextElement *element in line.elements) {
      NSString *elementText = element.text;
      NSArray<NSValue *> *elementCornerPoints = element.cornerPoints;
      CGRect elementFrame = element.frame;
    }
  }
}

入力画像のガイドライン

ML Kit でテキストを正確に認識するには、入力画像に十分なピクセルデータで表現されます。次のことが理想的です。各文字は少なくとも 16x16 ピクセルにする必要があります。一般的には、 24x24 ピクセルを超える場合は精度が向上します。

そのため、たとえば名刺のスキャンには 640×480 の画像が適しています。画像の幅いっぱいに表示されます。Google Pixel Tablet に印刷されたドキュメントをスキャンするには、レターサイズの用紙を使用する場合は、720×1280 ピクセルの画像が必要になることがあります。
画像のフォーカスが不適切だと、テキスト認識の精度に影響する可能性があります。あなたがユーザーに画像をキャプチャし直すよう求めます。
リアルタイムアプリケーションでテキストを認識する場合は、入力画像の全体的なサイズを考慮します。小処理時間を短縮できます。レイテンシを短縮するには、スペースをできるだけ多くして、低解像度で画像をキャプチャします（精度は上記の要件）。詳細については、次をご覧ください: 掲載結果を改善するためのヒント

パフォーマンスを向上させるためのヒント

動画フレームの処理には、検出機能の results(in:) 同期 API を使用します。発信このメソッドは、 AVCaptureVideoDataOutputSampleBufferDelegate の指定された動画から結果を同期的に取得する captureOutput(_, didOutput:from:) 関数クリックします。<ph type="x-smartling-placeholder"></ph>のままにする AVCaptureVideoDataOutput さんの alwaysDiscardsLateVideoFrames を true として、検出機能の呼び出しをスロットリングします。新しい検出機能の実行中に利用可能になった動画フレームは破棄されます。
検出機能の出力を使用して、ディスプレイにグラフィックをオーバーレイする場合、まず ML Kit から結果を取得してから、画像をレンダリングする 1 ステップでオーバーレイできますこれにより、ディスプレイサーフェスにレンダリングされます。各入力フレームに対して 1 回だけです。updatePreviewOverlayViewWithLastFrame をご覧ください。をご覧ください。
解像度を下げて画像をキャプチャすることを検討してください。ただしこの API の画像サイズの要件。
パフォーマンスの低下を避けるため、複数のコンテナを実行しないでください。異なるスクリプトオプションを持つ TextRecognizer 個のインスタンスが同時に実行されています。

ML Kit を使用して画像内のテキストを認識する（iOS）

試してみる

始める前に

1. TextRecognizer のインスタンスを作成する

Swift

Objective-C

2. 入力画像を準備する

Swift

Objective-C

Swift

Objective-C

Swift

Objective-C

3. 画像を処理する

Swift

Objective-C

4. 認識されたテキストのブロックからテキストを抽出する

Swift

Objective-C

入力画像のガイドライン

パフォーマンスを向上させるためのヒント

1. `TextRecognizer` のインスタンスを作成する