ML Kit を使用すると、画像や動画内のテキスト(道路標識のテキストなど)を認識できます。この機能の主な特徴は次のとおりです。
テキスト認識 v2 API | |
---|---|
説明 | 画像や動画内のテキストを認識します。ラテン文字、中国語、デバナーガリ文字、日本語、韓国語の文字体系、さまざまな言語に対応しています。 |
SDK 名 | GoogleMLKit/TextRecognition |
実装 | アセットはビルド時にアプリに静的にリンクされます |
アプリのサイズへの影響 | スクリプト SDK あたり約 38 MB |
パフォーマンス | ラテン文字の SDK の場合はほとんどのデバイスでリアルタイム、その他のデバイスでは遅くなります。 |
試してみる
始める前に
- Podfile に次の ML Kit Pod を追加します:
# To recognize Latin script pod 'GoogleMLKit/TextRecognition', '3.2.0' # To recognize Chinese script pod 'GoogleMLKit/TextRecognitionChinese', '3.2.0' # To recognize Devanagari script pod 'GoogleMLKit/TextRecognitionDevanagari', '3.2.0' # To recognize Japanese script pod 'GoogleMLKit/TextRecognitionJapanese', '3.2.0' # To recognize Korean script pod 'GoogleMLKit/TextRecognitionKorean', '3.2.0'
- プロジェクトの Pod をインストールまたは更新したら、
.xcworkspace
を使用して Xcode プロジェクトを開きます。ML Kit は Xcode バージョン 12.4 以降でサポートされています。
1. TextRecognizer
のインスタンスを作成する
+textRecognizer(options:)
を呼び出し、上記で依存関係として宣言した SDK に関連するオプションを渡すことで、TextRecognizer
のインスタンスを作成します。
Swift
// When using Latin script recognition SDK let latinOptions = TextRecognizerOptions() let latinTextRecognizer = TextRecognizer.textRecognizer(options:options) // When using Chinese script recognition SDK let chineseOptions = ChineseTextRecognizerOptions() let chineseTextRecognizer = TextRecognizer.textRecognizer(options:options) // When using Devanagari script recognition SDK let devanagariOptions = DevanagariTextRecognizerOptions() let devanagariTextRecognizer = TextRecognizer.textRecognizer(options:options) // When using Japanese script recognition SDK let japaneseOptions = JapaneseTextRecognizerOptions() let japaneseTextRecognizer = TextRecognizer.textRecognizer(options:options) // When using Korean script recognition SDK let koreanOptions = KoreanTextRecognizerOptions() let koreanTextRecognizer = TextRecognizer.textRecognizer(options:options)
Objective-C
// When using Latin script recognition SDK MLKTextRecognizerOptions *latinOptions = [[MLKTextRecognizerOptions alloc] init]; MLKTextRecognizer *latinTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options]; // When using Chinese script recognition SDK MLKChineseTextRecognizerOptions *chineseOptions = [[MLKChineseTextRecognizerOptions alloc] init]; MLKTextRecognizer *chineseTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options]; // When using Devanagari script recognition SDK MLKDevanagariTextRecognizerOptions *devanagariOptions = [[MLKDevanagariTextRecognizerOptions alloc] init]; MLKTextRecognizer *devanagariTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options]; // When using Japanese script recognition SDK MLKJapaneseTextRecognizerOptions *japaneseOptions = [[MLKJapaneseTextRecognizerOptions alloc] init]; MLKTextRecognizer *japaneseTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options]; // When using Korean script recognition SDK MLKKoreanTextRecognizerOptions *koreanOptions = [[MLKKoreanTextRecognizerOptions alloc] init]; MLKTextRecognizer *koreanTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options];
2. 入力画像を準備する
画像をUIImage
または CMSampleBufferRef
として TextRecognizer
の process(_:completion:)
メソッドに渡します。
UIImage
または CMSampleBuffer
を使用して VisionImage
オブジェクトを作成します。
UIImage
を使用する場合は、次の手順を行います。
UIImage
を使用してVisionImage
オブジェクトを作成します。正しい.orientation
を指定してください。Swift
let image = VisionImage(image: UIImage) visionImage.orientation = image.imageOrientation
Objective-C
MLKVisionImage *visionImage = [[MLKVisionImage alloc] initWithImage:image]; visionImage.orientation = image.imageOrientation;
CMSampleBuffer
を使用する場合は、次の手順を行います。
-
CMSampleBuffer
に含まれる画像データの向きを指定します。画像の向きを取得するには:
Swift
func imageOrientation( deviceOrientation: UIDeviceOrientation, cameraPosition: AVCaptureDevice.Position ) -> UIImage.Orientation { switch deviceOrientation { case .portrait: return cameraPosition == .front ? .leftMirrored : .right case .landscapeLeft: return cameraPosition == .front ? .downMirrored : .up case .portraitUpsideDown: return cameraPosition == .front ? .rightMirrored : .left case .landscapeRight: return cameraPosition == .front ? .upMirrored : .down case .faceDown, .faceUp, .unknown: return .up } }
Objective-C
- (UIImageOrientation) imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation cameraPosition:(AVCaptureDevicePosition)cameraPosition { switch (deviceOrientation) { case UIDeviceOrientationPortrait: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationLeftMirrored : UIImageOrientationRight; case UIDeviceOrientationLandscapeLeft: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationDownMirrored : UIImageOrientationUp; case UIDeviceOrientationPortraitUpsideDown: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationRightMirrored : UIImageOrientationLeft; case UIDeviceOrientationLandscapeRight: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationUpMirrored : UIImageOrientationDown; case UIDeviceOrientationUnknown: case UIDeviceOrientationFaceUp: case UIDeviceOrientationFaceDown: return UIImageOrientationUp; } }
CMSampleBuffer
オブジェクトと向きを使用して、VisionImage
オブジェクトを作成します。Swift
let image = VisionImage(buffer: sampleBuffer) image.orientation = imageOrientation( deviceOrientation: UIDevice.current.orientation, cameraPosition: cameraPosition)
Objective-C
MLKVisionImage *image = [[MLKVisionImage alloc] initWithBuffer:sampleBuffer]; image.orientation = [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation cameraPosition:cameraPosition];
3. 画像を処理する
次に、画像を process(_:completion:)
メソッドに渡します。
Swift
textRecognizer.process(visionImage) { result, error in guard error == nil, let result = result else { // Error handling return } // Recognized text }
Objective-C
[textRecognizer processImage:image completion:^(MLKText *_Nullable result, NSError *_Nullable error) { if (error != nil || result == nil) { // Error handling return; } // Recognized text }];
4. 認識されたテキストのブロックからテキストを抽出する
テキスト認識オペレーションが成功すると、Text
オブジェクトが返されます。Text
オブジェクトには、画像で認識された全文と、0 個以上の TextBlock
オブジェクトが含まれます。
各 TextBlock
は、ゼロ個以上の TextLine
オブジェクトを含む長方形のテキスト ブロックを表します。各 TextLine
オブジェクトには 0 個以上の TextElement
オブジェクトが含まれます。これは、単語や、日付や数字などの単語に似たエンティティを表します。
TextBlock
、TextLine
、TextElement
の各オブジェクトについて、領域内で認識されたテキストと、領域の境界座標を取得できます。
次に例を示します。
Swift
let resultText = result.text for block in result.blocks { let blockText = block.text let blockLanguages = block.recognizedLanguages let blockCornerPoints = block.cornerPoints let blockFrame = block.frame for line in block.lines { let lineText = line.text let lineLanguages = line.recognizedLanguages let lineCornerPoints = line.cornerPoints let lineFrame = line.frame for element in line.elements { let elementText = element.text let elementCornerPoints = element.cornerPoints let elementFrame = element.frame } } }
Objective-C
NSString *resultText = result.text; for (MLKTextBlock *block in result.blocks) { NSString *blockText = block.text; NSArray<MLKTextRecognizedLanguage *> *blockLanguages = block.recognizedLanguages; NSArray<NSValue *> *blockCornerPoints = block.cornerPoints; CGRect blockFrame = block.frame; for (MLKTextLine *line in block.lines) { NSString *lineText = line.text; NSArray<MLKTextRecognizedLanguage *> *lineLanguages = line.recognizedLanguages; NSArray<NSValue *> *lineCornerPoints = line.cornerPoints; CGRect lineFrame = line.frame; for (MLKTextElement *element in line.elements) { NSString *elementText = element.text; NSArray<NSValue *> *elementCornerPoints = element.cornerPoints; CGRect elementFrame = element.frame; } } }
入力画像のガイドライン
-
ML Kit でテキストを正確に認識するには、入力画像に十分なピクセルデータで表されるテキストが含まれている必要があります。理想的には、各文字は少なくとも 16 x 16 ピクセルです。一般に、文字のサイズが 24 x 24 ピクセルを超えても精度上のメリットはありません。
たとえば、画像の幅いっぱいに広がる名刺をスキャンする場合は、640x480 の画像が適しています。レターサイズの用紙に印刷されたドキュメントをスキャンするには、720x1280 ピクセルの画像が必要になる場合があります。
-
画像のフォーカスが不適切だと、テキスト認識の精度に影響する可能性があります。満足のいく結果が得られない場合は、ユーザーに画像をキャプチャし直すよう依頼してください。
-
リアルタイム アプリケーションでテキストを認識する場合は、入力画像の全体的なサイズを考慮する必要があります。画像が小さいほど処理速度が上がります。レイテンシを短縮するには、テキストが画像のできるだけ多くの部分を占めるようにし、画像を低い解像度でキャプチャします(前述の精度要件に留意してください)。詳細については、パフォーマンス改善のヒントをご覧ください。
パフォーマンスを向上させるためのヒント
- 動画フレームの処理には、検出機能の
results(in:)
同期 API を使用します。指定された動画フレームから結果を同期的に取得するには、AVCaptureVideoDataOutputSampleBufferDelegate
のcaptureOutput(_, didOutput:from:)
関数からこのメソッドを呼び出します。AVCaptureVideoDataOutput
のalwaysDiscardsLateVideoFrames
をtrue
のままにして、検出機能の呼び出しを抑制します。検出機能の実行中に新しい動画フレームが使用可能になると、そのフレームは破棄されます。 - 検出機能の出力を使用して入力画像にグラフィックをオーバーレイする場合は、まず ML Kit から結果を取得してから、画像とオーバーレイを 1 つのステップでレンダリングします。これにより、処理された入力フレームごとに 1 回だけディスプレイ サーフェスにレンダリングします。例については、ML Kit クイックスタート サンプルの updatePreviewOverlayViewWithLastFrame をご覧ください。
- 解像度を下げて画像をキャプチャすることを検討してください。ただし、この API の画像サイズの要件にも留意してください。
- パフォーマンスの低下を避けるため、異なるスクリプト オプションを使用して、複数の
TextRecognizer
インスタンスを同時に実行しないでください。