ML Kit を使用すると、画像や動画内のテキスト（たとえば、 あります。この機能の主な特徴は次のとおりです。
| Text Recognition v2 API | |
|---|---|
| 説明 | 画像や動画内のテキストを認識し、ラテン文字、中国語、デーバナーガリー文字、日本語、韓国語の文字と幅広い言語をサポートします。 |
| SDK 名 | GoogleMLKit/TextRecognition |
| 実装 | アセットはビルド時にアプリに静的にリンクされる |
| アプリのサイズへの影響 | スクリプト SDK あたり約 38 MB |
| パフォーマンス | ラテン文字の SDK の場合はほとんどのデバイスでリアルタイム、その他のデバイスでは遅くなります。 |
試してみる
- サンプルアプリを試して、この API の使用例を確認してください。
- <ph type="x-smartling-placeholder"></ph> Codelab へようこそ。
始める前に
- Podfile に次の ML Kit Pod を含めます。
# To recognize Latin script pod 'GoogleMLKit/TextRecognition', '15.5.0' # To recognize Chinese script pod 'GoogleMLKit/TextRecognitionChinese', '15.5.0' # To recognize Devanagari script pod 'GoogleMLKit/TextRecognitionDevanagari', '15.5.0' # To recognize Japanese script pod 'GoogleMLKit/TextRecognitionJapanese', '15.5.0' # To recognize Korean script pod 'GoogleMLKit/TextRecognitionKorean', '15.5.0'
- プロジェクトの Pod をインストールまたは更新したら、Xcode プロジェクトを開きます。
.xcworkspace。ML Kit は Xcode バージョン 12.4 以降でサポートされています。
1. TextRecognizer のインスタンスを作成する
+textRecognizer(options:) を呼び出して、上記で依存関係として宣言した SDK に関連するオプションを渡し、TextRecognizer のインスタンスを作成します。
Swift
// When using Latin script recognition SDK let latinOptions = TextRecognizerOptions() let latinTextRecognizer = TextRecognizer.textRecognizer(options:options) // When using Chinese script recognition SDK let chineseOptions = ChineseTextRecognizerOptions() let chineseTextRecognizer = TextRecognizer.textRecognizer(options:options) // When using Devanagari script recognition SDK let devanagariOptions = DevanagariTextRecognizerOptions() let devanagariTextRecognizer = TextRecognizer.textRecognizer(options:options) // When using Japanese script recognition SDK let japaneseOptions = JapaneseTextRecognizerOptions() let japaneseTextRecognizer = TextRecognizer.textRecognizer(options:options) // When using Korean script recognition SDK let koreanOptions = KoreanTextRecognizerOptions() let koreanTextRecognizer = TextRecognizer.textRecognizer(options:options)
Objective-C
// When using Latin script recognition SDK MLKTextRecognizerOptions *latinOptions = [[MLKTextRecognizerOptions alloc] init]; MLKTextRecognizer *latinTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options]; // When using Chinese script recognition SDK MLKChineseTextRecognizerOptions *chineseOptions = [[MLKChineseTextRecognizerOptions alloc] init]; MLKTextRecognizer *chineseTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options]; // When using Devanagari script recognition SDK MLKDevanagariTextRecognizerOptions *devanagariOptions = [[MLKDevanagariTextRecognizerOptions alloc] init]; MLKTextRecognizer *devanagariTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options]; // When using Japanese script recognition SDK MLKJapaneseTextRecognizerOptions *japaneseOptions = [[MLKJapaneseTextRecognizerOptions alloc] init]; MLKTextRecognizer *japaneseTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options]; // When using Korean script recognition SDK MLKKoreanTextRecognizerOptions *koreanOptions = [[MLKKoreanTextRecognizerOptions alloc] init]; MLKTextRecognizer *koreanTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options];
2. 入力画像を準備する
画像をUIImage または CMSampleBufferRef として TextRecognizer の process(_:completion:) メソッドに渡します。
VisionImageオブジェクトを作成するには、UIImage または
CMSampleBuffer。
UIImage を使用する場合の手順は次のとおりです。
UIImageを使用してVisionImageオブジェクトを作成します。正しい.orientationを指定してください。Swift
let image = VisionImage(image: UIImage) visionImage.orientation = image.imageOrientation
Objective-C
MLKVisionImage *visionImage = [[MLKVisionImage alloc] initWithImage:image]; visionImage.orientation = image.imageOrientation;
CMSampleBuffer を使用する場合は、次の手順を行います。
-
格納されている画像データの向きを指定します。
CMSampleBuffer。画像の向きを取得するには:
Swift
func imageOrientation( deviceOrientation: UIDeviceOrientation, cameraPosition: AVCaptureDevice.Position ) -> UIImage.Orientation { switch deviceOrientation { case .portrait: return cameraPosition == .front ? .leftMirrored : .right case .landscapeLeft: return cameraPosition == .front ? .downMirrored : .up case .portraitUpsideDown: return cameraPosition == .front ? .rightMirrored : .left case .landscapeRight: return cameraPosition == .front ? .upMirrored : .down case .faceDown, .faceUp, .unknown: return .up } }Objective-C
- (UIImageOrientation) imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation cameraPosition:(AVCaptureDevicePosition)cameraPosition { switch (deviceOrientation) { case UIDeviceOrientationPortrait: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationLeftMirrored : UIImageOrientationRight; case UIDeviceOrientationLandscapeLeft: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationDownMirrored : UIImageOrientationUp; case UIDeviceOrientationPortraitUpsideDown: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationRightMirrored : UIImageOrientationLeft; case UIDeviceOrientationLandscapeRight: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationUpMirrored : UIImageOrientationDown; case UIDeviceOrientationUnknown: case UIDeviceOrientationFaceUp: case UIDeviceOrientationFaceDown: return UIImageOrientationUp; } } - 次のコマンドを使用して、
VisionImageオブジェクトを作成します。CMSampleBufferオブジェクトと向き:Swift
let image = VisionImage(buffer: sampleBuffer) image.orientation = imageOrientation( deviceOrientation: UIDevice.current.orientation, cameraPosition: cameraPosition)
Objective-C
MLKVisionImage *image = [[MLKVisionImage alloc] initWithBuffer:sampleBuffer]; image.orientation = [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation cameraPosition:cameraPosition];
3. 画像を処理する
次に、画像を process(_:completion:) メソッドに渡します。
Swift
textRecognizer.process(visionImage) { result, error in
guard error == nil, let result = result else {
// Error handling
return
}
// Recognized text
}
Objective-C
[textRecognizer processImage:image
completion:^(MLKText *_Nullable result,
NSError *_Nullable error) {
if (error != nil || result == nil) {
// Error handling
return;
}
// Recognized text
}];
4. 認識したテキストのブロックからテキストを抽出する
テキスト認識オペレーションが成功すると、
Text オブジェクト。Text オブジェクトには、画像で認識された全テキストと、0 個以上の TextBlock オブジェクトが含まれています。
各 TextBlock は長方形のテキスト ブロックを表します。
0 個以上の TextLine オブジェクトが含まれている。各TextLine
0 個以上の TextElement オブジェクトが含まれている。
これは、単語や、日付や数値などの単語に似たエンティティを表します。
各 TextBlock、TextLine、
TextElement オブジェクトを使用すると、
領域の境界座標を指定します。
例:
Swift
let resultText = result.text
for block in result.blocks {
let blockText = block.text
let blockLanguages = block.recognizedLanguages
let blockCornerPoints = block.cornerPoints
let blockFrame = block.frame
for line in block.lines {
let lineText = line.text
let lineLanguages = line.recognizedLanguages
let lineCornerPoints = line.cornerPoints
let lineFrame = line.frame
for element in line.elements {
let elementText = element.text
let elementCornerPoints = element.cornerPoints
let elementFrame = element.frame
}
}
}
Objective-C
NSString *resultText = result.text;
for (MLKTextBlock *block in result.blocks) {
NSString *blockText = block.text;
NSArray<MLKTextRecognizedLanguage *> *blockLanguages = block.recognizedLanguages;
NSArray<NSValue *> *blockCornerPoints = block.cornerPoints;
CGRect blockFrame = block.frame;
for (MLKTextLine *line in block.lines) {
NSString *lineText = line.text;
NSArray<MLKTextRecognizedLanguage *> *lineLanguages = line.recognizedLanguages;
NSArray<NSValue *> *lineCornerPoints = line.cornerPoints;
CGRect lineFrame = line.frame;
for (MLKTextElement *element in line.elements) {
NSString *elementText = element.text;
NSArray<NSValue *> *elementCornerPoints = element.cornerPoints;
CGRect elementFrame = element.frame;
}
}
}
入力画像のガイドライン
-
ML Kit でテキストを正確に認識するには、入力画像に 十分なピクセルデータで表現されます。次のことが理想的です。 各文字は少なくとも 16x16 ピクセルにする必要があります。一般に、文字を 24x24 ピクセルより大きくしても認識精度は向上しません。
そのため、たとえば名刺のスキャンには 640×480 の画像が適しています。 を占有します。レターサイズの用紙に印刷された文書をスキャンする場合は、720x1280 ピクセルの画像が必要になることがあります。
-
画像がぼやけていると、テキスト認識の精度に影響する可能性があります。あなたが ユーザーに画像をキャプチャし直すよう求めます。
-
リアルタイム アプリケーションでテキストを認識する場合は、 入力画像の全体的なサイズを考慮します。小 処理時間を短縮できます。レイテンシを短くするには、テキストが画像のできるだけ多くの部分を占めるようにし、低い解像度で画像をキャプチャします（上記の精度要件に留意）。詳細については、次をご覧ください: 掲載結果を改善するためのヒント
パフォーマンスを改善するためのヒント
- 動画フレームの処理には、検出機能の
results(in:)同期 API を使用します。AVCaptureVideoDataOutputSampleBufferDelegateのcaptureOutput(_, didOutput:from:)関数からこのメソッドを呼び出して、指定された動画フレームから結果を同期的に取得します。検出器の呼び出しをスロットルするには、AVCaptureVideoDataOutputのalwaysDiscardsLateVideoFramesをtrueのままにします。検出器の実行中に新しい動画フレームが使用可能になった場合は、そのフレームは破棄されます。 - 検出機能の出力を使用して、ディスプレイにグラフィックをオーバーレイする場合、 まず ML Kit から結果を取得してから、画像をレンダリングする 1 ステップでオーバーレイできますこれにより、ディスプレイ サーフェスにレンダリングされます。 各入力フレームに対して 1 回だけです。例については、ML Kit クイックスタート サンプルの updatePreviewOverlayViewWithLastFrame をご覧ください。
- より低い解像度で画像をキャプチャすることを検討してください。ただし、この API の画像サイズに関する要件にも留意してください。
- パフォーマンスの低下を避けるため、複数のコンテナを実行しないでください。
異なるスクリプト オプションを持つ
TextRecognizer個のインスタンスが同時に実行されています。