Puoi utilizzare ML Kit per riconoscere il testo nelle immagini o nei video, ad esempio il testo di un cartello stradale. Le caratteristiche principali di questa funzionalità sono:
| API Text Recognition v2 | |
|---|---|
| Descrizione | Riconoscere il testo nelle immagini o nei video, supportare le scritture latine, cinesi, devanagari, giapponesi e coreani e per una vasta gamma di lingue. |
| Nomi SDK | GoogleMLKit/TextRecognition |
| Implementazione | Gli asset sono collegati in modo statico alla tua app al momento della creazione |
| Impatto sulle dimensioni dell'app | Circa 38 MB per SDK per script |
| Rendimento | In tempo reale sulla maggior parte dei dispositivi per l'SDK della scrittura latina, più lento per altri. |
Provalo
- Prova l'app di esempio per vedere un esempio di utilizzo di questa API.
- Prova il codice personalmente con il codelab.
Prima di iniziare
- Includi i seguenti pod ML Kit nel podfile:
# To recognize Latin script pod 'GoogleMLKit/TextRecognition', '3.2.0' # To recognize Chinese script pod 'GoogleMLKit/TextRecognitionChinese', '3.2.0' # To recognize Devanagari script pod 'GoogleMLKit/TextRecognitionDevanagari', '3.2.0' # To recognize Japanese script pod 'GoogleMLKit/TextRecognitionJapanese', '3.2.0' # To recognize Korean script pod 'GoogleMLKit/TextRecognitionKorean', '3.2.0'
- Dopo aver installato o aggiornato i pod del progetto, apri il progetto Xcode utilizzando
.xcworkspace. ML Kit è supportato in Xcode versione 12.4 o successiva.
1. Crea un'istanza di TextRecognizer
Crea un'istanza di TextRecognizer chiamando
+textRecognizer(options:), passando le opzioni relative all'SDK che hai dichiarato come
dipendenza sopra:
Swift
// When using Latin script recognition SDK let latinOptions = TextRecognizerOptions() let latinTextRecognizer = TextRecognizer.textRecognizer(options:options) // When using Chinese script recognition SDK let chineseOptions = ChineseTextRecognizerOptions() let chineseTextRecognizer = TextRecognizer.textRecognizer(options:options) // When using Devanagari script recognition SDK let devanagariOptions = DevanagariTextRecognizerOptions() let devanagariTextRecognizer = TextRecognizer.textRecognizer(options:options) // When using Japanese script recognition SDK let japaneseOptions = JapaneseTextRecognizerOptions() let japaneseTextRecognizer = TextRecognizer.textRecognizer(options:options) // When using Korean script recognition SDK let koreanOptions = KoreanTextRecognizerOptions() let koreanTextRecognizer = TextRecognizer.textRecognizer(options:options)
Objective-C
// When using Latin script recognition SDK MLKTextRecognizerOptions *latinOptions = [[MLKTextRecognizerOptions alloc] init]; MLKTextRecognizer *latinTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options]; // When using Chinese script recognition SDK MLKChineseTextRecognizerOptions *chineseOptions = [[MLKChineseTextRecognizerOptions alloc] init]; MLKTextRecognizer *chineseTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options]; // When using Devanagari script recognition SDK MLKDevanagariTextRecognizerOptions *devanagariOptions = [[MLKDevanagariTextRecognizerOptions alloc] init]; MLKTextRecognizer *devanagariTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options]; // When using Japanese script recognition SDK MLKJapaneseTextRecognizerOptions *japaneseOptions = [[MLKJapaneseTextRecognizerOptions alloc] init]; MLKTextRecognizer *japaneseTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options]; // When using Korean script recognition SDK MLKKoreanTextRecognizerOptions *koreanOptions = [[MLKKoreanTextRecognizerOptions alloc] init]; MLKTextRecognizer *koreanTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options];
2. Prepara l'immagine di input
Passa l'immagine comeUIImage o CMSampleBufferRef al metodo process(_:completion:) di TextRecognizer:
Crea un oggetto VisionImage utilizzando un elemento UIImage o CMSampleBuffer.
Se usi un UIImage, segui questi passaggi:
- Crea un oggetto
VisionImageconUIImage. Assicurati di specificare il valore.orientationcorretto.Swift
let image = VisionImage(image: UIImage) visionImage.orientation = image.imageOrientation
Objective-C
MLKVisionImage *visionImage = [[MLKVisionImage alloc] initWithImage:image]; visionImage.orientation = image.imageOrientation;
Se usi un CMSampleBuffer, segui questi passaggi:
-
Specifica l'orientamento dei dati dell'immagine contenuti in
CMSampleBuffer.Per ottenere l'orientamento dell'immagine:
Swift
func imageOrientation( deviceOrientation: UIDeviceOrientation, cameraPosition: AVCaptureDevice.Position ) -> UIImage.Orientation { switch deviceOrientation { case .portrait: return cameraPosition == .front ? .leftMirrored : .right case .landscapeLeft: return cameraPosition == .front ? .downMirrored : .up case .portraitUpsideDown: return cameraPosition == .front ? .rightMirrored : .left case .landscapeRight: return cameraPosition == .front ? .upMirrored : .down case .faceDown, .faceUp, .unknown: return .up } }Objective-C
- (UIImageOrientation) imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation cameraPosition:(AVCaptureDevicePosition)cameraPosition { switch (deviceOrientation) { case UIDeviceOrientationPortrait: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationLeftMirrored : UIImageOrientationRight; case UIDeviceOrientationLandscapeLeft: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationDownMirrored : UIImageOrientationUp; case UIDeviceOrientationPortraitUpsideDown: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationRightMirrored : UIImageOrientationLeft; case UIDeviceOrientationLandscapeRight: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationUpMirrored : UIImageOrientationDown; case UIDeviceOrientationUnknown: case UIDeviceOrientationFaceUp: case UIDeviceOrientationFaceDown: return UIImageOrientationUp; } } - Crea un oggetto
VisionImageutilizzando l'oggetto e l'orientamentoCMSampleBuffer:Swift
let image = VisionImage(buffer: sampleBuffer) image.orientation = imageOrientation( deviceOrientation: UIDevice.current.orientation, cameraPosition: cameraPosition)
Objective-C
MLKVisionImage *image = [[MLKVisionImage alloc] initWithBuffer:sampleBuffer]; image.orientation = [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation cameraPosition:cameraPosition];
3. Elabora l'immagine
Quindi, passa l'immagine al metodo process(_:completion:):
Swift
textRecognizer.process(visionImage) { result, error in
guard error == nil, let result = result else {
// Error handling
return
}
// Recognized text
}
Objective-C
[textRecognizer processImage:image
completion:^(MLKText *_Nullable result,
NSError *_Nullable error) {
if (error != nil || result == nil) {
// Error handling
return;
}
// Recognized text
}];
4. Estrai testo da blocchi di testo riconosciuto
Se il riconoscimento del testo ha esito positivo, restituisce un
oggetto Text. Un oggetto Text contiene il testo completo riconosciuto nell'immagine e zero o più oggetti TextBlock.
Ciascun TextBlock rappresenta un blocco di testo rettangolare di testo che contiene zero o più oggetti TextLine. Ogni oggetto TextLine
contiene zero o più oggetti TextElement,
che rappresentano parole ed entità simili a parole, come date e numeri.
Per ogni oggetto TextBlock, TextLine e
TextElement, puoi ottenere il riconoscimento del testo nella
regione e le coordinate di delimitazione della regione.
Ad esempio:
Swift
let resultText = result.text
for block in result.blocks {
let blockText = block.text
let blockLanguages = block.recognizedLanguages
let blockCornerPoints = block.cornerPoints
let blockFrame = block.frame
for line in block.lines {
let lineText = line.text
let lineLanguages = line.recognizedLanguages
let lineCornerPoints = line.cornerPoints
let lineFrame = line.frame
for element in line.elements {
let elementText = element.text
let elementCornerPoints = element.cornerPoints
let elementFrame = element.frame
}
}
}
Objective-C
NSString *resultText = result.text;
for (MLKTextBlock *block in result.blocks) {
NSString *blockText = block.text;
NSArray<MLKTextRecognizedLanguage *> *blockLanguages = block.recognizedLanguages;
NSArray<NSValue *> *blockCornerPoints = block.cornerPoints;
CGRect blockFrame = block.frame;
for (MLKTextLine *line in block.lines) {
NSString *lineText = line.text;
NSArray<MLKTextRecognizedLanguage *> *lineLanguages = line.recognizedLanguages;
NSArray<NSValue *> *lineCornerPoints = line.cornerPoints;
CGRect lineFrame = line.frame;
for (MLKTextElement *element in line.elements) {
NSString *elementText = element.text;
NSArray<NSValue *> *elementCornerPoints = element.cornerPoints;
CGRect elementFrame = element.frame;
}
}
}
Linee guida per l'immagine di input
-
Affinché ML Kit riconosca accuratamente il testo, le immagini di input devono contenere testo rappresentato da un numero sufficiente di dati di pixel. Idealmente, ogni carattere dovrebbe essere di almeno 16 x 16 pixel. In genere, le dimensioni dei caratteri superiori a 24 x 24 pixel non sono vantaggiose in termini di accuratezza.
Ad esempio, un'immagine di 640 x 480 potrebbe essere adatta per scansionare un biglietto da visita che occupa tutta la larghezza dell'immagine. Per scansionare un documento stampato su carta in formato Lettera, potrebbe essere necessaria un'immagine di 720 x 1280 pixel.
-
Una scarsa messa a fuoco dell'immagine può influire sulla precisione del riconoscimento del testo. Se non ottieni risultati accettabili, prova a chiedere all'utente di recuperare l'immagine.
-
Se riconosci il testo in un'applicazione in tempo reale, dovresti considerare le dimensioni complessive delle immagini di input. Le immagini più piccole possono essere elaborate più velocemente. Per ridurre la latenza, assicurati che il testo occupi la maggiore quantità possibile dell'immagine e acquisisci immagini a risoluzioni più basse (tenendo presenti i requisiti di accuratezza indicati sopra). Per maggiori informazioni, consulta Suggerimenti per migliorare le prestazioni.
Suggerimenti per migliorare il rendimento
- Per elaborare i fotogrammi video, utilizza l'API sincrona
results(in:)del rilevatore. Chiama questo metodo dalla funzionecaptureOutput(_, didOutput:from:)diAVCaptureVideoDataOutputSampleBufferDelegateper ottenere in modo sincrono i risultati dal frame video specificato. Mantieni il valorealwaysDiscardsLateVideoFramesdiAVCaptureVideoDataOutputsutrueper limitare le chiamate al rilevatore. Se diventa disponibile un nuovo fotogramma video mentre il rilevatore è in esecuzione, verrà eliminato. - Se utilizzi l'output del rilevatore per sovrapporre elementi grafici all'immagine di input, ottieni il risultato da ML Kit, quindi esegui il rendering dell'immagine e della sovrapposizione in un unico passaggio. In questo modo, il rendering sulla superficie di visualizzazione viene mostrato una sola volta per ogni frame di input elaborato. Per un esempio, consulta updatePreviewOverlayViewWithLastFrame nell'esempio della guida rapida del kit ML.
- Prova ad acquisire immagini a una risoluzione inferiore. Tuttavia, tieni presente anche i requisiti relativi alle dimensioni immagine di questa API.
- Per evitare un potenziale peggioramento delle prestazioni, non eseguire contemporaneamente più istanze
TextRecognizercon opzioni di script diverse.