Grazie al riconoscimento dell'inchiostro digitale di ML Kit, puoi riconoscere il testo scritto a mano su una superficie digitale in centinaia di lingue e classificare gli schizzi.
Prova
- Prova l'app di esempio per vedere un utilizzo di esempio di questa API.
Prima di iniziare
Includi le seguenti librerie ML Kit nel podfile:
pod 'GoogleMLKit/DigitalInkRecognition', '3.2.0'Dopo aver installato o aggiornato i pod del progetto, apri il progetto Xcode utilizzando il relativo
.xcworkspace. ML Kit è supportato in Xcode versione 13.2.1 o successiva.
Ora puoi iniziare a riconoscere il testo negli oggetti Ink.
Crea un oggetto Ink
Il modo principale per creare un oggetto Ink è disegnarlo su un touchscreen. Su iOS, puoi utilizzare UIImageView insieme a gestori di eventi touch, che tracciano i tratti sullo schermo e archiviano i relativi punti per creare l'oggetto Ink. Questo pattern generale è dimostrato
nel seguente snippet di codice. Consulta l'app di avvio rapido per un esempio più completo, che separa la gestione degli eventi touch, il disegno schermo e la gestione dei dati delle tratti.
Swift
@IBOutlet weak var mainImageView: UIImageView!
var kMillisecondsPerTimeInterval = 1000.0
var lastPoint = CGPoint.zero
private var strokes: [Stroke] = []
private var points: [StrokePoint] = []
func drawLine(from fromPoint: CGPoint, to toPoint: CGPoint) {
UIGraphicsBeginImageContext(view.frame.size)
guard let context = UIGraphicsGetCurrentContext() else {
return
}
mainImageView.image?.draw(in: view.bounds)
context.move(to: fromPoint)
context.addLine(to: toPoint)
context.setLineCap(.round)
context.setBlendMode(.normal)
context.setLineWidth(10.0)
context.setStrokeColor(UIColor.white.cgColor)
context.strokePath()
mainImageView.image = UIGraphicsGetImageFromCurrentImageContext()
mainImageView.alpha = 1.0
UIGraphicsEndImageContext()
}
override func touchesBegan(_ touches: Set, with event: UIEvent?) {
guard let touch = touches.first else {
return
}
lastPoint = touch.location(in: mainImageView)
let t = touch.timestamp
points = [StrokePoint.init(x: Float(lastPoint.x),
y: Float(lastPoint.y),
t: Int(t * kMillisecondsPerTimeInterval))]
drawLine(from:lastPoint, to:lastPoint)
}
override func touchesMoved(_ touches: Set, with event: UIEvent?) {
guard let touch = touches.first else {
return
}
let currentPoint = touch.location(in: mainImageView)
let t = touch.timestamp
points.append(StrokePoint.init(x: Float(currentPoint.x),
y: Float(currentPoint.y),
t: Int(t * kMillisecondsPerTimeInterval)))
drawLine(from: lastPoint, to: currentPoint)
lastPoint = currentPoint
}
override func touchesEnded(_ touches: Set, with event: UIEvent?) {
guard let touch = touches.first else {
return
}
let currentPoint = touch.location(in: mainImageView)
let t = touch.timestamp
points.append(StrokePoint.init(x: Float(currentPoint.x),
y: Float(currentPoint.y),
t: Int(t * kMillisecondsPerTimeInterval)))
drawLine(from: lastPoint, to: currentPoint)
lastPoint = currentPoint
strokes.append(Stroke.init(points: points))
self.points = []
doRecognition()
}
Objective-C
// Interface @property (weak, nonatomic) IBOutlet UIImageView *mainImageView; @property(nonatomic) CGPoint lastPoint; @property(nonatomic) NSMutableArray*strokes; @property(nonatomic) NSMutableArray *points; // Implementations static const double kMillisecondsPerTimeInterval = 1000.0; - (void)drawLineFrom:(CGPoint)fromPoint to:(CGPoint)toPoint { UIGraphicsBeginImageContext(self.mainImageView.frame.size); [self.mainImageView.image drawInRect:CGRectMake(0, 0, self.mainImageView.frame.size.width, self.mainImageView.frame.size.height)]; CGContextMoveToPoint(UIGraphicsGetCurrentContext(), fromPoint.x, fromPoint.y); CGContextAddLineToPoint(UIGraphicsGetCurrentContext(), toPoint.x, toPoint.y); CGContextSetLineCap(UIGraphicsGetCurrentContext(), kCGLineCapRound); CGContextSetLineWidth(UIGraphicsGetCurrentContext(), 10.0); CGContextSetRGBStrokeColor(UIGraphicsGetCurrentContext(), 1, 1, 1, 1); CGContextSetBlendMode(UIGraphicsGetCurrentContext(), kCGBlendModeNormal); CGContextStrokePath(UIGraphicsGetCurrentContext()); CGContextFlush(UIGraphicsGetCurrentContext()); self.mainImageView.image = UIGraphicsGetImageFromCurrentImageContext(); UIGraphicsEndImageContext(); } - (void)touchesBegan:(NSSet *)touches withEvent:(nullable UIEvent *)event { UITouch *touch = [touches anyObject]; self.lastPoint = [touch locationInView:self.mainImageView]; NSTimeInterval time = [touch timestamp]; self.points = [NSMutableArray array]; [self.points addObject:[[MLKStrokePoint alloc] initWithX:self.lastPoint.x y:self.lastPoint.y t:time * kMillisecondsPerTimeInterval]]; [self drawLineFrom:self.lastPoint to:self.lastPoint]; } - (void)touchesMoved:(NSSet *)touches withEvent:(nullable UIEvent *)event { UITouch *touch = [touches anyObject]; CGPoint currentPoint = [touch locationInView:self.mainImageView]; NSTimeInterval time = [touch timestamp]; [self.points addObject:[[MLKStrokePoint alloc] initWithX:currentPoint.x y:currentPoint.y t:time * kMillisecondsPerTimeInterval]]; [self drawLineFrom:self.lastPoint to:currentPoint]; self.lastPoint = currentPoint; } - (void)touchesEnded:(NSSet *)touches withEvent:(nullable UIEvent *)event { UITouch *touch = [touches anyObject]; CGPoint currentPoint = [touch locationInView:self.mainImageView]; NSTimeInterval time = [touch timestamp]; [self.points addObject:[[MLKStrokePoint alloc] initWithX:currentPoint.x y:currentPoint.y t:time * kMillisecondsPerTimeInterval]]; [self drawLineFrom:self.lastPoint to:currentPoint]; self.lastPoint = currentPoint; if (self.strokes == nil) { self.strokes = [NSMutableArray array]; } [self.strokes addObject:[[MLKStroke alloc] initWithPoints:self.points]]; self.points = nil; [self doRecognition]; }
Tieni presente che lo snippet di codice include una funzione di esempio per disegnare il tratto nell'elemento UIImageView, che dovrebbe essere adattato in base alle esigenze dell'applicazione. Ti consigliamo di utilizzare le maiuscole quando tracci i segmenti di linea, in modo che i segmenti di lunghezza pari a zero siano tracciati come un punto (pensa al punto su una lettera minuscola i). La funzione doRecognition()
viene richiamata dopo la scrittura di ogni tratto e sarà definita di seguito.
Ottieni un'istanza di DigitalInkRecognizer
Per eseguire il riconoscimento, dobbiamo passare l'oggetto Ink
a un'istanza DigitalInkRecognizer. Per ottenere l'istanza DigitalInkRecognizer,
devi prima scaricare il modello di riconoscimento per la lingua desiderata e
caricare il modello nella RAM. Questa operazione può essere eseguita utilizzando il seguente snippet di codice, che per semplicità viene inserito nel metodo viewDidLoad() e utilizza un nome di lingua hardcoded. Consulta l'app di avvio rapido per un esempio di come mostrare all'utente l'elenco delle lingue disponibili e scaricare la lingua selezionata.
Swift
override func viewDidLoad() {
super.viewDidLoad()
let languageTag = "en-US"
let identifier = DigitalInkRecognitionModelIdentifier(forLanguageTag: languageTag)
if identifier == nil {
// no model was found or the language tag couldn't be parsed, handle error.
}
let model = DigitalInkRecognitionModel.init(modelIdentifier: identifier!)
let modelManager = ModelManager.modelManager()
let conditions = ModelDownloadConditions.init(allowsCellularAccess: true,
allowsBackgroundDownloading: true)
modelManager.download(model, conditions: conditions)
// Get a recognizer for the language
let options: DigitalInkRecognizerOptions = DigitalInkRecognizerOptions.init(model: model)
recognizer = DigitalInkRecognizer.digitalInkRecognizer(options: options)
}
Objective-C
- (void)viewDidLoad {
[super viewDidLoad];
NSString *languagetag = @"en-US";
MLKDigitalInkRecognitionModelIdentifier *identifier =
[MLKDigitalInkRecognitionModelIdentifier modelIdentifierForLanguageTag:languagetag];
if (identifier == nil) {
// no model was found or the language tag couldn't be parsed, handle error.
}
MLKDigitalInkRecognitionModel *model = [[MLKDigitalInkRecognitionModel alloc]
initWithModelIdentifier:identifier];
MLKModelManager *modelManager = [MLKModelManager modelManager];
[modelManager downloadModel:model conditions:[[MLKModelDownloadConditions alloc]
initWithAllowsCellularAccess:YES
allowsBackgroundDownloading:YES]];
MLKDigitalInkRecognizerOptions *options =
[[MLKDigitalInkRecognizerOptions alloc] initWithModel:model];
self.recognizer = [MLKDigitalInkRecognizer digitalInkRecognizerWithOptions:options];
}
Le app di avvio rapido includono codice aggiuntivo che mostra come gestire più download contemporaneamente e come stabilire quale download è riuscito gestendo le notifiche di completamento.
Riconosci un oggetto Ink
Passiamo alla funzione doRecognition(), che per semplicità viene chiamata
da touchesEnded(). In altre applicazioni, si potrebbe voler richiamare il riconoscimento solo dopo un timeout o quando l'utente ha premuto un pulsante per attivare il riconoscimento.
Swift
func doRecognition() {
let ink = Ink.init(strokes: strokes)
recognizer.recognize(
ink: ink,
completion: {
[unowned self]
(result: DigitalInkRecognitionResult?, error: Error?) in
var alertTitle = ""
var alertText = ""
if let result = result, let candidate = result.candidates.first {
alertTitle = "I recognized this:"
alertText = candidate.text
} else {
alertTitle = "I hit an error:"
alertText = error!.localizedDescription
}
let alert = UIAlertController(title: alertTitle,
message: alertText,
preferredStyle: UIAlertController.Style.alert)
alert.addAction(UIAlertAction(title: "OK",
style: UIAlertAction.Style.default,
handler: nil))
self.present(alert, animated: true, completion: nil)
}
)
}
Objective-C
- (void)doRecognition {
MLKInk *ink = [[MLKInk alloc] initWithStrokes:self.strokes];
__weak typeof(self) weakSelf = self;
[self.recognizer
recognizeInk:ink
completion:^(MLKDigitalInkRecognitionResult *_Nullable result,
NSError *_Nullable error) {
typeof(weakSelf) strongSelf = weakSelf;
if (strongSelf == nil) {
return;
}
NSString *alertTitle = nil;
NSString *alertText = nil;
if (result.candidates.count > 0) {
alertTitle = @"I recognized this:";
alertText = result.candidates[0].text;
} else {
alertTitle = @"I hit an error:";
alertText = [error localizedDescription];
}
UIAlertController *alert =
[UIAlertController alertControllerWithTitle:alertTitle
message:alertText
preferredStyle:UIAlertControllerStyleAlert];
[alert addAction:[UIAlertAction actionWithTitle:@"OK"
style:UIAlertActionStyleDefault
handler:nil]];
[strongSelf presentViewController:alert animated:YES completion:nil];
}];
}
Gestione dei download dei modelli
Abbiamo già visto come scaricare un modello di riconoscimento. I seguenti snippet di codice illustrano come verificare se un modello è già stato scaricato o come eliminare un modello quando non è più necessario per recuperare spazio di archiviazione.
Controllare se un modello è già stato scaricato
Swift
let model : DigitalInkRecognitionModel = ... let modelManager = ModelManager.modelManager() modelManager.isModelDownloaded(model)
Objective-C
MLKDigitalInkRecognitionModel *model = ...; MLKModelManager *modelManager = [MLKModelManager modelManager]; [modelManager isModelDownloaded:model];
Eliminare un modello scaricato
Swift
let model : DigitalInkRecognitionModel = ...
let modelManager = ModelManager.modelManager()
if modelManager.isModelDownloaded(model) {
modelManager.deleteDownloadedModel(
model!,
completion: {
error in
if error != nil {
// Handle error
return
}
NSLog(@"Model deleted.");
})
}
Objective-C
MLKDigitalInkRecognitionModel *model = ...;
MLKModelManager *modelManager = [MLKModelManager modelManager];
if ([self.modelManager isModelDownloaded:model]) {
[self.modelManager deleteDownloadedModel:model
completion:^(NSError *_Nullable error) {
if (error) {
// Handle error.
return;
}
NSLog(@"Model deleted.");
}];
}
Suggerimenti per migliorare la precisione del riconoscimento del testo
La precisione del riconoscimento del testo può variare nelle diverse lingue. La precisione dipende anche dallo stile di scrittura. Sebbene Digital Ink Recognition sia addestrato per gestire molti tipi di stili di scrittura, i risultati possono variare da utente a utente.
Ecco alcuni modi per migliorare la precisione di un riconoscimento del testo. Tieni presente che queste tecniche non si applicano alle categorie di classificazione dei disegni per emoji, autodraw e forme.
Area di scrittura
Molte applicazioni dispongono di un'area di scrittura ben definita per l'input dell'utente. Il significato di un simbolo è in parte determinato dalle sue dimensioni rispetto a quelle dell'area di scrittura che lo contiene. Ad esempio, la differenza tra la lettera "o" o "c" in minuscolo o maiuscolo e una virgola rispetto a una barra.
Indicare al riconoscimento la larghezza e l'altezza dell'area di scrittura può migliorare l'accuratezza. Tuttavia, il riconoscimento presuppone che l'area di scrittura contenga una sola riga di testo. Se l'area di scrittura fisica è abbastanza grande da consentire all'utente di scrivere due o più righe, potresti ottenere risultati migliori passando in un'area di scrittura con un'altezza che sia la stima migliore dell'altezza di una singola riga di testo. L'oggetto Scrittura Area che passi al riconoscimento non deve corrispondere esattamente all'area di scrittura fisica sullo schermo. Modificare l'altezza dell'area di scrittura in questo modo funziona meglio in alcune lingue che in altre.
Quando specifichi l'area di scrittura, specifica larghezza e altezza nelle stesse unità delle coordinate del tratto. Gli argomenti delle coordinate x,y non richiedono unità: l'API normalizza tutte le unità, quindi l'unica cosa che conta sono le dimensioni relative e la posizione dei tratti. Sei libero di inserire le coordinate in qualsiasi scala abbia senso per il tuo sistema.
Pre-contesto
Il pre-contesto è il testo che precede immediatamente i tratti nel Ink che stai cercando di riconoscere. Puoi aiutare il riconoscimento indicando il pre-contesto.
Ad esempio, le lettere in corsivo "n" e "u" vengono spesso scambiate l'una per l'altra. Se l'utente ha già inserito la parola parziale "arg", potrebbe continuare con tratti che possono essere riconosciuti come "ument" o "nment". Specificare il pre-contesto "arg" risolve l'ambiguità, poiché la parola "argomento" è più probabile di "argnment".
Il pre-contesto può inoltre aiutare il sistema di riconoscimento a identificare le interruzioni di parole, ovvero gli spazi tra le parole. Puoi digitare uno spazio, ma non disegnarne uno. In che modo un riconoscimento può determinare quando termina una parola e quando inizia la successiva? Se l'utente ha già scritto "hello" e continua con la parola scritta "world", senza pre-contesto, il riconoscimento restituisce la stringa "world". Tuttavia, se specifichi il pre-contesto "hello", il modello restituirà la stringa "world", con uno spazio iniziale, poiché "helloworld" ha più senso di "helloword".
Fornisci la stringa pre-contesto più lunga possibile, fino a 20 caratteri, spazi inclusi. Se la stringa è più lunga, il riconoscimento utilizza solo gli ultimi 20 caratteri.
L'esempio di codice riportato di seguito mostra come definire un'area di scrittura e utilizzare un oggetto RecognitionContext per specificare il pre-contesto.
Swift
let ink: Ink = ...;
let recognizer: DigitalInkRecognizer = ...;
let preContext: String = ...;
let writingArea = WritingArea.init(width: ..., height: ...);
let context: DigitalInkRecognitionContext.init(
preContext: preContext,
writingArea: writingArea);
recognizer.recognizeHandwriting(
from: ink,
context: context,
completion: {
(result: DigitalInkRecognitionResult?, error: Error?) in
if let result = result, let candidate = result.candidates.first {
NSLog("Recognized \(candidate.text)")
} else {
NSLog("Recognition error \(error)")
}
})
Objective-C
MLKInk *ink = ...;
MLKDigitalInkRecognizer *recognizer = ...;
NSString *preContext = ...;
MLKWritingArea *writingArea = [MLKWritingArea initWithWidth:...
height:...];
MLKDigitalInkRecognitionContext *context = [MLKDigitalInkRecognitionContext
initWithPreContext:preContext
writingArea:writingArea];
[recognizer recognizeHandwritingFromInk:ink
context:context
completion:^(MLKDigitalInkRecognitionResult
*_Nullable result, NSError *_Nullable error) {
NSLog(@"Recognition result %@",
result.candidates[0].text);
}];
Ordine tratti
La precisione del riconoscimento dipende dall'ordine dei tratti. I sistemi di riconoscimento si aspettano che i colpi si corrano nell'ordine naturale che le persone scrivono, ad esempio da sinistra a destra per l'inglese. Qualsiasi caso che si discosta da questo modello, come la scrittura di una frase in inglese che inizia con l'ultima parola, fornisce risultati meno precisi.
Un altro esempio è quando una parola nel mezzo di Ink viene rimossa e sostituita con un'altra parola. La revisione si trova probabilmente nel mezzo di una frase, ma i tratti per la revisione sono alla fine della sequenza.
In questo caso ti consigliamo di inviare separatamente la parola appena scritta all'API e di unire il risultato con i riconoscimenti precedenti utilizzando la tua logica.
Gestire le forme ambigue
In alcuni casi il significato della forma fornita al riconoscimento è ambiguo. Ad esempio, un rettangolo con bordi molto arrotondati può essere visto come un rettangolo o un'ellisse.
Questi casi poco chiari possono essere gestiti utilizzando i punteggi di riconoscimento, se disponibili. Solo
i classificatori di forma forniscono i punteggi. Se il modello è molto sicuro, il punteggio del primo risultato sarà molto migliore del secondo. In caso di incertezza, i punteggi dei primi due risultati saranno vicini. Inoltre, tieni presente che i classificatori di forma interpretano l'intero Ink come una singola forma. Ad esempio, se Ink contiene un rettangolo e un'ellisse uno accanto all'altro, il riconoscimento potrebbe restituire l'uno o l'altro (o qualcosa di completamente diverso) come risultato, poiché un singolo candidato per il riconoscimento non può rappresentare due forme.