Digitale Tintenerkennung

Mit der digitalen Tintenerkennungs-API von ML Kit können Sie handgeschriebenen Text auf einer digitalen Oberfläche in Hunderten von Sprachen erkennen und Skizzen klassifizieren. Die digitale Tintenerkennungs-API verwendet dieselbe Technologie wie die Handschrifterkennung in Gboard, Google Übersetzer und dem Spiel Quick, Draw!.

Dank der digitalen Tintenerkennung kannst du auf dem Bildschirm schreiben, statt ihn auf einer virtuellen Tastatur einzugeben. Dadurch können Nutzer Zeichen zeichnen, die auf der Tastatur nicht verfügbar sind, z. B. ệ, अ oder 森 für lateinische Buchstabentastaturen. Die API kann auch handgeschriebene Notizen transkribieren und handgezeichnete Formen und Emojis erkennen.

Die digitale Tintenerkennung funktioniert mit den Strichen, die der Nutzer auf dem Bildschirm zeichnet. Wenn Sie Text aus Bildern lesen möchten, die mit der Kamera aufgenommen wurden, verwenden Sie die Text Recognition API.

Die digitale Tintenerkennung funktioniert vollständig offline und wird auf Android- und iOS-Geräten unterstützt.

iOS Android-Geräte

Hauptfunktionen

  • Wandelt handgeschriebenen Text in Sequenzen mit Unicode-Zeichen um.
  • Wird nahezu in Echtzeit auf dem Gerät ausgeführt.
  • Die Handschrift des Nutzers bleibt auf dem Gerät. Die Erkennung erfolgt ohne Netzwerkverbindung.
  • Unterstützt mehr als 300 Sprachen und mehr als 25 Schreibsysteme, darunter alle wichtigen lateinischen Sprachen sowie Chinesisch, Japanisch, Koreanisch, Arabisch und Kyrillisch. Vollständige Liste der unterstützten Sprachen
  • Erkennt Emojis und einfache Formen.
  • Schränkt den Speicherplatz auf dem Gerät ein, indem Sprachpakete nach Bedarf dynamisch heruntergeladen werden.

Die Erkennung verwendet ein Ink-Objekt als Eingabe. Ink ist eine Vektordarstellung dessen, was der Nutzer auf dem Bildschirm geschrieben hat: eine Reihe von Strichen, jede ist eine Liste von Koordinaten mit Zeitinformationen, die als Touchpoints bezeichnet werden. Ein Strich beginnt, wenn der Nutzer den Eingabestift oder den Finger nach unten legt und endet, wenn er ihn hochhebt. Die Ink wird an ein Erkennungsmodul übergeben, das ein oder mehrere Erkennungsergebnisse mit Konfidenzgrad zurückgibt.

Beispiele

Englische Handschrift

Das Bild links unten zeigt, was der Nutzer auf dem Bildschirm gezeichnet hat. Das Bild auf der rechten Seite ist das entsprechende Ink-Objekt. Sie enthält die Striche mit roten Punkten, die die Touchpoints innerhalb jedes Strichs darstellen.

    

Es gibt vier Striche. Die ersten beiden Striche im Objekt Ink sehen so aus:

Tinte
Strich 1 x 392, 391, 389, 287 usw.
y 52, 60, 76, 97, ...
t 0, 37, 56, 75, ...
Strich 2 x 497, 494, 493, 490, ...
y 167, 165, 165, 165, ...
t 694, 742, 751, 770 usw.
...

Wenn Sie dieses Ink an ein Erkennungsmodul für die englische Sprache senden, werden mehrere mögliche Transkripte mit fünf oder sechs Zeichen zurückgegeben. Sie sind nach abnehmender Konfidenz sortiert:

Erkennungsergebnis
Anerkennungskandidaten 1 Handw
Anerkennungskandidaten 2 Handrw
Anerkennungskandidaten 3 Hard
Anerkennungskandidaten 4 Handu
Anerkennungskandidaten 5 Handwe

Emoji-Skizzen

Das Bild links unten zeigt, was der Nutzer auf dem Bildschirm gezeichnet hat. Das Bild auf der rechten Seite ist das entsprechende Ink-Objekt. Sie enthält die Striche mit roten Punkten, die die Touchpoints innerhalb jedes Strichs darstellen.

    

Das Objekt Ink enthält sechs Striche.

           

Tinte
Strich 1 x 269, 266, 262, 255, ...
y 40, 40, 40, 41 usw.
t 0, 36, 56, 75, ...
Strich 2 x 179, 182, 183, 185, ...
y 157, 158, 159, 160, ...
t 2475, 2522, 2531, 2541, ...
...

Wenn Sie dieses Ink an die Emoji-Erkennung senden, erhalten Sie mehrere mögliche Transkripte, geordnet nach abnehmender Konfidenz:

Erkennungsergebnis
Anerkennungskandidaten 1 😝 (U + 1f62d)
Anerkennungskandidaten 2 || (U+1f605)
Anerkennungskandidaten 3 😹 (U+1f639)
Anerkennungskandidaten 4 📲 (U+1f604)
Anerkennungskandidaten 5 👟 (U+1f606)