Digitale Tintenerkennung

Mit der Digital Ink Detection API von ML Kit können Sie handschriftlichen Text erkennen und Gesten auf einer digitalen Oberfläche in Hunderten von Sprachen klassifizieren sowie Skizzen klassifizieren. Die Digital Ink Detection API nutzt dieselbe Technologie, die auch für die Handschrifterkennung in Gboard, Google Übersetzer und Quick, Draw! verwendet wird.

Mit der digitalen Tintenerkennung können Sie:

• Schreiben Sie in den Bildschirm, anstatt über die Bildschirmtastatur zu tippen. Dadurch können Nutzer Zeichen zeichnen, die auf ihrer Tastatur nicht verfügbar sind, z. B. DOUBLE, अ oder 森 für lateinische Tastaturen.
• Grundlegende Textvorgänge (Navigation, Bearbeitung, Auswahl usw.) mit Gesten ausführen.
• Handgezeichnete Formen und Emojis erkennen

Die digitale Tintenerkennung arbeitet mit den Strichen, die der Nutzer auf dem Bildschirm zeichnet. Wenn Sie Text aus mit der Kamera aufgenommenen Bildern lesen müssen, verwenden Sie die Text Recognition API.

Die digitale Tintenerkennung funktioniert vollständig offline und wird unter Android und iOS unterstützt.

iOS Android

Hauptfunktionen

• Wandelt handgeschriebenen Text in Folgen von Unicode-Zeichen um
• Wird nahezu in Echtzeit auf dem Gerät ausgeführt
• Die Handschrift des Nutzers bleibt auf dem Gerät, die Erkennung erfolgt ohne Netzwerkverbindung.
• Unterstützt über 300 Sprachen und mehr als 25 Schreibsysteme. Weitere Informationen finden Sie in der vollständigen Liste der unterstützten Sprachen.
  • Unterstützt die Klassifizierung von Bewegungen für diese Sprachen über -x-gesture-Erweiterungen
• Erkennt Emojis und Grundformen
• Sorgt für wenig Speicherplatz auf dem Gerät durch das dynamische Herunterladen von Sprachpaketen nach Bedarf

Die Erkennung verwendet ein Ink-Objekt als Eingabe. Ink ist eine Vektordarstellung dessen, was der Nutzer auf dem Bildschirm geschrieben hat: eine Folge von Strichen, die jeweils eine Liste von Koordinaten mit Zeitinformationen sind, die als Touchpoints bezeichnet werden. Ein Strich beginnt, wenn der Nutzer seinen Eingabestift oder Finger nach unten schiebt, und endet, wenn er ihn nach oben hebt. Die Ink wird an eine Erkennung übergeben, die ein oder mehrere mögliche Erkennungsergebnisse mit Konfidenzniveaus zurückgibt.

Beispiele

Englische Handschrift

Das Bild links unten zeigt, was der Nutzer auf dem Bildschirm gezeichnet hat. Das Bild auf der rechten Seite ist das entsprechende Ink-Objekt. Sie enthält die Striche mit roten Punkten, die die Berührungspunkte innerhalb der einzelnen Striche darstellen.

    

Es gibt vier Striche. Die ersten beiden Striche im Ink-Objekt sehen so aus:

Tinte
Strich 1	x	392, 391, 389, 287 usw.
	y	52, 60, 76, 97 usw.
	t	0, 37, 56, 75 usw.
Schwimmstil 2	x	497, 494, 493, 490 usw.
	y	167, 165, 165, 165 usw.
	t	694, 742, 751, 770 usw.
...

Wenn Sie diese Ink an ein Erkennungsmodul für die englische Sprache senden, werden mehrere mögliche Transkriptionen mit fünf oder sechs Zeichen zurückgegeben. Sie sind absteigend nach Konfidenz sortiert:

RecognitionResult
Anerkennungskandidat Nr. 1	Handw
Anerkennungskandidat Nr. 2	Handrw
Anerkennungskandidat Nr. 3	Harw
Anerkennungskandidat Nr. 4	Handu
Anerkennungskandidat Nr. 5	Handwe

Touch-Gesten

Gestenklassifikatoren klassifizieren einen Tintenstrich in eine von neun unten aufgeführten Gestenklassen.

Touch-Geste	Beispiel
arch:above arch:below
caret:above caret:below
circle
corner:downleft
scribble
strike
verticalbar
writing

Hinweis: Es ist nicht immer möglich, zuverlässig zwischen einigen Gesten und Schreibbewegungen zu unterscheiden. Die Geste verticalbar kann beispielsweise genauso wie die Ziffer 1 oder der Buchstabe l aussehen, wenn sie als vertikale Linien geschrieben werden. Damit Nutzer sowohl Gesten als auch Schreiben verwenden können, muss Ihre Anwendung möglicherweise die Position des Schreibens oder der Geste berücksichtigen: Für das Schreiben gegenüber vorhandenem Text sollte die Gesteninterpretation bevorzugt werden. Für das Schreiben über Leerraum sollte die Textinterpretation bevorzugt werden.

Emoji-Skizzen

Das Bild links unten zeigt, was der Nutzer auf dem Bildschirm gezeichnet hat. Das Bild auf der rechten Seite ist das entsprechende Ink-Objekt. Sie enthält die Striche mit roten Punkten, die die Berührungspunkte innerhalb der einzelnen Striche darstellen.

    

Das Ink-Objekt enthält sechs Striche.

           

Tinte
Strich 1	x	269, 266, 262, 255 usw.
	y	40, 40, 40, 41 usw.
	t	0, 36, 56, 75 usw.
Schwimmstil 2	x	179, 182, 183, 185 usw.
	y	157, 158, 159, 160 usw.
	t	2475, 2522, 2531, 2541 usw.
...

Wenn Sie diese Ink an die Emoji-Erkennung senden, erhalten Sie mehrere mögliche Transkriptionen, die nach absteigender Konfidenz angeordnet sind:

RecognitionResult
Anerkennungskandidat Nr. 1	😂 (U+1f62d)
Anerkennungskandidat Nr. 2	😅 (U+1f605)
Anerkennungskandidat Nr. 3	😹 (U+1f639)
Anerkennungskandidat Nr. 4	👋 (U+1f604)
Anerkennungskandidat Nr. 5	🎻 (U+1f606)