W interfejsie ML Kit do cyfrowego rozpoznawania atramentu możesz rozpoznawać odręczny tekst i klasyfikować gesty na cyfrowej powierzchni w setkach języków, a także klasyfikować szkice. Interfejs cyfrowy rozpoznawanie atramentu korzysta z tej samej technologii, która obsługuje rozpoznawanie pisma odręcznego w Gboard, Tłumaczu Google oraz w grach Quick, Draw!.
Cyfrowe atramenty umożliwiają:
- Pisz na ekranie zamiast na klawiaturze wirtualnej. Pozwala użytkownikom rysować znaki niedostępne na klawiaturze, takie jak ệ, अ lub 森 w przypadku klawiatur łacińskich.
- Wykonuj podstawowe operacje tekstowe (nawigację, edytowanie, zaznaczanie itd.) przy użyciu gestów.
- Rozpoznawanie ręcznie rysowanych kształtów i emotikonów
Rozpoznawanie cyfrowych atramentów działa na podstawie pociągnięć rysowanych przez użytkownika na ekranie. Jeśli chcesz odczytać tekst z obrazów zrobionych aparatem, użyj interfejsu Text Recognition API.
Rozpoznawanie cyfrowych atramentów działa w trybie offline i jest obsługiwane na urządzeniach z Androidem oraz iOS.
Najważniejsze funkcje
- Konwertuje odręczny tekst na sekwencje znaków Unicode
- Działa na urządzeniu niemal w czasie rzeczywistym
- Pismo odręczne użytkownika pozostaje na urządzeniu, a rozpoznawanie odbywa się bez połączenia sieciowego.
- Obsługuje ponad 300 języków i ponad 25 systemów pisma – zobacz pełną listę obsługiwanych języków
- Obsługuje klasyfikację gestów w tych językach za pomocą rozszerzeń
-x-gesture
- Obsługuje klasyfikację gestów w tych językach za pomocą rozszerzeń
- Rozpoznaje emotikony i podstawowe kształty
- Ogranicza pamięć urządzenia, dynamicznie pobierając pakiety językowe
Moduł rozpoznawania akceptuje jako dane obiekt Ink. Ink to wektorowa reprezentacja tego, co użytkownik wpisał na ekranie: sekwencja kresek, z których każda to lista współrzędnych z informacjami o czasie nazywana punktami styczności z klientem. Styl trwa
po uchwyceniu rysika lub palca w dół i podniesieniu go. Ink jest przekazywany do modułu rozpoznawania, który zwraca co najmniej 1 możliwy wynik rozpoznawania z poziomem pewności.
Przykłady
Pismo odręczne angielskie
Obraz po lewej stronie pokazuje, co użytkownik narysował na ekranie. Obraz po prawej stronie to odpowiedni obiekt Ink. Styl ten jest podzielony na czerwone kreski.
Są 4 kreski. Pierwsze dwa kreski w obiekcie Ink wyglądają tak:
| Atrament | ||
|---|---|---|
| Styl 1 | x
|
392, 391, 389, 287, ... |
y
|
52, 60, 76, 97... | |
t
|
0, 37, 56, 75... | |
| Styl 2 | x
|
497, 494, 493, 490... |
y
|
167, 165, 165, 165... | |
t
|
694, 742, 751, 770... | |
| … | ||
Gdy wyślesz ten tag Ink do modułu rozpoznawania języka angielskiego, zwrócimy kilka możliwych transkrypcji zawierających 5 lub 6 znaków. Są posortowane malejąco:
| Wynik rozpoznania | |
|---|---|
| Uznanie kandydata nr 1 | ręka |
| Uznanie kandydata nr 2 | Handrw |
| Uznanie kandydata nr 3 | Hardw |
| Uznanie kandydata nr 4 | Handu |
| Uznanie kandydata nr 5 | Handwe |
Gesty
Klasyfikatory gestów klasyfikują rysowanie atramentu do jednej z 9 klas wymienionych poniżej.
arch:abovearch:below |
 |
caret:abovecaret:below |
 |
circle |
 |
 |
|
scribble |
 |
strike |
 |
verticalbar |
 |
writing |
 |
Szkice emotikonów
Obraz po lewej stronie pokazuje, co użytkownik narysował na ekranie. Obraz po prawej stronie to odpowiedni obiekt Ink. Styl ten jest podzielony na czerwone kreski.
Obiekt Ink zawiera 6 kresek.
| Atrament | ||
|---|---|---|
| Styl 1 | x
|
269, 266, 262, 255... |
y
|
40, 40, 40, 41, ... | |
t
|
0, 36, 56, 75... | |
| Styl 2 | x
|
179, 182, 183, 185, ... |
y
|
157, 158, 159, 160... | |
t
|
2475, 2522, 2531, 2541... | |
| … | ||
Gdy wyślesz ten Ink do modułu rozpoznawania emotikonów, możesz zobaczyć kilka możliwych transkrypcji ułożonych według malejącej pewności:
| Wynik rozpoznania | |
|---|---|
| Uznanie kandydata nr 1 | 😂 (U+1F62D) |
| Uznanie kandydata nr 2 | 😅 (U+1f605) |
| Uznanie kandydata nr 3 | 😹 (U+1f639) |
| Uznanie kandydata nr 4 | 😄 (U+1f604) |
| Uznanie kandydata nr 5 | 😆 (U+1f606) |