ML Kit のデジタルインク認識を使用すると、何百もの言語のデジタル表面に手書きされたテキストを認識したり、スケッチを分類したりできます。
試してみる
- サンプルアプリを試して、この API の使用例を確認します。
始める前に
- プロジェクト レベルの
build.gradleファイルで、buildscriptセクションとallprojectsセクションの両方に Google の Maven リポジトリを組み込みます。 - ML Kit Android ライブラリの依存関係をモジュールのアプリレベルの Gradle ファイル（通常は
app/build.gradle）に追加します。
dependencies {
// ...
implementation 'com.google.mlkit:digital-ink-recognition:18.1.0'
}
これで、Ink オブジェクトのテキストを認識する準備が整いました。
Ink オブジェクトを作成する
Ink オブジェクトの主な作成方法は、タッチ スクリーン上に描画することです。Android では、この目的でキャンバスを使用できます。タッチイベント ハンドラでは、次のコード スニペットに示す addNewTouchEvent() メソッドを呼び出して、ユーザーが描画したストローク内のポイントを Ink オブジェクトに格納する必要があります。
この一般的なパターンを次のコード スニペットに示します。より詳細な例については、ML Kit クイックスタート サンプルをご覧ください。
Kotlin
var inkBuilder = Ink.builder()
lateinit var strokeBuilder: Ink.Stroke.Builder
// Call this each time there is a new event.
fun addNewTouchEvent(event: MotionEvent) {
val action = event.actionMasked
val x = event.x
val y = event.y
var t = System.currentTimeMillis()
// If your setup does not provide timing information, you can omit the
// third paramater (t) in the calls to Ink.Point.create
when (action) {
MotionEvent.ACTION_DOWN -> {
strokeBuilder = Ink.Stroke.builder()
strokeBuilder.addPoint(Ink.Point.create(x, y, t))
}
MotionEvent.ACTION_MOVE -> strokeBuilder!!.addPoint(Ink.Point.create(x, y, t))
MotionEvent.ACTION_UP -> {
strokeBuilder.addPoint(Ink.Point.create(x, y, t))
inkBuilder.addStroke(strokeBuilder.build())
}
else -> {
// Action not relevant for ink construction
}
}
}
...
// This is what to send to the recognizer.
val ink = inkBuilder.build()
Java
Ink.Builder inkBuilder = Ink.builder();
Ink.Stroke.Builder strokeBuilder;
// Call this each time there is a new event.
public void addNewTouchEvent(MotionEvent event) {
float x = event.getX();
float y = event.getY();
long t = System.currentTimeMillis();
// If your setup does not provide timing information, you can omit the
// third paramater (t) in the calls to Ink.Point.create
int action = event.getActionMasked();
switch (action) {
case MotionEvent.ACTION_DOWN:
strokeBuilder = Ink.Stroke.builder();
strokeBuilder.addPoint(Ink.Point.create(x, y, t));
break;
case MotionEvent.ACTION_MOVE:
strokeBuilder.addPoint(Ink.Point.create(x, y, t));
break;
case MotionEvent.ACTION_UP:
strokeBuilder.addPoint(Ink.Point.create(x, y, t));
inkBuilder.addStroke(strokeBuilder.build());
strokeBuilder = null;
break;
}
}
...
// This is what to send to the recognizer.
Ink ink = inkBuilder.build();
DigitalInkRecognizer のインスタンスを取得する
認識を行うには、Ink インスタンスを DigitalInkRecognizer オブジェクトに送信します。次のコードは、このような認識ツールを BCP-47 タグからインスタンス化する方法を示しています。
Kotlin
// Specify the recognition model for a language
var modelIdentifier: DigitalInkRecognitionModelIdentifier
try {
modelIdentifier = DigitalInkRecognitionModelIdentifier.fromLanguageTag("en-US")
} catch (e: MlKitException) {
// language tag failed to parse, handle error.
}
if (modelIdentifier == null) {
// no model was found, handle error.
}
var model: DigitalInkRecognitionModel =
DigitalInkRecognitionModel.builder(modelIdentifier).build()
// Get a recognizer for the language
var recognizer: DigitalInkRecognizer =
DigitalInkRecognition.getClient(
DigitalInkRecognizerOptions.builder(model).build())
Java
// Specify the recognition model for a language
DigitalInkRecognitionModelIdentifier modelIdentifier;
try {
modelIdentifier =
DigitalInkRecognitionModelIdentifier.fromLanguageTag("en-US");
} catch (MlKitException e) {
// language tag failed to parse, handle error.
}
if (modelIdentifier == null) {
// no model was found, handle error.
}
DigitalInkRecognitionModel model =
DigitalInkRecognitionModel.builder(modelIdentifier).build();
// Get a recognizer for the language
DigitalInkRecognizer recognizer =
DigitalInkRecognition.getClient(
DigitalInkRecognizerOptions.builder(model).build());
Ink オブジェクトを処理する
Kotlin
recognizer.recognize(ink)
.addOnSuccessListener { result: RecognitionResult ->
// `result` contains the recognizer's answers as a RecognitionResult.
// Logs the text from the top candidate.
Log.i(TAG, result.candidates[0].text)
}
.addOnFailureListener { e: Exception ->
Log.e(TAG, "Error during recognition: $e")
}
Java
recognizer.recognize(ink)
.addOnSuccessListener(
// `result` contains the recognizer's answers as a RecognitionResult.
// Logs the text from the top candidate.
result -> Log.i(TAG, result.getCandidates().get(0).getText()))
.addOnFailureListener(
e -> Log.e(TAG, "Error during recognition: " + e));
上記のサンプルコードでは、次のセクションで説明するように、認識モデルがすでにダウンロードされていることを前提としています。
モデルのダウンロードの管理
デジタルインク認識 API は何百もの言語に対応していますが、各言語を認識する前にデータをダウンロードする必要があります。言語ごとに約 20 MB のストレージが必要です。これは RemoteModelManager オブジェクトによって処理されます。
新しいモデルをダウンロードする
Kotlin
import com.google.mlkit.common.model.DownloadConditions
import com.google.mlkit.common.model.RemoteModelManager
var model: DigitalInkRecognitionModel = ...
val remoteModelManager = RemoteModelManager.getInstance()
remoteModelManager.download(model, DownloadConditions.Builder().build())
.addOnSuccessListener {
Log.i(TAG, "Model downloaded")
}
.addOnFailureListener { e: Exception ->
Log.e(TAG, "Error while downloading a model: $e")
}
Java
import com.google.mlkit.common.model.DownloadConditions;
import com.google.mlkit.common.model.RemoteModelManager;
DigitalInkRecognitionModel model = ...;
RemoteModelManager remoteModelManager = RemoteModelManager.getInstance();
remoteModelManager
.download(model, new DownloadConditions.Builder().build())
.addOnSuccessListener(aVoid -> Log.i(TAG, "Model downloaded"))
.addOnFailureListener(
e -> Log.e(TAG, "Error while downloading a model: " + e));
モデルがすでにダウンロードされているかどうかを確認する
Kotlin
var model: DigitalInkRecognitionModel = ... remoteModelManager.isModelDownloaded(model)
Java
DigitalInkRecognitionModel model = ...; remoteModelManager.isModelDownloaded(model);
ダウンロードしたモデルを削除する
デバイスのストレージからモデルを削除すると、空き容量を増やすことができます。
Kotlin
var model: DigitalInkRecognitionModel = ...
remoteModelManager.deleteDownloadedModel(model)
.addOnSuccessListener {
Log.i(TAG, "Model successfully deleted")
}
.addOnFailureListener { e: Exception ->
Log.e(TAG, "Error while deleting a model: $e")
}
Java
DigitalInkRecognitionModel model = ...;
remoteModelManager.deleteDownloadedModel(model)
.addOnSuccessListener(
aVoid -> Log.i(TAG, "Model successfully deleted"))
.addOnFailureListener(
e -> Log.e(TAG, "Error while deleting a model: " + e));
テキスト認識の精度を向上させるためのヒント
テキスト認識の精度は言語によって異なります。正確性は文章のスタイルにも 依存しますデジタルインク認識はさまざまな種類の筆記スタイルを処理するようにトレーニングされていますが、結果はユーザーによって異なる場合があります。
テキスト認識の精度を向上させる方法をいくつか紹介します。これらの手法は、絵文字、AutoDraw、シェイプの描画分類には適用されない点に注意してください。
書き込みエリア
多くのアプリケーションには、ユーザー入力用の書き込み領域が明確に定義されています。シンボルの意味は、シンボルを含む書き込み領域のサイズに対する相対的なサイズによって部分的に決定されます。たとえば、小文字または大文字の「o」や「c」の違い、カンマとスラッシュの違いなどです。
入力領域の幅と高さを認識機能に伝えると、精度が向上します。ただし、認識ツールは、書き込み領域に 1 行のテキストしか含まれていないと想定します。物理的な書き込み領域が十分な大きさで、ユーザーが 2 行以上書き込める場合は、テキストの 1 行の高さを最適に見積もった高さで WritingArea を渡すことで、より適切な結果が得られることがあります。認識ツールに渡す WritingArea オブジェクトは、画面上の物理的な書き込み領域と完全に一致させる必要はありません。この方法で WritingArea の高さを変更すると、言語によって効果が上がります。
書き込み領域を指定する際は、その幅と高さをストローク座標と同じ単位で指定します。x 座標と y 座標の引数に単位を指定する必要はありません。API はすべての単位を正規化するため、重要なのは、ストロークの相対的なサイズと位置だけです。座標はシステムに合わせて任意のスケールで渡すことができます。
事前コンテキスト
プリコンテキストとは、認識しようとしている Ink のストロークの直前にあるテキストのことです。事前コンテキストを伝えると、認識機能に役立ちます。
たとえば、筆記体「n」と「u」はしばしば間違えられます。「arg」の部分的な単語をすでに入力している場合は、「ument」または「nment」として認識できるストロークが続行されることがあります。プリコンテキストの「arg」を指定すると、「argument」という単語よりも「argument」という単語が使用される可能性が高いため、曖昧さが解決されます。
事前コンテキストは、認識機能で単語の区切り（単語間のスペース）を特定するのにも役立ちます。スペースは入力できますが、描画できないため、認識機能によって、ある単語の終了と次の単語の開始のタイミングはどのように判断できるでしょうか。ユーザーがすでに「hello」と書かれ、「world」と書かれた単語が続く場合、事前コンテキストなしで認識ツールは文字列「world」を返します。ただし、プリコンテキストの「hello」を指定すると、「helloword」よりも「hello world」という方が理にかなっているため、モデルは先頭にスペースを付加して「world」という文字列を返します。
プリコンテキスト文字列をできるだけ長く指定してください（スペースを含めて 20 文字まで）。文字列が長い場合、認識機能は最後の 20 文字のみを使用します。
以下のコードサンプルは、書き込み領域を定義し、RecognitionContext オブジェクトを使用してプリコンテキストを指定する方法を示しています。
Kotlin
var preContext : String = ...;
var width : Float = ...;
var height : Float = ...;
val recognitionContext : RecognitionContext =
RecognitionContext.builder()
.setPreContext(preContext)
.setWritingArea(WritingArea(width, height))
.build()
recognizer.recognize(ink, recognitionContext)
Java
String preContext = ...;
float width = ...;
float height = ...;
RecognitionContext recognitionContext =
RecognitionContext.builder()
.setPreContext(preContext)
.setWritingArea(new WritingArea(width, height))
.build();
recognizer.recognize(ink, recognitionContext);
ストロークの順序
認識の精度はストロークの順序に左右されます。認識ツールは、ユーザーが自然に入力する順序でストロークが発生することを想定しています（たとえば、英語の場合は左から右）。最後の単語で始まる英語の文を記述するなど、このパターンから逸脱する大文字 / 小文字では、結果の精度が低下します。
別の例としては、Ink の途中の単語が削除され、別の単語に置き換えられる場合です。改訂版はおそらく文の途中にありますが、改訂用のストロークはストローク シーケンスの末尾にあります。この場合は、新しく書き込まれた単語を個別に API に送信し、独自のロジックを使用して、その結果を以前の認識と統合することをおすすめします。
あいまいな形状に対処する
認識ツールに提供されるシェイプの意味があいまいな場合があります。たとえば、角が非常に丸い長方形は、長方形または楕円として表示されます。
このような不明確なケースは、認識スコアを使用して処理できます（利用可能な場合）。シェイプ分類器のみがスコアを提供します。モデルの信頼度が非常に高い場合、上位の結果のスコアは 2 番目に良い結果よりもはるかに優れています。不確実性がある場合は、上位 2 つの結果のスコアが近くなります。また、シェイプ分類器は Ink 全体を 1 つのシェイプとして解釈することにも留意してください。たとえば、Ink に長方形と楕円が隣接している場合、認識機能は結果としてどちらか一方（またはまったく異なるもの）を返す可能性があります。これは、1 つの認識候補が 2 つの形状を表現できないためです。