このページは Cloud Translation API によって翻訳されました。

ML Kit を使用してデジタルインクを認識する（Android）

ML Kit のデジタルインク認識機能を使用すると、テキストデジタルサーフェスを何百もの言語で扱ったり、スケッチを分類したりできます。

試してみる

サンプルアプリを試してみましょう。この API の使用例をご覧ください

始める前に

</ph> この API には Android API レベル 21 以降が必要です。アプリのビルドと実行がファイルが minSdkVersion の値 21 以上を使用していること。

プロジェクトレベルの build.gradle ファイルで、buildscript セクションと allprojects セクションの両方に Google の Maven リポジトリを組み込みます。
ML Kit Android ライブラリの依存関係をモジュールのアプリレベルの Gradle ファイル（通常は app/build.gradle）に追加します。

dependencies {
  // ...
  implementation 'com.google.mlkit:digital-ink-recognition:18.1.0'
}

これで、Ink オブジェクトのテキストを認識する準備が整いました。

`Ink` オブジェクトを作成する

Ink オブジェクトの主な作成方法は、タッチスクリーン上に描画することです。オン Android では、キャンバス: できます。お客様のタッチイベントハンドラ addNewTouchEvent() を呼び出す必要があります。メソッドを使って、ストローク内の点を保存し、 Ink オブジェクトに描画します。

この一般的なパターンを次のコードスニペットに示します。詳しくは、 ML Kit クイックスタートサンプルをご覧ください。

Kotlin

var inkBuilder = Ink.builder()
lateinit var strokeBuilder: Ink.Stroke.Builder

// Call this each time there is a new event.
fun addNewTouchEvent(event: MotionEvent) {
  val action = event.actionMasked
  val x = event.x
  val y = event.y
  var t = System.currentTimeMillis()

  // If your setup does not provide timing information, you can omit the
  // third paramater (t) in the calls to Ink.Point.create
  when (action) {
    MotionEvent.ACTION_DOWN -> {
      strokeBuilder = Ink.Stroke.builder()
      strokeBuilder.addPoint(Ink.Point.create(x, y, t))
    }
    MotionEvent.ACTION_MOVE -> strokeBuilder!!.addPoint(Ink.Point.create(x, y, t))
    MotionEvent.ACTION_UP -> {
      strokeBuilder.addPoint(Ink.Point.create(x, y, t))
      inkBuilder.addStroke(strokeBuilder.build())
    }
    else -> {
      // Action not relevant for ink construction
    }
  }
}

...

// This is what to send to the recognizer.
val ink = inkBuilder.build()

Java

Ink.Builder inkBuilder = Ink.builder();
Ink.Stroke.Builder strokeBuilder;

// Call this each time there is a new event.
public void addNewTouchEvent(MotionEvent event) {
  float x = event.getX();
  float y = event.getY();
  long t = System.currentTimeMillis();

  // If your setup does not provide timing information, you can omit the
  // third paramater (t) in the calls to Ink.Point.create
  int action = event.getActionMasked();
  switch (action) {
    case MotionEvent.ACTION_DOWN:
      strokeBuilder = Ink.Stroke.builder();
      strokeBuilder.addPoint(Ink.Point.create(x, y, t));
      break;
    case MotionEvent.ACTION_MOVE:
      strokeBuilder.addPoint(Ink.Point.create(x, y, t));
      break;
    case MotionEvent.ACTION_UP:
      strokeBuilder.addPoint(Ink.Point.create(x, y, t));
      inkBuilder.addStroke(strokeBuilder.build());
      strokeBuilder = null;
      break;
  }
}

...

// This is what to send to the recognizer.
Ink ink = inkBuilder.build();

DigitalInkRecognizer のインスタンスを取得する

認識を行うには、Ink インスタンスを DigitalInkRecognizer オブジェクト。以下のコードは、このようなイベントをインスタンス化する方法を BCP-47 タグから再生成しました。

Kotlin

// Specify the recognition model for a language
var modelIdentifier: DigitalInkRecognitionModelIdentifier
try {
  modelIdentifier = DigitalInkRecognitionModelIdentifier.fromLanguageTag("en-US")
} catch (e: MlKitException) {
  // language tag failed to parse, handle error.
}
if (modelIdentifier == null) {
  // no model was found, handle error.
}
var model: DigitalInkRecognitionModel =
    DigitalInkRecognitionModel.builder(modelIdentifier).build()


// Get a recognizer for the language
var recognizer: DigitalInkRecognizer =
    DigitalInkRecognition.getClient(
        DigitalInkRecognizerOptions.builder(model).build())

Java

// Specify the recognition model for a language
DigitalInkRecognitionModelIdentifier modelIdentifier;
try {
  modelIdentifier =
    DigitalInkRecognitionModelIdentifier.fromLanguageTag("en-US");
} catch (MlKitException e) {
  // language tag failed to parse, handle error.
}
if (modelIdentifier == null) {
  // no model was found, handle error.
}

DigitalInkRecognitionModel model =
    DigitalInkRecognitionModel.builder(modelIdentifier).build();

// Get a recognizer for the language
DigitalInkRecognizer recognizer =
    DigitalInkRecognition.getClient(
        DigitalInkRecognizerOptions.builder(model).build());

`Ink` オブジェクトを処理する

Kotlin

recognizer.recognize(ink)
    .addOnSuccessListener { result: RecognitionResult ->
      // `result` contains the recognizer's answers as a RecognitionResult.
      // Logs the text from the top candidate.
      Log.i(TAG, result.candidates[0].text)
    }
    .addOnFailureListener { e: Exception ->
      Log.e(TAG, "Error during recognition: $e")
    }

Java

recognizer.recognize(ink)
    .addOnSuccessListener(
        // `result` contains the recognizer's answers as a RecognitionResult.
        // Logs the text from the top candidate.
        result -> Log.i(TAG, result.getCandidates().get(0).getText()))
    .addOnFailureListener(
        e -> Log.e(TAG, "Error during recognition: " + e));

上記のサンプルコードでは、認識モデルが入力済みであることをダウンロードする必要があります。

モデルのダウンロードの管理

Digital インク認識 API は数百の言語に対応していますが、言語を認識する前にデータをダウンロードする必要があります。周辺言語ごとに 20 MB のストレージが必要です。これは RemoteModelManager オブジェクト。

新しいモデルをダウンロードする

Kotlin

import com.google.mlkit.common.model.DownloadConditions
import com.google.mlkit.common.model.RemoteModelManager

var model: DigitalInkRecognitionModel =  ...
val remoteModelManager = RemoteModelManager.getInstance()

remoteModelManager.download(model, DownloadConditions.Builder().build())
    .addOnSuccessListener {
      Log.i(TAG, "Model downloaded")
    }
    .addOnFailureListener { e: Exception ->
      Log.e(TAG, "Error while downloading a model: $e")
    }

Java

import com.google.mlkit.common.model.DownloadConditions;
import com.google.mlkit.common.model.RemoteModelManager;

DigitalInkRecognitionModel model = ...;
RemoteModelManager remoteModelManager = RemoteModelManager.getInstance();

remoteModelManager
    .download(model, new DownloadConditions.Builder().build())
    .addOnSuccessListener(aVoid -> Log.i(TAG, "Model downloaded"))
    .addOnFailureListener(
        e -> Log.e(TAG, "Error while downloading a model: " + e));

モデルがすでにダウンロードされているかどうかを確認する

Kotlin

var model: DigitalInkRecognitionModel =  ...
remoteModelManager.isModelDownloaded(model)

Java

DigitalInkRecognitionModel model = ...;
remoteModelManager.isModelDownloaded(model);

ダウンロードしたモデルを削除する

デバイスのストレージからモデルを削除すると、空き容量を増やすことができます。

Kotlin

var model: DigitalInkRecognitionModel =  ...
remoteModelManager.deleteDownloadedModel(model)
    .addOnSuccessListener {
      Log.i(TAG, "Model successfully deleted")
    }
    .addOnFailureListener { e: Exception ->
      Log.e(TAG, "Error while deleting a model: $e")
    }

Java

DigitalInkRecognitionModel model = ...;
remoteModelManager.deleteDownloadedModel(model)
                  .addOnSuccessListener(
                      aVoid -> Log.i(TAG, "Model successfully deleted"))
                  .addOnFailureListener(
                      e -> Log.e(TAG, "Error while deleting a model: " + e));

テキスト認識の精度を向上させるためのヒント

テキスト認識の精度は言語によって異なります。精度も非常に重要になりますデジタルインク認識は多種多様な文章のスタイルに対応できるようトレーニングされていますが、結果はユーザーによって異なります。

テキスト認識の精度を向上させる方法をいくつか紹介します。なお、これらの手法は絵文字、AutoDraw、シェイプの描画分類には適用されません。

書き込みエリア

多くのアプリケーションには、ユーザー入力用の書き込み領域が明確に定義されています。記号の意味は、そのファイルを含む書き込み領域のサイズに対する相対的なサイズによって、部分的に決定されます。たとえば、小文字と大文字の「o」の違いはカンマか "c" か、スラッシュです。

入力領域の幅と高さを認識機能に伝えると、精度が向上します。ただし、認識ツールは、書き込み領域に 1 行のテキストのみが含まれていると想定します。物理的なユーザーが 2 行以上書き込むのに十分な大きさである場合、代わりに WritingArea を、作成します。認識ツールに渡す WritingArea オブジェクトは、各オブジェクトの画面上の手書き入力領域と完全に一致するようにします。この方法で WritingArea の高さを変更する一部の言語では他よりも優れています。

書き込み領域を指定する際は、その幅と高さをストロークと同じ単位で指定します指定します。x、y 座標の引数に単位の要件はありません。API によって、そのため、重要なのはストロークの相対的なサイズと位置だけです。必要に応じて任意のスケールの座標を渡します。

事前コンテキスト

事前コンテキストとは、対象の Ink のストロークの直前に表示されるテキストです。認識しようと試みます。事前コンテキストを伝えると、認識機能に役立ちます。

たとえば、手書きメモの「n」は、と「u」混同されがちですユーザーが単語「arg」の部分がすでに入力されている場合、次のように認識できるストロークが続くことがあります。 "ument"使用します。プリコンテキスト「arg」の指定そのあいまいさが解決されます。というのも、単語が "引数"「argnment」よりも可能性が高いです。

事前コンテキストは、認識機能で単語の区切り（単語間のスペース）を特定するのにも役立ちます。Google Chat ではスペースは入力しても描画できないため、認識ツールによって 1 つの単語がいつ終わるかを判断するには、どうすればよいでしょうか。次の問題は始まりますか？ユーザーがすでに「hello」と記述している場合続けて、次のように記述された「world」の場合、事前コンテキストがない場合、認識ツールは文字列「world」を返します。ただし、事前コンテキスト「hello」の場合、モデルは文字列「「hello world」という文字列を「helloword」よりも意味があります。

プリコンテキスト文字列はできるだけ長く、半角 20 文字（全角 10 文字）以内で指定してください。できます。文字列が長い場合、認識機能は最後の 20 文字のみを使用します。

以下のコードサンプルは、書き込み領域を定義し、 RecognitionContext オブジェクトを使用して事前コンテキストを指定します。

Kotlin

var preContext : String = ...;
var width : Float = ...;
var height : Float = ...;
val recognitionContext : RecognitionContext =
    RecognitionContext.builder()
        .setPreContext(preContext)
        .setWritingArea(WritingArea(width, height))
        .build()

recognizer.recognize(ink, recognitionContext)

Java

String preContext = ...;
float width = ...;
float height = ...;
RecognitionContext recognitionContext =
    RecognitionContext.builder()
                      .setPreContext(preContext)
                      .setWritingArea(new WritingArea(width, height))
                      .build();

recognizer.recognize(ink, recognitionContext);

ストロークの順序

認識の精度はストロークの順序に左右されます。認識ツールはストロークが人が自然に書くような順序で行われます。たとえば英語の場合は「left-toright」と指定します。すべての場合たとえば、最後の単語で始まる英語の文を書くなど、結果の精度が低下します

別の例としては、Ink の途中の単語が削除され、できます。改訂版はおそらく文の途中にあるが、改訂版のストロークストロークシーケンスの最後に来ます。この場合は、新たに記述された単語を個別に API に送信し、独自のロジックを使用して事前認識と変換できます。

あいまいな形状に対処する

認識ツールに提供されるシェイプの意味があいまいな場合があります。対象たとえば、角が非常に丸い長方形は、長方形または楕円として表示されます。

このような不明瞭なケースは、認識スコアを使用して処理できます（利用可能な場合）。単独形状分類器はスコアを提供します。モデルの信頼度が非常に高い場合、上位の結果のスコアは優れています。不確実性がある場合は、上位 2 つの結果のスコアが近づきます。また、シェイプ分類器は Ink 全体を 1 つのシェイプです。たとえば、Ink の隣に長方形と楕円が含まれているとします。認識ツールがどちらか（またはまったく異なるもの）をこれは、1 つの認識候補で 2 つの形状を表現できないためです。

ML Kit を使用してデジタルインクを認識する（Android）

試してみる

始める前に

Ink オブジェクトを作成する

Kotlin

Java

DigitalInkRecognizer のインスタンスを取得する

Kotlin

Java

Ink オブジェクトを処理する

Kotlin

Java

モデルのダウンロードの管理

新しいモデルをダウンロードする

Kotlin

Java

モデルがすでにダウンロードされているかどうかを確認する

Kotlin

Java

ダウンロードしたモデルを削除する

Kotlin

Java

テキスト認識の精度を向上させるためのヒント

書き込みエリア

事前コンテキスト

Kotlin

Java

ストロークの順序

あいまいな形状に対処する

`Ink` オブジェクトを作成する

`Ink` オブジェクトを処理する