此页面由 Cloud Translation API 翻译。

在 Android 应用中利用机器学习套件识别数字手写内容

借助机器学习套件的数字手写识别功能，您可以识别并支持数百种语言的数字化平面，以及对素描进行分类。

试试看

您可以试用示例应用，查看此 API 的用法示例。

准备工作

此 API 需要 Android API 级别 21 或更高级别。确保您应用的 build 文件使用的 minSdkVersion 值为 21 或更高。

请务必在项目级 build.gradle 文件中的 buildscript 和 allprojects 部分添加 Google 的 Maven 代码库。
将 Android 版机器学习套件库的依赖项添加到模块的应用级 Gradle 文件（通常为 app/build.gradle）：

dependencies {
  // ...
  implementation 'com.google.mlkit:digital-ink-recognition:18.1.0'
}

现在，您可以开始识别 Ink 对象中的文本了。

构建 `Ink` 对象

构建 Ink 对象的主要方法是在触摸屏上绘制该对象。已开启在 Android 设备上，您可以使用画布。您的触摸事件处理脚本应调用 addNewTouchEvent() 方法，以便将各笔画的点存储在用户绘制到 Ink 对象中。

以下代码段演示了这种常规模式。请参阅机器学习套件快速入门示例获取更完整的示例。

Kotlin

var inkBuilder = Ink.builder()
lateinit var strokeBuilder: Ink.Stroke.Builder

// Call this each time there is a new event.
fun addNewTouchEvent(event: MotionEvent) {
  val action = event.actionMasked
  val x = event.x
  val y = event.y
  var t = System.currentTimeMillis()

  // If your setup does not provide timing information, you can omit the
  // third paramater (t) in the calls to Ink.Point.create
  when (action) {
    MotionEvent.ACTION_DOWN -> {
      strokeBuilder = Ink.Stroke.builder()
      strokeBuilder.addPoint(Ink.Point.create(x, y, t))
    }
    MotionEvent.ACTION_MOVE -> strokeBuilder!!.addPoint(Ink.Point.create(x, y, t))
    MotionEvent.ACTION_UP -> {
      strokeBuilder.addPoint(Ink.Point.create(x, y, t))
      inkBuilder.addStroke(strokeBuilder.build())
    }
    else -> {
      // Action not relevant for ink construction
    }
  }
}

...

// This is what to send to the recognizer.
val ink = inkBuilder.build()

Java

Ink.Builder inkBuilder = Ink.builder();
Ink.Stroke.Builder strokeBuilder;

// Call this each time there is a new event.
public void addNewTouchEvent(MotionEvent event) {
  float x = event.getX();
  float y = event.getY();
  long t = System.currentTimeMillis();

  // If your setup does not provide timing information, you can omit the
  // third paramater (t) in the calls to Ink.Point.create
  int action = event.getActionMasked();
  switch (action) {
    case MotionEvent.ACTION_DOWN:
      strokeBuilder = Ink.Stroke.builder();
      strokeBuilder.addPoint(Ink.Point.create(x, y, t));
      break;
    case MotionEvent.ACTION_MOVE:
      strokeBuilder.addPoint(Ink.Point.create(x, y, t));
      break;
    case MotionEvent.ACTION_UP:
      strokeBuilder.addPoint(Ink.Point.create(x, y, t));
      inkBuilder.addStroke(strokeBuilder.build());
      strokeBuilder = null;
      break;
  }
}

...

// This is what to send to the recognizer.
Ink ink = inkBuilder.build();

获取 DigitalInkRecognizer 的实例

如需执行识别，请将 Ink 实例发送到 DigitalInkRecognizer 对象。以下代码展示了如何将此类来自 BCP-47 标记识别器的工作流。

Kotlin

// Specify the recognition model for a language
var modelIdentifier: DigitalInkRecognitionModelIdentifier
try {
  modelIdentifier = DigitalInkRecognitionModelIdentifier.fromLanguageTag("en-US")
} catch (e: MlKitException) {
  // language tag failed to parse, handle error.
}
if (modelIdentifier == null) {
  // no model was found, handle error.
}
var model: DigitalInkRecognitionModel =
    DigitalInkRecognitionModel.builder(modelIdentifier).build()


// Get a recognizer for the language
var recognizer: DigitalInkRecognizer =
    DigitalInkRecognition.getClient(
        DigitalInkRecognizerOptions.builder(model).build())

Java

// Specify the recognition model for a language
DigitalInkRecognitionModelIdentifier modelIdentifier;
try {
  modelIdentifier =
    DigitalInkRecognitionModelIdentifier.fromLanguageTag("en-US");
} catch (MlKitException e) {
  // language tag failed to parse, handle error.
}
if (modelIdentifier == null) {
  // no model was found, handle error.
}

DigitalInkRecognitionModel model =
    DigitalInkRecognitionModel.builder(modelIdentifier).build();

// Get a recognizer for the language
DigitalInkRecognizer recognizer =
    DigitalInkRecognition.getClient(
        DigitalInkRecognizerOptions.builder(model).build());

处理 `Ink` 对象

Kotlin

recognizer.recognize(ink)
    .addOnSuccessListener { result: RecognitionResult ->
      // `result` contains the recognizer's answers as a RecognitionResult.
      // Logs the text from the top candidate.
      Log.i(TAG, result.candidates[0].text)
    }
    .addOnFailureListener { e: Exception ->
      Log.e(TAG, "Error during recognition: $e")
    }

Java

recognizer.recognize(ink)
    .addOnSuccessListener(
        // `result` contains the recognizer's answers as a RecognitionResult.
        // Logs the text from the top candidate.
        result -> Log.i(TAG, result.getCandidates().get(0).getText()))
    .addOnFailureListener(
        e -> Log.e(TAG, "Error during recognition: " + e));

上面的示例代码假定识别模型下载的内容，如下一部分中所述。

管理模型下载

虽然数字手写识别 API 支持数百种语言，但每种语言都需要在进行任何识别之前下载一些数据。在以下地点周围：每种语言需要 20MB 的存储空间。这由 RemoteModelManager 对象处理。

下载新模型

Kotlin

import com.google.mlkit.common.model.DownloadConditions
import com.google.mlkit.common.model.RemoteModelManager

var model: DigitalInkRecognitionModel =  ...
val remoteModelManager = RemoteModelManager.getInstance()

remoteModelManager.download(model, DownloadConditions.Builder().build())
    .addOnSuccessListener {
      Log.i(TAG, "Model downloaded")
    }
    .addOnFailureListener { e: Exception ->
      Log.e(TAG, "Error while downloading a model: $e")
    }

Java

import com.google.mlkit.common.model.DownloadConditions;
import com.google.mlkit.common.model.RemoteModelManager;

DigitalInkRecognitionModel model = ...;
RemoteModelManager remoteModelManager = RemoteModelManager.getInstance();

remoteModelManager
    .download(model, new DownloadConditions.Builder().build())
    .addOnSuccessListener(aVoid -> Log.i(TAG, "Model downloaded"))
    .addOnFailureListener(
        e -> Log.e(TAG, "Error while downloading a model: " + e));

检查模型是否已经下载

Kotlin

var model: DigitalInkRecognitionModel =  ...
remoteModelManager.isModelDownloaded(model)

Java

DigitalInkRecognitionModel model = ...;
remoteModelManager.isModelDownloaded(model);

删除已下载的模型

从设备的存储空间中移除模型可以释放空间。

Kotlin

var model: DigitalInkRecognitionModel =  ...
remoteModelManager.deleteDownloadedModel(model)
    .addOnSuccessListener {
      Log.i(TAG, "Model successfully deleted")
    }
    .addOnFailureListener { e: Exception ->
      Log.e(TAG, "Error while deleting a model: $e")
    }

Java

DigitalInkRecognitionModel model = ...;
remoteModelManager.deleteDownloadedModel(model)
                  .addOnSuccessListener(
                      aVoid -> Log.i(TAG, "Model successfully deleted"))
                  .addOnFailureListener(
                      e -> Log.e(TAG, "Error while deleting a model: " + e));

提高文字识别准确性的技巧

文本识别准确性因语言而异。准确性还取决于写作风格。虽然数字墨水识别经过训练，能够处理多种书写风格，结果可能因用户而异。

以下是一些可以提高文本识别器准确性的方法。请注意，这些技术不适用于表情符号、自动绘制和形状的绘图分类器。

手写区域

许多应用都有明确定义的写入区域，供用户输入。符号的含义是该尺寸在一定程度上取决于其尺寸（相对于包含它的书写区域的大小）。例如，区分小写字母“o”或“c”与大写字母“O”或“C”，以及英文逗号与正斜线。

告知识别器手写区域的宽度和高度可以提高准确性。不过，识别器会假定书写区域仅包含一行文本。如果实际手写区域足够大，可以让用户写两行或更多行，那么您可以传入一个 WritingArea，并将其高度设为您对单行文本高度的最佳估算值，以获得更好的结果。您传递给识别器的 WritingArea 对象不必与屏幕上的实际手写区域完全对应。以这种方式更改 WriteArea 高度在某些语言中效果更好。

指定书写区域时，请指定其宽度和高度（单位与描边单位相同）坐标。x,y 坐标参数没有单位要求 - API 会对所有单位进行标准化，因此唯一重要的是笔触的相对大小和位置。你随时都可以传入对系统有意义的任何比例的坐标。

预先上下文

预置上下文是指文本中紧挨着Ink 识别对象。您可以通过告知识别器预先上下文来帮助识别器。

例如，书写字母“n”和“u”往往会相互混淆。如果用户那么就可能继续输入部分可以被识别为“arg”的笔画 “ument”或“nment”。指定预上下文“arg”消除了歧义， "argument"比“argnment”的概率更高。

前文还可以帮助识别程序识别单词间隔符和单词之间的空格。您可以输入空格字符但无法画出空格，那么识别器如何确定一个字词的结尾下一轮要开始了？如果用户已经写了“hello”接着用书面单词 “world”，如果没有预上下文，则识别器会返回字符串“world”。但是，如果您指定 “hello”之前，模型将返回字符串“包含前导空格，例如“hello” 世界”比“helloword”更有意义。

您应提供尽可能长的上下文前字符串，最多 20 个字符（包括空格）。如果字符串更长，则识别器仅使用最后 20 个字符。

以下代码示例展示了如何定义书写区域并使用 RecognitionContext 对象来指定预上下文。

Kotlin

var preContext : String = ...;
var width : Float = ...;
var height : Float = ...;
val recognitionContext : RecognitionContext =
    RecognitionContext.builder()
        .setPreContext(preContext)
        .setWritingArea(WritingArea(width, height))
        .build()

recognizer.recognize(ink, recognitionContext)

Java

String preContext = ...;
float width = ...;
float height = ...;
RecognitionContext recognitionContext =
    RecognitionContext.builder()
                      .setPreContext(preContext)
                      .setWritingArea(new WritingArea(width, height))
                      .build();

recognizer.recognize(ink, recognitionContext);

描边排序

识别准确度受笔画顺序的影响。识别器希望笔画按照人们自然书写的顺序出现；例如，英文从左到右。任何情况与此模式不同的其他字词，例如，写一个以最后一个单词开始的英文句子，提供的结果不太准确。

再举一个例子，如果移除 Ink 中间的某个字词并将其替换为其他字词，修订可能在句子中间，但修订的笔画位于笔画序列的末尾。在这种情况下，我们建议您将新写的字单独发送到 API，并使用您自己的逻辑将结果与之前的识别结果合并。

处理不明确的形状

在某些情况下，提供给识别器的形状的含义不明确。对于例如，边缘非常圆的矩形可以看作是矩形或椭圆形。

在可用的情况下，可以使用识别得分来处理这些不确定的情况。只有形状分类器会提供得分。如果模型非常自信，则首个结果的分数将远高于第二个结果。如果存在不确定性，前两项结果的得分将会接近。此外，请注意，形状分类器会将整个 Ink 解读为单个形状。例如，如果 Ink 包含一个矩形和一个椭圆形识别器可能会返回其中一种（或完全不同的内容）作为因为一个候选识别模型不能表示两种形状。

在 Android 应用中利用机器学习套件识别数字手写内容

试试看

准备工作

构建 Ink 对象

Kotlin

Java

获取 DigitalInkRecognizer 的实例

Kotlin

Java

处理 Ink 对象

Kotlin

Java

管理模型下载

下载新模型

Kotlin

Java

检查模型是否已经下载

Kotlin

Java

删除已下载的模型

Kotlin

Java

提高文字识别准确性的技巧

手写区域

预先上下文

Kotlin

Java

描边排序

处理不明确的形状

构建 `Ink` 对象

处理 `Ink` 对象