此页面由 Cloud Translation API 翻译。

在 Android 应用中利用机器学习套件识别数字手写内容

借助机器学习套件的数字手写识别功能，您可以识别数字平面上数百种语言的手写文本，还可以对草图进行分类。

试试看

试用示例应用，了解此 API 的使用示例。

准备工作

此 API 需要 Android API 级别 21 或更高级别。确保您应用的 build 文件使用的 minSdkVersion 值为 21 或更高。

请务必在项目级 build.gradle 文件中的 buildscript 和 allprojects 部分添加 Google 的 Maven 代码库。
将 Android 版机器学习套件库的依赖项添加到模块的应用级 Gradle 文件（通常为 app/build.gradle）：

dependencies {
  // ...
  implementation 'com.google.mlkit:digital-ink-recognition:18.1.0'
}

现在，您可以开始识别 Ink 对象中的文本了。

构建 `Ink` 对象

构建 Ink 对象的主要方法是在触摸屏上绘制它。在 Android 上，您可以使用 Canvas 来实现此目的。您的触摸事件处理脚本应调用以下代码段中所示的 addNewTouchEvent() 方法，以将用户绘制的笔触中的点存储到 Ink 对象中。

以下代码段演示了这种常规模式。如需查看更完整的示例，请参阅机器学习套件快速入门示例。

Kotlin

var inkBuilder = Ink.builder()
lateinit var strokeBuilder: Ink.Stroke.Builder

// Call this each time there is a new event.
fun addNewTouchEvent(event: MotionEvent) {
  val action = event.actionMasked
  val x = event.x
  val y = event.y
  var t = System.currentTimeMillis()

  // If your setup does not provide timing information, you can omit the
  // third paramater (t) in the calls to Ink.Point.create
  when (action) {
    MotionEvent.ACTION_DOWN -> {
      strokeBuilder = Ink.Stroke.builder()
      strokeBuilder.addPoint(Ink.Point.create(x, y, t))
    }
    MotionEvent.ACTION_MOVE -> strokeBuilder!!.addPoint(Ink.Point.create(x, y, t))
    MotionEvent.ACTION_UP -> {
      strokeBuilder.addPoint(Ink.Point.create(x, y, t))
      inkBuilder.addStroke(strokeBuilder.build())
    }
    else -> {
      // Action not relevant for ink construction
    }
  }
}

...

// This is what to send to the recognizer.
val ink = inkBuilder.build()

Java

Ink.Builder inkBuilder = Ink.builder();
Ink.Stroke.Builder strokeBuilder;

// Call this each time there is a new event.
public void addNewTouchEvent(MotionEvent event) {
  float x = event.getX();
  float y = event.getY();
  long t = System.currentTimeMillis();

  // If your setup does not provide timing information, you can omit the
  // third paramater (t) in the calls to Ink.Point.create
  int action = event.getActionMasked();
  switch (action) {
    case MotionEvent.ACTION_DOWN:
      strokeBuilder = Ink.Stroke.builder();
      strokeBuilder.addPoint(Ink.Point.create(x, y, t));
      break;
    case MotionEvent.ACTION_MOVE:
      strokeBuilder.addPoint(Ink.Point.create(x, y, t));
      break;
    case MotionEvent.ACTION_UP:
      strokeBuilder.addPoint(Ink.Point.create(x, y, t));
      inkBuilder.addStroke(strokeBuilder.build());
      strokeBuilder = null;
      break;
  }
}

...

// This is what to send to the recognizer.
Ink ink = inkBuilder.build();

获取 DigitalInkRecognizer 的实例

如需执行识别，请将 Ink 实例发送到 DigitalInkRecognizer 对象。以下代码展示了如何从 BCP-47 标记实例化此类识别器。

Kotlin

// Specify the recognition model for a language
var modelIdentifier: DigitalInkRecognitionModelIdentifier
try {
  modelIdentifier = DigitalInkRecognitionModelIdentifier.fromLanguageTag("en-US")
} catch (e: MlKitException) {
  // language tag failed to parse, handle error.
}
if (modelIdentifier == null) {
  // no model was found, handle error.
}
var model: DigitalInkRecognitionModel =
    DigitalInkRecognitionModel.builder(modelIdentifier).build()


// Get a recognizer for the language
var recognizer: DigitalInkRecognizer =
    DigitalInkRecognition.getClient(
        DigitalInkRecognizerOptions.builder(model).build())

Java

// Specify the recognition model for a language
DigitalInkRecognitionModelIdentifier modelIdentifier;
try {
  modelIdentifier =
    DigitalInkRecognitionModelIdentifier.fromLanguageTag("en-US");
} catch (MlKitException e) {
  // language tag failed to parse, handle error.
}
if (modelIdentifier == null) {
  // no model was found, handle error.
}

DigitalInkRecognitionModel model =
    DigitalInkRecognitionModel.builder(modelIdentifier).build();

// Get a recognizer for the language
DigitalInkRecognizer recognizer =
    DigitalInkRecognition.getClient(
        DigitalInkRecognizerOptions.builder(model).build());

处理 `Ink` 对象

Kotlin

recognizer.recognize(ink)
    .addOnSuccessListener { result: RecognitionResult ->
      // `result` contains the recognizer's answers as a RecognitionResult.
      // Logs the text from the top candidate.
      Log.i(TAG, result.candidates[0].text)
    }
    .addOnFailureListener { e: Exception ->
      Log.e(TAG, "Error during recognition: $e")
    }

Java

recognizer.recognize(ink)
    .addOnSuccessListener(
        // `result` contains the recognizer's answers as a RecognitionResult.
        // Logs the text from the top candidate.
        result -> Log.i(TAG, result.getCandidates().get(0).getText()))
    .addOnFailureListener(
        e -> Log.e(TAG, "Error during recognition: " + e));

上述示例代码假定已下载识别模型，如下一部分所述。

管理模型下载

虽然数字手写识别 API 支持数百种语言，但每种语言都需要先下载一些数据，然后才能进行识别。每种语言需要大约 20MB 的存储空间。这由 RemoteModelManager 对象处理。

下载新模型

Kotlin

import com.google.mlkit.common.model.DownloadConditions
import com.google.mlkit.common.model.RemoteModelManager

var model: DigitalInkRecognitionModel =  ...
val remoteModelManager = RemoteModelManager.getInstance()

remoteModelManager.download(model, DownloadConditions.Builder().build())
    .addOnSuccessListener {
      Log.i(TAG, "Model downloaded")
    }
    .addOnFailureListener { e: Exception ->
      Log.e(TAG, "Error while downloading a model: $e")
    }

Java

import com.google.mlkit.common.model.DownloadConditions;
import com.google.mlkit.common.model.RemoteModelManager;

DigitalInkRecognitionModel model = ...;
RemoteModelManager remoteModelManager = RemoteModelManager.getInstance();

remoteModelManager
    .download(model, new DownloadConditions.Builder().build())
    .addOnSuccessListener(aVoid -> Log.i(TAG, "Model downloaded"))
    .addOnFailureListener(
        e -> Log.e(TAG, "Error while downloading a model: " + e));

检查模型是否已下载

Kotlin

var model: DigitalInkRecognitionModel =  ...
remoteModelManager.isModelDownloaded(model)

Java

DigitalInkRecognitionModel model = ...;
remoteModelManager.isModelDownloaded(model);

删除下载的模型

从设备存储空间中移除模型可释放空间。

Kotlin

var model: DigitalInkRecognitionModel =  ...
remoteModelManager.deleteDownloadedModel(model)
    .addOnSuccessListener {
      Log.i(TAG, "Model successfully deleted")
    }
    .addOnFailureListener { e: Exception ->
      Log.e(TAG, "Error while deleting a model: $e")
    }

Java

DigitalInkRecognitionModel model = ...;
remoteModelManager.deleteDownloadedModel(model)
                  .addOnSuccessListener(
                      aVoid -> Log.i(TAG, "Model successfully deleted"))
                  .addOnFailureListener(
                      e -> Log.e(TAG, "Error while deleting a model: " + e));

提高文字识别准确度的提示

文本识别准确性因语言而异。准确性还取决于写作风格。虽然数字手写识别功能经过训练可处理多种手写风格，但结果可能会因用户而异。

以下是提高文本识别器准确性的一些方法。请注意，这些技术不适用于表情符号、AutoDraw 和形状的绘图分类器。

手写区域

许多应用都有明确定义的书写区域，供用户输入内容。符号的含义在一定程度上取决于其相对于包含它的书写区域的大小。例如，小写字母“o”或“c”与大写字母“O”或“C”之间的区别，以及英文逗号与正斜线之间的区别。

告知识别器手写区域的宽度和高度有助于提高准确性。不过，识别器假定手写区域只包含一行文本。如果实际手写区域足够大，可以让用户写两行或更多行，那么您可以传入一个 WritingArea，并将其高度设为您对单行文本高度的最佳估算值，以获得更好的结果。您传递给识别器的 WritingArea 对象不必与屏幕上的实际手写区域完全对应。以这种方式更改 WritingArea 高度在某些语言中比在其他语言中效果更好。

指定书写区域时，请使用与笔触坐标相同的单位指定其宽度和高度。x,y 坐标参数没有单位要求 - API 会对所有单位进行标准化，因此唯一重要的是笔触的相对大小和位置。您可以随意以对您的系统有意义的任何比例传入坐标。

前情境

前文本是指您尝试识别的 Ink 中的笔画前面的文本。您可以通过告知识别器前情境来帮助识别器。

例如，手写体字母“n”和“u”经常会被误认为是同一个字母。如果用户已输入部分字词“arg”，则可能会继续输入可识别为“ument”或“nment”的笔画。指定前情境“arg”可解析歧义，因为“argument”一词比“argnment”更可能。

前文还可以帮助识别程序识别单词间隔符和单词之间的空格。您可以输入空格字符，但无法绘制空格，那么识别器如何确定一个字词的结束和下一个字词的开始？如果用户已写出“hello”，并继续写出“world”，那么在没有前文的情况下，识别器会返回字符串“world”。但是，如果您指定前情境“hello”，模型将返回带有前导空格的字符串“world”，因为“hello world”比“helloword”更有意义。

您应提供尽可能长的上下文前字符串，最多 20 个字符（包括空格）。如果字符串更长，则识别器只会使用最后 20 个字符。

以下代码示例展示了如何定义写入区域，以及如何使用 RecognitionContext 对象指定前情境。

Kotlin

var preContext : String = ...;
var width : Float = ...;
var height : Float = ...;
val recognitionContext : RecognitionContext =
    RecognitionContext.builder()
        .setPreContext(preContext)
        .setWritingArea(WritingArea(width, height))
        .build()

recognizer.recognize(ink, recognitionContext)

Java

String preContext = ...;
float width = ...;
float height = ...;
RecognitionContext recognitionContext =
    RecognitionContext.builder()
                      .setPreContext(preContext)
                      .setWritingArea(new WritingArea(width, height))
                      .build();

recognizer.recognize(ink, recognitionContext);

笔画排序

识别准确性对笔画顺序非常敏感。识别器希望笔画的顺序与人们自然书写的顺序一致；例如，英文从左到右。任何偏离此模式的情况（例如从最后一个字词开始写英语句子）都会导致结果不准确。

再举一个例子，如果移除 Ink 中间的某个字词并将其替换为其他字词，修改内容可能位于句子中间，但修改内容的笔画位于笔画序列的末尾。在这种情况下，我们建议您将新写的字单独发送给 API，并使用您自己的逻辑将结果与之前的识别结果合并。

处理模糊的形状

在某些情况下，向识别器提供的形状的含义不明确。例如，边缘非常圆润的矩形可以被视为矩形或椭圆形。

在可用的情况下，可以使用识别得分来处理这些不确定的情况。只有形状分类器会提供得分。如果模型非常自信，则首个结果的分数将远远高于第二个结果的分数。如果存在不确定性，前两项结果的得分将会接近。此外，请注意，形状分类器会将整个 Ink 解读为单个形状。例如，如果 Ink 包含彼此相邻的矩形和椭圆形，则识别器可能会返回其中一个（或完全不同的东西），因为单个识别候选项无法代表两个形状。

在 Android 应用中利用机器学习套件识别数字手写内容

试试看

准备工作

构建 Ink 对象

Kotlin

Java

获取 DigitalInkRecognizer 的实例

Kotlin

Java

处理 Ink 对象

Kotlin

Java

管理模型下载

下载新模型

Kotlin

Java

检查模型是否已下载

Kotlin

Java

删除下载的模型

Kotlin

Java

提高文字识别准确度的提示

手写区域

前情境

Kotlin

Java

笔画排序

处理模糊的形状

构建 `Ink` 对象

处理 `Ink` 对象