借助机器学习套件的数字手写识别功能，您可以识别在数字表面上以数百种语言手写的文字，并对草图进行分类。
试试看
- 请玩转示例应用，查看此 API 的示例用法。
准备工作
- 请务必在您的项目级
build.gradle文件中的buildscript和allprojects部分添加 Google 的 Maven 制品库。 - 将 Android 版机器学习套件库的依赖项添加到模块的应用级 Gradle 文件（通常为
app/build.gradle）：
dependencies {
// ...
implementation 'com.google.mlkit:digital-ink-recognition:18.1.0'
}
现在，您可以开始识别 Ink 对象中的文本了。
构建 Ink 对象
构建 Ink 对象的主要方法是在触摸屏上绘制该对象。在 Android 中，您可以使用画布来实现此目的。您的触摸事件处理脚本应调用以下代码段中所示的 addNewTouchEvent() 方法，以存储用户在 Ink 对象中绘制的笔触中的点。
以下代码段演示了这种常规模式。如需查看更完整的示例，请参阅机器学习套件快速入门示例。
Kotlin
var inkBuilder = Ink.builder()
lateinit var strokeBuilder: Ink.Stroke.Builder
// Call this each time there is a new event.
fun addNewTouchEvent(event: MotionEvent) {
val action = event.actionMasked
val x = event.x
val y = event.y
var t = System.currentTimeMillis()
// If your setup does not provide timing information, you can omit the
// third paramater (t) in the calls to Ink.Point.create
when (action) {
MotionEvent.ACTION_DOWN -> {
strokeBuilder = Ink.Stroke.builder()
strokeBuilder.addPoint(Ink.Point.create(x, y, t))
}
MotionEvent.ACTION_MOVE -> strokeBuilder!!.addPoint(Ink.Point.create(x, y, t))
MotionEvent.ACTION_UP -> {
strokeBuilder.addPoint(Ink.Point.create(x, y, t))
inkBuilder.addStroke(strokeBuilder.build())
}
else -> {
// Action not relevant for ink construction
}
}
}
...
// This is what to send to the recognizer.
val ink = inkBuilder.build()
Java
Ink.Builder inkBuilder = Ink.builder();
Ink.Stroke.Builder strokeBuilder;
// Call this each time there is a new event.
public void addNewTouchEvent(MotionEvent event) {
float x = event.getX();
float y = event.getY();
long t = System.currentTimeMillis();
// If your setup does not provide timing information, you can omit the
// third paramater (t) in the calls to Ink.Point.create
int action = event.getActionMasked();
switch (action) {
case MotionEvent.ACTION_DOWN:
strokeBuilder = Ink.Stroke.builder();
strokeBuilder.addPoint(Ink.Point.create(x, y, t));
break;
case MotionEvent.ACTION_MOVE:
strokeBuilder.addPoint(Ink.Point.create(x, y, t));
break;
case MotionEvent.ACTION_UP:
strokeBuilder.addPoint(Ink.Point.create(x, y, t));
inkBuilder.addStroke(strokeBuilder.build());
strokeBuilder = null;
break;
}
}
...
// This is what to send to the recognizer.
Ink ink = inkBuilder.build();
获取 DigitalInkRecognizer 的实例
如需执行识别，请将 Ink 实例发送到 DigitalInkRecognizer 对象。以下代码展示了如何通过 BCP-47 标记实例化此类识别器。
Kotlin
// Specify the recognition model for a language
var modelIdentifier: DigitalInkRecognitionModelIdentifier
try {
modelIdentifier = DigitalInkRecognitionModelIdentifier.fromLanguageTag("en-US")
} catch (e: MlKitException) {
// language tag failed to parse, handle error.
}
if (modelIdentifier == null) {
// no model was found, handle error.
}
var model: DigitalInkRecognitionModel =
DigitalInkRecognitionModel.builder(modelIdentifier).build()
// Get a recognizer for the language
var recognizer: DigitalInkRecognizer =
DigitalInkRecognition.getClient(
DigitalInkRecognizerOptions.builder(model).build())
Java
// Specify the recognition model for a language
DigitalInkRecognitionModelIdentifier modelIdentifier;
try {
modelIdentifier =
DigitalInkRecognitionModelIdentifier.fromLanguageTag("en-US");
} catch (MlKitException e) {
// language tag failed to parse, handle error.
}
if (modelIdentifier == null) {
// no model was found, handle error.
}
DigitalInkRecognitionModel model =
DigitalInkRecognitionModel.builder(modelIdentifier).build();
// Get a recognizer for the language
DigitalInkRecognizer recognizer =
DigitalInkRecognition.getClient(
DigitalInkRecognizerOptions.builder(model).build());
处理 Ink 对象
Kotlin
recognizer.recognize(ink)
.addOnSuccessListener { result: RecognitionResult ->
// `result` contains the recognizer's answers as a RecognitionResult.
// Logs the text from the top candidate.
Log.i(TAG, result.candidates[0].text)
}
.addOnFailureListener { e: Exception ->
Log.e(TAG, "Error during recognition: $e")
}
Java
recognizer.recognize(ink)
.addOnSuccessListener(
// `result` contains the recognizer's answers as a RecognitionResult.
// Logs the text from the top candidate.
result -> Log.i(TAG, result.getCandidates().get(0).getText()))
.addOnFailureListener(
e -> Log.e(TAG, "Error during recognition: " + e));
上面的示例代码假定识别模型已经下载，如下一部分所述。
管理模型下载
虽然数字手写识别 API 支持数百种语言，但每种语言都需要下载一些数据才能识别。每种语言大约需要 20MB 的存储空间。这由 RemoteModelManager 对象处理。
下载新模型
Kotlin
import com.google.mlkit.common.model.DownloadConditions
import com.google.mlkit.common.model.RemoteModelManager
var model: DigitalInkRecognitionModel = ...
val remoteModelManager = RemoteModelManager.getInstance()
remoteModelManager.download(model, DownloadConditions.Builder().build())
.addOnSuccessListener {
Log.i(TAG, "Model downloaded")
}
.addOnFailureListener { e: Exception ->
Log.e(TAG, "Error while downloading a model: $e")
}
Java
import com.google.mlkit.common.model.DownloadConditions;
import com.google.mlkit.common.model.RemoteModelManager;
DigitalInkRecognitionModel model = ...;
RemoteModelManager remoteModelManager = RemoteModelManager.getInstance();
remoteModelManager
.download(model, new DownloadConditions.Builder().build())
.addOnSuccessListener(aVoid -> Log.i(TAG, "Model downloaded"))
.addOnFailureListener(
e -> Log.e(TAG, "Error while downloading a model: " + e));
检查模型是否已经下载
Kotlin
var model: DigitalInkRecognitionModel = ... remoteModelManager.isModelDownloaded(model)
Java
DigitalInkRecognitionModel model = ...; remoteModelManager.isModelDownloaded(model);
删除已下载的模型
从设备的存储空间中移除模型可以释放空间。
Kotlin
var model: DigitalInkRecognitionModel = ...
remoteModelManager.deleteDownloadedModel(model)
.addOnSuccessListener {
Log.i(TAG, "Model successfully deleted")
}
.addOnFailureListener { e: Exception ->
Log.e(TAG, "Error while deleting a model: $e")
}
Java
DigitalInkRecognitionModel model = ...;
remoteModelManager.deleteDownloadedModel(model)
.addOnSuccessListener(
aVoid -> Log.i(TAG, "Model successfully deleted"))
.addOnFailureListener(
e -> Log.e(TAG, "Error while deleting a model: " + e));
提高文字识别准确性的技巧
文本识别的准确性可能因语言而异。准确性还取决于书写风格虽然数字墨水识别经过训练后可以处理多种书写风格，但结果可能会因用户而异。
以下是一些可以提高文本识别器准确性的方法。请注意，这些方法不适用于表情符号、自动绘制和形状的绘制分类器。
书写区域
许多应用都有明确定义的写入区域，供用户输入。符号的含义部分取决于符号的大小（相对于包含该符号的书写区域的大小）。例如，小写或大写字母“o”或“c”以及英文逗号与正斜杠之间的区别。
让识别器知道书写区域的宽度和高度可以提高准确性。但是，识别器会假设书写区域仅包含一行文本。如果实际书写区域足够大，允许用户书写两行或更多行，那么您可以通过传入一个 writingArea，其中的高度是对单行文本高度的最佳估算值，这样可以获得更好的结果。您传递给识别器的 WritingArea 对象不必与屏幕上的实际书写区域完全一致。以这种方式更改 WritingArea 高度在某些语言中效果要好于其他语言。
指定书写区域时，请指定其宽度和高度（采用与描边坐标相同的单位）。x,y 坐标参数没有单位要求 - API 会对所有单位进行标准化，因此唯一重要的是描边的相对大小和位置。您可以随意传递对您的系统有意义的任何比例的坐标。
预先提供上下文
预上下文是指您尝试识别的 Ink 中笔画前面的文本。您可以通过告知识别器预先上下文来帮助识别器。
例如，书写字母“n”和“u”经常被混淆。如果用户已输入部分单词“arg”，他们可能会继续以可被识别为“ument”或“nment”的笔画。指定预上下文“arg”可解决不明确的问题，因为“argument”一词可能比“argnment”。
预上下文还有助于识别器识别断字，即字词之间的空格。您可以输入空格字符，但无法绘制空格字符，那么识别器如何确定一个字词何时结束，下一个字词何时开始？如果用户已经输入了“hello”，然后继续输入单词“world”，在没有预先上下文的情况下，识别器会返回字符串“world”。但是，如果您指定预先上下文“hello”，模型将返回字符串“world”和前导空格，因为“hello world”比“helloword”更有意义。
您应该提供尽可能长的预上下文字符串，最多为 20 个字符，包括空格。如果字符串更长，则识别器仅使用最后 20 个字符。
以下代码示例展示了如何定义书写区域并使用 RecognitionContext 对象指定预上下文。
Kotlin
var preContext : String = ...;
var width : Float = ...;
var height : Float = ...;
val recognitionContext : RecognitionContext =
RecognitionContext.builder()
.setPreContext(preContext)
.setWritingArea(WritingArea(width, height))
.build()
recognizer.recognize(ink, recognitionContext)
Java
String preContext = ...;
float width = ...;
float height = ...;
RecognitionContext recognitionContext =
RecognitionContext.builder()
.setPreContext(preContext)
.setWritingArea(new WritingArea(width, height))
.build();
recognizer.recognize(ink, recognitionContext);
描边排序
识别准确度受笔画顺序的影响。识别器会预期笔画按照人们自然书写的顺序出现；例如，对于英语，书写顺序从左到右。任何偏离此模式的大小写（例如以最后一个单词开始的英文句子）都会导致结果不太准确。
另一个示例是，移除 Ink 中间的某个单词并将其替换为其他单词。修订可能在句子的中间，但修订的笔画在笔画序列的结尾。在这种情况下，我们建议将新写好的单词单独发送到 API，并使用您自己的逻辑将结果与之前的识别合并起来。
处理不明确的形状
在某些情况下，提供给识别器的形状的含义不明确。例如，边缘非常圆的矩形可以看作是矩形或椭圆形。
对于这些模糊不清的情况，可以使用识别分数（如果有）来处理。只有形状分类器提供分数。如果模型的置信度非常高，则得分最高的结果的得分会比次优结果高得多。如果不确定性，前两个结果的分数将非常接近。另请注意，形状分类器会将整个 Ink 解读为单个形状。例如，如果 Ink 包含彼此相邻的矩形和椭圆形，则识别器可能会返回二者之一（或完全不同的内容），因为一个识别候选网络不能表示两种形状。