有了 ML Kit 數位墨水辨識功能，您就能辨識數位表面上以數百種語言寫成的文字，以及分類素描。
馬上試試
- 您可以試用範例應用程式，查看這個 API 的使用範例。
事前準備
- 在專案層級的
build.gradle檔案中，請務必在buildscript和allprojects區段中納入 Google 的 Maven 存放區。 - 將 ML Kit Android 程式庫的依附元件新增至模組的應用程式層級的 Gradle 檔案，通常為
app/build.gradle：
dependencies {
// ...
implementation 'com.google.mlkit:digital-ink-recognition:18.1.0'
}
您現在可以開始辨識 Ink 物件中的文字。
建立 Ink 物件
建構 Ink 物件的主要方式是在觸控螢幕上繪製。在 Android 中，您可以使用 Canvas 達成此目的。觸控事件處理常式應呼叫下列程式碼片段顯示的 addNewTouchEvent() 方法，儲存使用者繪製到 Ink 物件的筆劃中的點。
下列程式碼片段示範這種一般模式。如需更完整的範例，請參閱 ML Kit 快速入門導覽課程範例。
Kotlin
var inkBuilder = Ink.builder()
lateinit var strokeBuilder: Ink.Stroke.Builder
// Call this each time there is a new event.
fun addNewTouchEvent(event: MotionEvent) {
val action = event.actionMasked
val x = event.x
val y = event.y
var t = System.currentTimeMillis()
// If your setup does not provide timing information, you can omit the
// third paramater (t) in the calls to Ink.Point.create
when (action) {
MotionEvent.ACTION_DOWN -> {
strokeBuilder = Ink.Stroke.builder()
strokeBuilder.addPoint(Ink.Point.create(x, y, t))
}
MotionEvent.ACTION_MOVE -> strokeBuilder!!.addPoint(Ink.Point.create(x, y, t))
MotionEvent.ACTION_UP -> {
strokeBuilder.addPoint(Ink.Point.create(x, y, t))
inkBuilder.addStroke(strokeBuilder.build())
}
else -> {
// Action not relevant for ink construction
}
}
}
...
// This is what to send to the recognizer.
val ink = inkBuilder.build()
Java
Ink.Builder inkBuilder = Ink.builder();
Ink.Stroke.Builder strokeBuilder;
// Call this each time there is a new event.
public void addNewTouchEvent(MotionEvent event) {
float x = event.getX();
float y = event.getY();
long t = System.currentTimeMillis();
// If your setup does not provide timing information, you can omit the
// third paramater (t) in the calls to Ink.Point.create
int action = event.getActionMasked();
switch (action) {
case MotionEvent.ACTION_DOWN:
strokeBuilder = Ink.Stroke.builder();
strokeBuilder.addPoint(Ink.Point.create(x, y, t));
break;
case MotionEvent.ACTION_MOVE:
strokeBuilder.addPoint(Ink.Point.create(x, y, t));
break;
case MotionEvent.ACTION_UP:
strokeBuilder.addPoint(Ink.Point.create(x, y, t));
inkBuilder.addStroke(strokeBuilder.build());
strokeBuilder = null;
break;
}
}
...
// This is what to send to the recognizer.
Ink ink = inkBuilder.build();
取得 DigitalInkRecognizer 的執行個體
如要執行辨識作業，請將 Ink 例項傳送至 DigitalInkRecognizer 物件。以下程式碼示範如何從 BCP-47 標記將這類可辨識工具執行個體化。
Kotlin
// Specify the recognition model for a language
var modelIdentifier: DigitalInkRecognitionModelIdentifier
try {
modelIdentifier = DigitalInkRecognitionModelIdentifier.fromLanguageTag("en-US")
} catch (e: MlKitException) {
// language tag failed to parse, handle error.
}
if (modelIdentifier == null) {
// no model was found, handle error.
}
var model: DigitalInkRecognitionModel =
DigitalInkRecognitionModel.builder(modelIdentifier).build()
// Get a recognizer for the language
var recognizer: DigitalInkRecognizer =
DigitalInkRecognition.getClient(
DigitalInkRecognizerOptions.builder(model).build())
Java
// Specify the recognition model for a language
DigitalInkRecognitionModelIdentifier modelIdentifier;
try {
modelIdentifier =
DigitalInkRecognitionModelIdentifier.fromLanguageTag("en-US");
} catch (MlKitException e) {
// language tag failed to parse, handle error.
}
if (modelIdentifier == null) {
// no model was found, handle error.
}
DigitalInkRecognitionModel model =
DigitalInkRecognitionModel.builder(modelIdentifier).build();
// Get a recognizer for the language
DigitalInkRecognizer recognizer =
DigitalInkRecognition.getClient(
DigitalInkRecognizerOptions.builder(model).build());
處理 Ink 物件
Kotlin
recognizer.recognize(ink)
.addOnSuccessListener { result: RecognitionResult ->
// `result` contains the recognizer's answers as a RecognitionResult.
// Logs the text from the top candidate.
Log.i(TAG, result.candidates[0].text)
}
.addOnFailureListener { e: Exception ->
Log.e(TAG, "Error during recognition: $e")
}
Java
recognizer.recognize(ink)
.addOnSuccessListener(
// `result` contains the recognizer's answers as a RecognitionResult.
// Logs the text from the top candidate.
result -> Log.i(TAG, result.getCandidates().get(0).getText()))
.addOnFailureListener(
e -> Log.e(TAG, "Error during recognition: " + e));
上述程式碼範例假設已下載辨識模型，如下一節所述。
管理模型下載作業
雖然數位墨水辨識 API 支援數百種語言，但每種語言都需要先下載一些資料才能辨識。每種語言需要大約 20 MB 的儲存空間。這個操作是由 RemoteModelManager 物件處理。
下載新模型
Kotlin
import com.google.mlkit.common.model.DownloadConditions
import com.google.mlkit.common.model.RemoteModelManager
var model: DigitalInkRecognitionModel = ...
val remoteModelManager = RemoteModelManager.getInstance()
remoteModelManager.download(model, DownloadConditions.Builder().build())
.addOnSuccessListener {
Log.i(TAG, "Model downloaded")
}
.addOnFailureListener { e: Exception ->
Log.e(TAG, "Error while downloading a model: $e")
}
Java
import com.google.mlkit.common.model.DownloadConditions;
import com.google.mlkit.common.model.RemoteModelManager;
DigitalInkRecognitionModel model = ...;
RemoteModelManager remoteModelManager = RemoteModelManager.getInstance();
remoteModelManager
.download(model, new DownloadConditions.Builder().build())
.addOnSuccessListener(aVoid -> Log.i(TAG, "Model downloaded"))
.addOnFailureListener(
e -> Log.e(TAG, "Error while downloading a model: " + e));
檢查是否已下載模型
Kotlin
var model: DigitalInkRecognitionModel = ... remoteModelManager.isModelDownloaded(model)
Java
DigitalInkRecognitionModel model = ...; remoteModelManager.isModelDownloaded(model);
刪除已下載的模型
從裝置儲存空間中移除模型可釋出空間。
Kotlin
var model: DigitalInkRecognitionModel = ...
remoteModelManager.deleteDownloadedModel(model)
.addOnSuccessListener {
Log.i(TAG, "Model successfully deleted")
}
.addOnFailureListener { e: Exception ->
Log.e(TAG, "Error while deleting a model: $e")
}
Java
DigitalInkRecognitionModel model = ...;
remoteModelManager.deleteDownloadedModel(model)
.addOnSuccessListener(
aVoid -> Log.i(TAG, "Model successfully deleted"))
.addOnFailureListener(
e -> Log.e(TAG, "Error while deleting a model: " + e));
提高文字辨識準確度的訣竅
文字辨識的準確度可能因語言而異。準確性也取決於寫作風格雖然數位墨水辨識經過訓練，能夠處理多種書寫風格，但結果可能會因使用者而異。
你可以透過以下幾種方式提高文字辨識工具的準確度。請注意，這些技巧並不適用於表情符號、自動繪圖和形狀的繪圖分類器。
寫作領域
許多應用程式都有明確定義的使用者輸入內容寫入區域。符號的意義有部分取決於其大小，相對於包含該符號的書寫區域大小。例如小寫或大寫英文字母「o」或「c」，以及逗號和正斜線之間的差。
告知辨識器能改善書寫區域的寬度和高度。不過，辨識工具會假設寫入區域只包含一行文字。如果實體寫入區域的範圍夠大，可讓使用者寫入兩行或更多行，則只要傳入高度預估的單行文字高度的 WriteArea，可能會獲得更好的結果。您傳遞至辨識工具的 WriteArea 物件不必與畫面上的實體寫入區域完全相符。在部分語言中，以這種方式變更 WriteArea 高度的效果較佳。
指定書寫區域時，請使用與筆劃座標相同的單位指定寬度和高度。x,y 座標引數沒有單位要求；API 會將所有單位正規化，因此唯一重要的是，筆劃的相對大小和位置。您可以隨意傳入座標，設定適合您的系統規模。
預先背景資訊
前後脈絡是指您要識別的 Ink 中筆劃前方的文字。您可以提供預先背景資訊，協助辨識工具。
舉例來說，草寫字母「n」和「u」往往是錯的。如果使用者已輸入部分字詞「arg」，可能會以系統辨識為「ument」或「nment」的筆劃繼續。指定預先結構定義「arg」可解決模稜兩可的情況，因為「引數」這個字詞可能比「引數」的可能性較高。
預先背景資訊也可協助辨識器辨識分行符號 (字詞之間的空格)。您可以輸入空格字元，但無法繪製一個字元。那麼，辨識器要如何判斷當一個字詞何時結束和下一個字的開始？如果使用者已經寫入「hello」並繼續輸入「world」，在沒有預先背景資訊的情況下，辨識器會傳回「world」字串。但是，如果您指定預先上下文「hello」，模型會傳回「 world」字串並加上前置空格，這是因為「helloworld」比「helloword」更為合理。
您應提供最長的預先背景資訊字串，最多 20 個半形字元 (包括空格)。如果字串較長，辨識器只會使用最後 20 個字元。
以下程式碼範例說明如何定義寫入區域，並使用 RecognitionContext 物件指定預先背景資訊。
Kotlin
var preContext : String = ...;
var width : Float = ...;
var height : Float = ...;
val recognitionContext : RecognitionContext =
RecognitionContext.builder()
.setPreContext(preContext)
.setWritingArea(WritingArea(width, height))
.build()
recognizer.recognize(ink, recognitionContext)
Java
String preContext = ...;
float width = ...;
float height = ...;
RecognitionContext recognitionContext =
RecognitionContext.builder()
.setPreContext(preContext)
.setWritingArea(new WritingArea(width, height))
.build();
recognizer.recognize(ink, recognitionContext);
筆劃排序
辨識準確度會受到筆觸順序影響。辨識器會預期筆劃依照使用者自然書寫的順序發生，例如以由左至右表示英文。任何從這個模式出發的案例 (例如，從最後一個字詞開始寫英文句子)，都會產生較不準確的結果。
另一個例子是，移除 Ink 中間的字詞，並替換為另一個字詞。修訂版本可能位於句子中間，但修訂版本的筆劃位於筆劃序列的結尾。在這種情況下，我們建議您將新寫入的字詞單獨傳送至 API，並使用您自己的邏輯將結果與先前的辨識合併。
處理模稜兩可的形狀
在某些情況下，提供給辨識工具的形狀意義不明確。舉例來說，極圓邊緣的矩形可以視為矩形或橢圓形。
處理這類不清楚的情況時，可以在有辨識分數時使用。只有形狀分類器才會提供分數。如果模型非常有信心，最佳結果的分數會遠優於第二個最佳成績。如果不確定，前兩項結果的分數將會接近。另請注意，形狀分類器會將整個 Ink 解讀為單一形狀。舉例來說，如果 Ink 包含一個矩形，而彼此相鄰的刪節號彼此相鄰，則辨識器可能會傳回另一個 (或完全不同的) 做為結果，因為單一辨識候選字詞無法代表兩個形狀。