您可以使用 ML Kit 辨識圖片或影片中的文字，例如路標文字。這項功能的主要特性如下：
| 功能 | 未組合 | 套裝組合 |
|---|---|---|
| 程式庫名稱 | com.google.android.gms:play-services-mlkit-text-recognition
com.google.android.gms:play-services-mlkit-text-recognition-chinese com.google.android.gms:play-services-mlkit-text-recognition-devanagari com.google.android.gms:play-services-mlkit-text-recognition-japanese com.google.android.gms:play-services-mlkit-text-recognition-korean |
com.google.mlkit:text-recognition
com.google.mlkit:text-recognition-chinese com.google.mlkit:text-recognition-devanagari com.google.mlkit:text-recognition-japanese com.google.mlkit:text-recognition-korean |
| 實作 | 系統會透過 Google Play 服務動態下載模型。 | 模型會在建構期間以靜態方式連結至應用程式。 |
| 應用程式大小 | 每個指令碼架構約增加 260 KB。 | 每個架構的每個指令碼約增加 4 MB。 |
| 初始化時間 | 可能要等到模型下載完畢再開始使用。 | 模型可立即使用。 |
| 效能 | 多數裝置都能即時支援拉丁語系的指令碼庫，其他裝置的使用者則較慢。 | 多數裝置都能即時支援拉丁語系的指令碼庫，其他裝置的使用者則較慢。 |
馬上試試
事前準備
- 在專案層級的
build.gradle檔案中，請務必在buildscript和allprojects區段中納入 Google 的 Maven 存放區。 將 ML Kit Android 程式庫的依附元件新增至模組的應用程式層級的 Gradle 檔案，通常為
app/build.gradle：將模型與應用程式搭配使用：
dependencies { // To recognize Latin script implementation 'com.google.mlkit:text-recognition:16.0.0' // To recognize Chinese script implementation 'com.google.mlkit:text-recognition-chinese:16.0.0' // To recognize Devanagari script implementation 'com.google.mlkit:text-recognition-devanagari:16.0.0' // To recognize Japanese script implementation 'com.google.mlkit:text-recognition-japanese:16.0.0' // To recognize Korean script implementation 'com.google.mlkit:text-recognition-korean:16.0.0' }在 Google Play 服務中使用模型的步驟如下：
dependencies { // To recognize Latin script implementation 'com.google.android.gms:play-services-mlkit-text-recognition:19.0.0' // To recognize Chinese script implementation 'com.google.android.gms:play-services-mlkit-text-recognition-chinese:16.0.0' // To recognize Devanagari script implementation 'com.google.android.gms:play-services-mlkit-text-recognition-devanagari:16.0.0' // To recognize Japanese script implementation 'com.google.android.gms:play-services-mlkit-text-recognition-japanese:16.0.0' // To recognize Korean script implementation 'com.google.android.gms:play-services-mlkit-text-recognition-korean:16.0.0' }如果您選擇在 Google Play 服務中使用該模型，可以設定讓應用程式在從 Play 商店安裝應用程式後，自動將模型下載至裝置。如要這麼做，請在應用程式的
AndroidManifest.xml檔案中新增以下宣告：<application ...> ... <meta-data android:name="com.google.mlkit.vision.DEPENDENCIES" android:value="ocr" > <!-- To use multiple models: android:value="ocr,ocr_chinese,ocr_devanagari,ocr_japanese,ocr_korean,..." --> </application>您也可以明確檢查模型可用性，並透過 Google Play 服務 ModuleInstallClient API 要求下載。如果您未啟用安裝期間模型下載功能，或要求明確下載，系統會在首次執行掃描器時下載模型。您在下載完成前提出的要求不會產生任何結果。
1. 建立「TextRecognizer」的執行個體
建立 TextRecognizer 的執行個體，並傳遞您在上方宣告依附元件的程式庫相關選項：
Kotlin
// When using Latin script library val recognizer = TextRecognition.getClient(TextRecognizerOptions.DEFAULT_OPTIONS) // When using Chinese script library val recognizer = TextRecognition.getClient(ChineseTextRecognizerOptions.Builder().build()) // When using Devanagari script library val recognizer = TextRecognition.getClient(DevanagariTextRecognizerOptions.Builder().build()) // When using Japanese script library val recognizer = TextRecognition.getClient(JapaneseTextRecognizerOptions.Builder().build()) // When using Korean script library val recognizer = TextRecognition.getClient(KoreanTextRecognizerOptions.Builder().build())
Java
// When using Latin script library TextRecognizer recognizer = TextRecognition.getClient(TextRecognizerOptions.DEFAULT_OPTIONS); // When using Chinese script library TextRecognizer recognizer = TextRecognition.getClient(new ChineseTextRecognizerOptions.Builder().build()); // When using Devanagari script library TextRecognizer recognizer = TextRecognition.getClient(new DevanagariTextRecognizerOptions.Builder().build()); // When using Japanese script library TextRecognizer recognizer = TextRecognition.getClient(new JapaneseTextRecognizerOptions.Builder().build()); // When using Korean script library TextRecognizer recognizer = TextRecognition.getClient(new KoreanTextRecognizerOptions.Builder().build());
2. 準備輸入圖片
如要辨識圖片中的文字，請透過 Bitmap、media.Image、ByteBuffer、位元組陣列或裝置上的檔案建立 InputImage 物件。接著，將 InputImage 物件傳遞至 TextRecognizer 的 processImage 方法。
您可以從不同來源建立 InputImage 物件，詳情請見下文。
使用 media.Image
如要從 media.Image 物件建立 InputImage 物件 (例如使用裝置相機拍照時)，請將 media.Image 物件以及圖片的旋轉角度傳遞至 InputImage.fromMediaImage()。
如果使用
CameraX 程式庫，OnImageCapturedListener 和 ImageAnalysis.Analyzer 類別會為您計算旋轉值。
Kotlin
private class YourImageAnalyzer : ImageAnalysis.Analyzer {
override fun analyze(imageProxy: ImageProxy) {
val mediaImage = imageProxy.image
if (mediaImage != null) {
val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees)
// Pass image to an ML Kit Vision API
// ...
}
}
}
Java
private class YourAnalyzer implements ImageAnalysis.Analyzer {
@Override
public void analyze(ImageProxy imageProxy) {
Image mediaImage = imageProxy.getImage();
if (mediaImage != null) {
InputImage image =
InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees());
// Pass image to an ML Kit Vision API
// ...
}
}
}
如果您未使用相機程式庫提供圖像的旋轉角度，可以將裝置旋轉角度和裝置相機感應器方向做為計算依據：
Kotlin
private val ORIENTATIONS = SparseIntArray()
init {
ORIENTATIONS.append(Surface.ROTATION_0, 0)
ORIENTATIONS.append(Surface.ROTATION_90, 90)
ORIENTATIONS.append(Surface.ROTATION_180, 180)
ORIENTATIONS.append(Surface.ROTATION_270, 270)
}
/**
* Get the angle by which an image must be rotated given the device's current
* orientation.
*/
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int {
// Get the device's current rotation relative to its "native" orientation.
// Then, from the ORIENTATIONS table, look up the angle the image must be
// rotated to compensate for the device's rotation.
val deviceRotation = activity.windowManager.defaultDisplay.rotation
var rotationCompensation = ORIENTATIONS.get(deviceRotation)
// Get the device's sensor orientation.
val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager
val sensorOrientation = cameraManager
.getCameraCharacteristics(cameraId)
.get(CameraCharacteristics.SENSOR_ORIENTATION)!!
if (isFrontFacing) {
rotationCompensation = (sensorOrientation + rotationCompensation) % 360
} else { // back-facing
rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360
}
return rotationCompensation
}
Java
private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
ORIENTATIONS.append(Surface.ROTATION_0, 0);
ORIENTATIONS.append(Surface.ROTATION_90, 90);
ORIENTATIONS.append(Surface.ROTATION_180, 180);
ORIENTATIONS.append(Surface.ROTATION_270, 270);
}
/**
* Get the angle by which an image must be rotated given the device's current
* orientation.
*/
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing)
throws CameraAccessException {
// Get the device's current rotation relative to its "native" orientation.
// Then, from the ORIENTATIONS table, look up the angle the image must be
// rotated to compensate for the device's rotation.
int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
int rotationCompensation = ORIENTATIONS.get(deviceRotation);
// Get the device's sensor orientation.
CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE);
int sensorOrientation = cameraManager
.getCameraCharacteristics(cameraId)
.get(CameraCharacteristics.SENSOR_ORIENTATION);
if (isFrontFacing) {
rotationCompensation = (sensorOrientation + rotationCompensation) % 360;
} else { // back-facing
rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360;
}
return rotationCompensation;
}
然後，將 media.Image 物件和旋轉角度值傳遞至 InputImage.fromMediaImage()：
Kotlin
val image = InputImage.fromMediaImage(mediaImage, rotation)
Java
InputImage image = InputImage.fromMediaImage(mediaImage, rotation);
使用檔案 URI
如要從檔案 URI 建立 InputImage 物件，請將應用程式結構定義和檔案 URI 傳遞至 InputImage.fromFilePath()。使用 ACTION_GET_CONTENT 意圖提示使用者從圖片庫應用程式中選取圖片時，這項功能就很實用。
Kotlin
val image: InputImage
try {
image = InputImage.fromFilePath(context, uri)
} catch (e: IOException) {
e.printStackTrace()
}
Java
InputImage image;
try {
image = InputImage.fromFilePath(context, uri);
} catch (IOException e) {
e.printStackTrace();
}
使用 ByteBuffer 或 ByteArray
如要從 ByteBuffer 或 ByteArray 建立 InputImage 物件，請先按照之前的 media.Image 輸入內容計算圖片旋轉角度。接著，使用緩衝區或陣列建立 InputImage 物件，以及圖片的高度、寬度、顏色編碼格式和旋轉角度：
Kotlin
val image = InputImage.fromByteBuffer(
byteBuffer,
/* image width */ 480,
/* image height */ 360,
rotationDegrees,
InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
// Or:
val image = InputImage.fromByteArray(
byteArray,
/* image width */ 480,
/* image height */ 360,
rotationDegrees,
InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
Java
InputImage image = InputImage.fromByteBuffer(byteBuffer,
/* image width */ 480,
/* image height */ 360,
rotationDegrees,
InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);
// Or:
InputImage image = InputImage.fromByteArray(
byteArray,
/* image width */480,
/* image height */360,
rotation,
InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);
使用 Bitmap
如要從 Bitmap 物件建立 InputImage 物件，請宣告下列宣告：
Kotlin
val image = InputImage.fromBitmap(bitmap, 0)
Java
InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);
圖像以 Bitmap 物件和旋轉角度表示。
3. 處理圖片
將圖片傳遞至 process 方法：
Kotlin
val result = recognizer.process(image)
.addOnSuccessListener { visionText ->
// Task completed successfully
// ...
}
.addOnFailureListener { e ->
// Task failed with an exception
// ...
}
Java
Task<Text> result =
recognizer.process(image)
.addOnSuccessListener(new OnSuccessListener<Text>() {
@Override
public void onSuccess(Text visionText) {
// Task completed successfully
// ...
}
})
.addOnFailureListener(
new OnFailureListener() {
@Override
public void onFailure(@NonNull Exception e) {
// Task failed with an exception
// ...
}
});
4. 從已辨識的文字區塊擷取文字
如果文字辨識作業成功，Text 物件會傳遞到成功事件監聽器。Text 物件包含圖片中可辨識的完整文字，以及零或多個 TextBlock 物件。
每個 TextBlock 都代表矩形文字區塊，其中包含零或多個 Line 物件。每個 Line 物件都代表一行文字，其中包含零或多個 Element 物件。每個 Element 物件都代表一個字詞或類似文字的實體，其中包含零或多個 Symbol 物件。每個 Symbol 物件都代表一個字元、數字或類似文字的實體。
對於每個 TextBlock、Line、Element 和 Symbol 物件，您可以取得在區域中辨識的文字、該地區的邊界座標，以及旋轉資訊、可信度分數等許多其他屬性。
例如：
Kotlin
val resultText = result.text
for (block in result.textBlocks) {
val blockText = block.text
val blockCornerPoints = block.cornerPoints
val blockFrame = block.boundingBox
for (line in block.lines) {
val lineText = line.text
val lineCornerPoints = line.cornerPoints
val lineFrame = line.boundingBox
for (element in line.elements) {
val elementText = element.text
val elementCornerPoints = element.cornerPoints
val elementFrame = element.boundingBox
}
}
}
Java
String resultText = result.getText();
for (Text.TextBlock block : result.getTextBlocks()) {
String blockText = block.getText();
Point[] blockCornerPoints = block.getCornerPoints();
Rect blockFrame = block.getBoundingBox();
for (Text.Line line : block.getLines()) {
String lineText = line.getText();
Point[] lineCornerPoints = line.getCornerPoints();
Rect lineFrame = line.getBoundingBox();
for (Text.Element element : line.getElements()) {
String elementText = element.getText();
Point[] elementCornerPoints = element.getCornerPoints();
Rect elementFrame = element.getBoundingBox();
for (Text.Symbol symbol : element.getSymbols()) {
String symbolText = symbol.getText();
Point[] symbolCornerPoints = symbol.getCornerPoints();
Rect symbolFrame = symbol.getBoundingBox();
}
}
}
}
輸入圖片規範
-
為了讓 ML Kit 準確辨識文字，輸入圖片必須包含以充足的像素資料表示的文字。理想情況下，每個字元至少要有 16 x 16 像素。大於 24 x 24 像素的字元通常無法發揮準確效果。
舉例來說，640x480 的圖片可能適合掃描佔圖片整個寬度的名片，如要掃描印在正大尺寸紙上的文件，可能需要使用 720 x 1280 像素的圖片。
-
圖片焦點不佳可能會影響文字辨識的準確度。如果您仍未取得可接受的結果，請嘗試要求使用者重新拍攝圖片。
-
如果您在即時應用程式中辨識文字，則應考量輸入圖片的整體尺寸。較小的圖片可加快處理速度。如要縮短延遲時間，請確保文字盡可能佔用圖片空間，並以較低的解析度擷取圖片 (請注意上述準確率規定)。詳情請參閱「效能改善提示」。
提升成效的訣竅
- 如果使用
Camera或camera2API，請調節偵測工具的呼叫頻率。如果在偵測工具執行時有新的影片影格，請捨棄影格。如需範例，請參閱快速入門導覽課程範例應用程式中的VisionProcessorBase類別。 - 如果使用
CameraXAPI，請確定背壓策略已設為其預設值ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST。這麼做可保證系統一次只會傳送一張圖片進行分析。如果分析器忙碌時產生更多圖片，系統會自動捨棄這些圖片，不會排入傳送佇列。呼叫 ImageProxy.close() 關閉要分析的圖片後，就會傳送下一個最新的映像檔。 - 如果使用偵測工具的輸出內容在輸入圖片上重疊圖像，請先從 ML Kit 取得結果，然後透過一個步驟算繪圖片和疊加層。在每個輸入影格中，這個操作只會轉譯一次到顯示介面一次。如需範例，請參閱快速入門導覽課程範例應用程式中的
CameraSourcePreview和GraphicOverlay類別。 - 如果你使用 Camera2 API，請擷取
ImageFormat.YUV_420_888格式的圖片。如果您使用舊版 Camera API，請拍攝ImageFormat.NV21格式的圖片。 - 建議以較低的解析度拍攝圖片。不過，也請注意這個 API 的圖片尺寸規定。