คุณใช้ ML Kit เพื่อจดจำข้อความในรูปภาพหรือวิดีโอได้ เช่น ข้อความป้ายจราจร ลักษณะหลักๆ ของฟีเจอร์นี้ ได้แก่
ฟีเจอร์ | ไม่ได้จัดกลุ่ม | รวมกลุ่ม |
---|---|---|
ชื่อห้องสมุด | com.google.android.gms:play-services-mlkit-text-recognition
com.google.android.gms:play-services-mlkit-text-recognition-chinese com.google.android.gms:play-services-mlkit-text-recognition-devanagari com.google.android.gms:play-services-mlkit-text-recognition-japanese com.google.android.gms:play-services-mlkit-text-recognition-korean |
com.google.mlkit:text-recognition
com.google.mlkit:text-recognition-chinese com.google.mlkit:text-recognition-devanagari com.google.mlkit:text-recognition-japanese com.google.mlkit:text-recognition-korean |
การใช้งาน | ระบบจะดาวน์โหลดโมเดลแบบไดนามิกผ่านบริการ Google Play | โมเดลจะลิงก์แบบคงที่กับแอปของคุณ ณ เวลาบิลด์ |
ขนาดแอป | ขนาดเพิ่มขึ้นประมาณ 260 KB ต่อสถาปัตยกรรมสคริปต์ | ขนาดเพิ่มขึ้นประมาณ 4 MB ต่อสคริปต์ต่อสถาปัตยกรรม |
เวลาเริ่มต้น | อาจต้องรอดาวน์โหลดโมเดลก่อนใช้งานครั้งแรก | โมเดลจะพร้อมใช้งานทันที |
การแสดง | แบบเรียลไทม์บนอุปกรณ์ส่วนใหญ่สำหรับไลบรารีสคริปต์ภาษาละติน ซึ่งช้ากว่าสำหรับอุปกรณ์อื่นๆ | แบบเรียลไทม์บนอุปกรณ์ส่วนใหญ่สำหรับไลบรารีสคริปต์ภาษาละติน ซึ่งช้ากว่าสำหรับอุปกรณ์อื่นๆ |
ลองเลย
- ลองใช้แอปตัวอย่างเพื่อดูตัวอย่างการใช้งาน API นี้
- ลองใช้โค้ดด้วยตนเองโดยใช้ Codelab
ก่อนเริ่มต้น
- ในไฟล์
build.gradle
ระดับโปรเจ็กต์ โปรดตรวจสอบว่าได้รวมที่เก็บ Maven ของ Google ไว้ในส่วนbuildscript
และallprojects
แล้ว เพิ่มทรัพยากร Dependency สำหรับไลบรารี Android ของ ML Kit ไปยังไฟล์ Gradle ระดับแอปของโมดูล ซึ่งปกติจะอยู่ที่
app/build.gradle
สำหรับการรวมโมเดลกับแอป ให้ทำดังนี้
dependencies { // To recognize Latin script implementation 'com.google.mlkit:text-recognition:16.0.0' // To recognize Chinese script implementation 'com.google.mlkit:text-recognition-chinese:16.0.0' // To recognize Devanagari script implementation 'com.google.mlkit:text-recognition-devanagari:16.0.0' // To recognize Japanese script implementation 'com.google.mlkit:text-recognition-japanese:16.0.0' // To recognize Korean script implementation 'com.google.mlkit:text-recognition-korean:16.0.0' }
สำหรับการใช้โมเดลในบริการ Google Play
dependencies { // To recognize Latin script implementation 'com.google.android.gms:play-services-mlkit-text-recognition:19.0.0' // To recognize Chinese script implementation 'com.google.android.gms:play-services-mlkit-text-recognition-chinese:16.0.0' // To recognize Devanagari script implementation 'com.google.android.gms:play-services-mlkit-text-recognition-devanagari:16.0.0' // To recognize Japanese script implementation 'com.google.android.gms:play-services-mlkit-text-recognition-japanese:16.0.0' // To recognize Korean script implementation 'com.google.android.gms:play-services-mlkit-text-recognition-korean:16.0.0' }
หากเลือกใช้โมเดลในบริการ Google Play คุณสามารถกำหนดค่าแอปให้ดาวน์โหลดโมเดลลงในอุปกรณ์โดยอัตโนมัติหลังจากที่ติดตั้งแอปจาก Play Store แล้ว ในการดำเนินการดังกล่าว ให้เพิ่มการประกาศต่อไปนี้ลงในไฟล์
AndroidManifest.xml
ของแอป<application ...> ... <meta-data android:name="com.google.mlkit.vision.DEPENDENCIES" android:value="ocr" > <!-- To use multiple models: android:value="ocr,ocr_chinese,ocr_devanagari,ocr_japanese,ocr_korean,..." --> </application>
นอกจากนี้คุณยังตรวจสอบความพร้อมใช้งานของโมเดลอย่างชัดแจ้งและขอดาวน์โหลดผ่านบริการ Google Play ได้ ModuleInstallClient API หากคุณไม่เปิดใช้การดาวน์โหลดโมเดลเวลาติดตั้งหรือขอการดาวน์โหลดอย่างชัดแจ้ง ระบบจะดาวน์โหลดโมเดลในครั้งแรกที่คุณเรียกใช้โปรแกรมสแกน คำขอที่ส่งมาก่อนการดาวน์โหลด ไม่สร้างผลลัพธ์ใดๆ
1. สร้างอินสแตนซ์ของ TextRecognizer
สร้างอินสแตนซ์ TextRecognizer
โดยส่งต่อตัวเลือกที่เกี่ยวข้องกับไลบรารีที่คุณประกาศทรัพยากร Dependency ด้านบน
Kotlin
// When using Latin script library val recognizer = TextRecognition.getClient(TextRecognizerOptions.DEFAULT_OPTIONS) // When using Chinese script library val recognizer = TextRecognition.getClient(ChineseTextRecognizerOptions.Builder().build()) // When using Devanagari script library val recognizer = TextRecognition.getClient(DevanagariTextRecognizerOptions.Builder().build()) // When using Japanese script library val recognizer = TextRecognition.getClient(JapaneseTextRecognizerOptions.Builder().build()) // When using Korean script library val recognizer = TextRecognition.getClient(KoreanTextRecognizerOptions.Builder().build())
Java
// When using Latin script library TextRecognizer recognizer = TextRecognition.getClient(TextRecognizerOptions.DEFAULT_OPTIONS); // When using Chinese script library TextRecognizer recognizer = TextRecognition.getClient(new ChineseTextRecognizerOptions.Builder().build()); // When using Devanagari script library TextRecognizer recognizer = TextRecognition.getClient(new DevanagariTextRecognizerOptions.Builder().build()); // When using Japanese script library TextRecognizer recognizer = TextRecognition.getClient(new JapaneseTextRecognizerOptions.Builder().build()); // When using Korean script library TextRecognizer recognizer = TextRecognition.getClient(new KoreanTextRecognizerOptions.Builder().build());
2. เตรียมรูปภาพอินพุต
หากต้องการจดจำข้อความในรูปภาพ ให้สร้างออบเจ็กต์ InputImage
จาก Bitmap
, media.Image
, ByteBuffer
, ไบต์อาร์เรย์ หรือไฟล์ในอุปกรณ์ จากนั้นส่งออบเจ็กต์ InputImage
ไปยังเมธอด processImage
ของ TextRecognizer
คุณสร้างออบเจ็กต์ InputImage
จากแหล่งที่มาที่ต่างกันได้ โดยออบเจ็กต์แต่ละรายการมีคำอธิบายอยู่ด้านล่าง
กำลังใช้ media.Image
หากต้องการสร้างออบเจ็กต์ InputImage
จากออบเจ็กต์ media.Image
เช่น เมื่อคุณจับภาพจากกล้องของอุปกรณ์ ให้ส่งวัตถุ media.Image
และการหมุนรูปภาพไปยัง InputImage.fromMediaImage()
หากคุณใช้ไลบรารี
CameraX คลาส OnImageCapturedListener
และ ImageAnalysis.Analyzer
จะคำนวณค่าการหมุนเวียนให้คุณ
Kotlin
private class YourImageAnalyzer : ImageAnalysis.Analyzer { override fun analyze(imageProxy: ImageProxy) { val mediaImage = imageProxy.image if (mediaImage != null) { val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees) // Pass image to an ML Kit Vision API // ... } } }
Java
private class YourAnalyzer implements ImageAnalysis.Analyzer { @Override public void analyze(ImageProxy imageProxy) { Image mediaImage = imageProxy.getImage(); if (mediaImage != null) { InputImage image = InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees()); // Pass image to an ML Kit Vision API // ... } } }
หากคุณไม่ได้ใช้คลังภาพกล้องที่ให้องศาการหมุนของรูปภาพ คุณจะคํานวณจากองศาการหมุนของอุปกรณ์และการวางแนวของเซ็นเซอร์กล้องในอุปกรณ์ได้ ดังนี้
Kotlin
private val ORIENTATIONS = SparseIntArray() init { ORIENTATIONS.append(Surface.ROTATION_0, 0) ORIENTATIONS.append(Surface.ROTATION_90, 90) ORIENTATIONS.append(Surface.ROTATION_180, 180) ORIENTATIONS.append(Surface.ROTATION_270, 270) } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) @Throws(CameraAccessException::class) private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. val deviceRotation = activity.windowManager.defaultDisplay.rotation var rotationCompensation = ORIENTATIONS.get(deviceRotation) // Get the device's sensor orientation. val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager val sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION)!! if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360 } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360 } return rotationCompensation }
Java
private static final SparseIntArray ORIENTATIONS = new SparseIntArray(); static { ORIENTATIONS.append(Surface.ROTATION_0, 0); ORIENTATIONS.append(Surface.ROTATION_90, 90); ORIENTATIONS.append(Surface.ROTATION_180, 180); ORIENTATIONS.append(Surface.ROTATION_270, 270); } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing) throws CameraAccessException { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation(); int rotationCompensation = ORIENTATIONS.get(deviceRotation); // Get the device's sensor orientation. CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE); int sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION); if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360; } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360; } return rotationCompensation; }
จากนั้นส่งออบเจ็กต์ media.Image
และค่าองศาการหมุนไปยัง InputImage.fromMediaImage()
Kotlin
val image = InputImage.fromMediaImage(mediaImage, rotation)
Java
InputImage image = InputImage.fromMediaImage(mediaImage, rotation);
การใช้ URI ของไฟล์
หากต้องการสร้างออบเจ็กต์ InputImage
จาก URI ไฟล์ ให้ส่งบริบทของแอปและ URI ของไฟล์ไปยัง InputImage.fromFilePath()
ซึ่งจะเป็นประโยชน์เมื่อคุณใช้ Intent ACTION_GET_CONTENT
เพื่อแจ้งให้ผู้ใช้เลือกรูปภาพจากแอปแกลเลอรี
Kotlin
val image: InputImage try { image = InputImage.fromFilePath(context, uri) } catch (e: IOException) { e.printStackTrace() }
Java
InputImage image; try { image = InputImage.fromFilePath(context, uri); } catch (IOException e) { e.printStackTrace(); }
การใช้ ByteBuffer
หรือ ByteArray
หากต้องการสร้างออบเจ็กต์ InputImage
จาก ByteBuffer
หรือ ByteArray
ก่อนอื่นให้คำนวณระดับการหมุนรูปภาพตามที่อธิบายไว้ก่อนหน้านี้สำหรับอินพุต media.Image
จากนั้นสร้างออบเจ็กต์ InputImage
ที่มีบัฟเฟอร์หรืออาร์เรย์ พร้อมกับความสูง ความกว้าง รูปแบบการเข้ารหัสสี และระดับการหมุนของรูปภาพ ดังนี้
Kotlin
val image = InputImage.fromByteBuffer( byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ) // Or: val image = InputImage.fromByteArray( byteArray, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 )
Java
InputImage image = InputImage.fromByteBuffer(byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ); // Or: InputImage image = InputImage.fromByteArray( byteArray, /* image width */480, /* image height */360, rotation, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 );
กำลังใช้ Bitmap
หากต้องการสร้างออบเจ็กต์ InputImage
จากออบเจ็กต์ Bitmap
ให้ประกาศต่อไปนี้
Kotlin
val image = InputImage.fromBitmap(bitmap, 0)
Java
InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);
รูปภาพจะแสดงด้วยวัตถุ Bitmap
พร้อมกับองศาการหมุน
3. ประมวลผลรูปภาพ
ส่งรูปภาพไปยังเมธอด process
ดังนี้
Kotlin
val result = recognizer.process(image) .addOnSuccessListener { visionText -> // Task completed successfully // ... } .addOnFailureListener { e -> // Task failed with an exception // ... }
Java
Task<Text> result = recognizer.process(image) .addOnSuccessListener(new OnSuccessListener<Text>() { @Override public void onSuccess(Text visionText) { // Task completed successfully // ... } }) .addOnFailureListener( new OnFailureListener() { @Override public void onFailure(@NonNull Exception e) { // Task failed with an exception // ... } });
4. ดึงข้อความจากบล็อกข้อความที่รู้จัก
หากการจดจำข้อความสำเร็จ ระบบจะส่งออบเจ็กต์ Text
ไปยัง Listener ที่สำเร็จ ออบเจ็กต์ Text
มีข้อความแบบเต็มที่จดจำได้ในรูปภาพ และออบเจ็กต์ TextBlock
อย่างน้อย 0 รายการ
TextBlock
แต่ละรายการแสดงถึงบล็อกข้อความสี่เหลี่ยมผืนผ้าที่มีออบเจ็กต์ Line
อย่างน้อย 0 รายการ ออบเจ็กต์ Line
แต่ละรายการแสดงถึงบรรทัดข้อความ ซึ่งมีออบเจ็กต์ Element
ตั้งแต่ 0 รายการขึ้นไป ออบเจ็กต์ Element
แต่ละรายการแสดงถึงคำหรือเอนทิตีที่คล้ายกับคำ ซึ่งมีออบเจ็กต์ Symbol
0 รายการขึ้นไป ออบเจ็กต์ Symbol
แต่ละรายการจะแทนอักขระ ตัวเลข หรือเอนทิตีที่คล้ายกับคำ
สำหรับออบเจ็กต์ TextBlock
, Line
, Element
และ Symbol
แต่ละรายการ คุณสามารถรับข้อความที่รู้จักในภูมิภาค พิกัดขอบเขตของภูมิภาค และแอตทริบิวต์อื่นๆ อีกมากมาย เช่น ข้อมูลการหมุน คะแนนความเชื่อมั่น ฯลฯ
เช่น
Kotlin
val resultText = result.text for (block in result.textBlocks) { val blockText = block.text val blockCornerPoints = block.cornerPoints val blockFrame = block.boundingBox for (line in block.lines) { val lineText = line.text val lineCornerPoints = line.cornerPoints val lineFrame = line.boundingBox for (element in line.elements) { val elementText = element.text val elementCornerPoints = element.cornerPoints val elementFrame = element.boundingBox } } }
Java
String resultText = result.getText(); for (Text.TextBlock block : result.getTextBlocks()) { String blockText = block.getText(); Point[] blockCornerPoints = block.getCornerPoints(); Rect blockFrame = block.getBoundingBox(); for (Text.Line line : block.getLines()) { String lineText = line.getText(); Point[] lineCornerPoints = line.getCornerPoints(); Rect lineFrame = line.getBoundingBox(); for (Text.Element element : line.getElements()) { String elementText = element.getText(); Point[] elementCornerPoints = element.getCornerPoints(); Rect elementFrame = element.getBoundingBox(); for (Text.Symbol symbol : element.getSymbols()) { String symbolText = symbol.getText(); Point[] symbolCornerPoints = symbol.getCornerPoints(); Rect symbolFrame = symbol.getBoundingBox(); } } } }
หลักเกณฑ์เกี่ยวกับรูปภาพอินพุต
-
เพื่อให้ ML Kit จดจำข้อความได้อย่างถูกต้อง รูปภาพที่ป้อนต้องมีข้อความที่แสดงด้วยข้อมูลพิกเซลที่เพียงพอ โดยหลักการแล้ว แต่ละอักขระควรมีขนาดอย่างน้อย 16x16 พิกเซล โดยทั่วไปจะไม่ได้รับประโยชน์ด้านความถูกต้องของอักขระที่มีขนาดใหญ่กว่า 24x24 พิกเซล
ตัวอย่างเช่น รูปภาพขนาด 640x480 อาจเหมาะสำหรับการสแกนนามบัตรที่ใช้เต็มความกว้างของรูปภาพ หากต้องการสแกนเอกสารที่พิมพ์บนกระดาษขนาดตัวอักษร คุณอาจต้องใช้รูปภาพขนาด 720x1280 พิกเซล
-
การโฟกัสรูปภาพต่ำอาจส่งผลต่อความแม่นยำในการจดจำข้อความ หากไม่ได้รับผลลัพธ์ที่ยอมรับได้ ให้ลองขอให้ผู้ใช้ทบทวนรูปภาพอีกครั้ง
-
หากคุณจดจำข้อความในแอปพลิเคชันแบบเรียลไทม์ คุณควรพิจารณาขนาดโดยรวมของรูปภาพอินพุต รูปภาพขนาดเล็กจะประมวลผลได้เร็วขึ้น หากต้องการลดเวลาในการตอบสนอง โปรดตรวจสอบว่าข้อความใช้พื้นที่ในรูปภาพมากที่สุดเท่าที่จะเป็นไปได้ และจับภาพที่ความละเอียดต่ำลง (โปรดคำนึงถึงข้อกำหนดด้านความแม่นยำที่ระบุไว้ข้างต้น) ดูข้อมูลเพิ่มเติมได้ในเคล็ดลับในการปรับปรุงประสิทธิภาพ
เคล็ดลับในการปรับปรุงประสิทธิภาพ
- หากคุณใช้
Camera
หรือcamera2
API ให้ควบคุมการเรียกใช้ตัวตรวจจับ หากมีเฟรมวิดีโอใหม่พร้อมใช้งานขณะที่ตัวตรวจจับกำลังทำงาน ให้วางเฟรมลง ดูตัวอย่างคลาสVisionProcessorBase
ในแอปตัวอย่าง Quickstart - หากคุณใช้
CameraX
API โปรดตรวจสอบว่าได้ตั้งค่ากลยุทธ์ Backpressure เป็นค่าเริ่มต้นImageAnalysis.STRATEGY_KEEP_ONLY_LATEST
แล้ว ซึ่งจะช่วยรับประกันว่าระบบจะส่งรูปภาพเพื่อทำการวิเคราะห์ได้ทีละ 1 ภาพเท่านั้น หากมีการสร้างรูปภาพเพิ่มเติมเมื่อตัววิเคราะห์ไม่ว่าง ระบบจะปล่อยรูปภาพเหล่านั้นโดยอัตโนมัติและไม่เข้าคิวเพื่อนำส่ง เมื่อปิดรูปภาพที่วิเคราะห์แล้วโดยการเรียกใช้ ImageProxy.close() ระบบจะส่งรูปภาพล่าสุดถัดไป - หากใช้เอาต์พุตของตัวตรวจจับเพื่อวางซ้อนกราฟิกบนรูปภาพอินพุต ให้รับผลลัพธ์จาก ML Kit ก่อน จากนั้นจึงแสดงผลรูปภาพและการวางซ้อนในขั้นตอนเดียว ซึ่งจะแสดงบนพื้นผิวจอแสดงผลเพียงครั้งเดียวต่อเฟรมอินพุตแต่ละเฟรม ดูตัวอย่างคลาส
CameraSourcePreview
และGraphicOverlay
ในแอปตัวอย่าง Quickstart - หากคุณใช้ Camera2 API ให้จับภาพในรูปแบบ
ImageFormat.YUV_420_888
หากคุณใช้ Camera API เวอร์ชันเก่า ให้จับภาพในรูปแบบImageFormat.NV21
- ลองถ่ายภาพที่ความละเอียดต่ำลง อย่างไรก็ตาม โปรดคำนึงถึงข้อกำหนดขนาดรูปภาพของ API นี้ด้วย