تمت ترجمة هذه الصفحة بواسطة Cloud Translation API‏.

التعرّف على النص في الصور باستخدام أدوات تعلّم الآلة على نظام التشغيل Android

يمكنك استخدام ML Kit للتعرّف على النص في الصور أو الفيديوهات، مثل نص لافتة شارع. في ما يلي الخصائص الرئيسية لهذه الميزة:

الميزة	غير مجمّعة	مُجمَّعة
اسم المكتبة	com.google.android.gms:play-services-mlkit-text-recognition com.google.android.gms:play-services-mlkit-text-recognition-chinese com.google.android.gms:play-services-mlkit-text-recognition-devanagari com.google.android.gms:play-services-mlkit-text-recognition-japanese com.google.android.gms:play-services-mlkit-text-recognition-korean	com.google.mlkit:text-recognition com.google.mlkit:text-recognition-chinese com.google.mlkit:text-recognition-devanagari com.google.mlkit:text-recognition-japanese com.google.mlkit:text-recognition-korean
التنفيذ	يتم تنزيل النموذج ديناميكيًا من خلال "خدمات Google Play".	يتم ربط النموذج بتطبيقك بشكل ثابت في وقت الإنشاء.
حجم التطبيق	زيادة حجم تبلغ 260 كيلوبايت تقريبًا لكل بنية نص برمجي	زيادة حجم تبلغ 4 ميغابايت تقريبًا لكل نص برمجي لكل بنية
وقت الإعداد	قد تحتاج إلى الانتظار إلى أن يتم تنزيل النموذج قبل الاستخدام الأول.	يتوفّر النموذج على الفور.
الأداء	يتم عرض مكتبة الأحرف اللاتينية في الوقت الفعلي على معظم الأجهزة، ولكن ببطء أكبر على الأجهزة الأخرى.	يتم عرض مكتبة الأحرف اللاتينية في الوقت الفعلي على معظم الأجهزة، ولكن ببطء أكبر على الأجهزة الأخرى.

جرّبه الآن

يمكنك تجربة نموذج التطبيق لاطلاع على مثال على استخدام واجهة برمجة التطبيقات هذه.
جرِّب الرمز بنفسك باستخدام الدرس التطبيقي حول الترميز.

قبل البدء

تتطلّب واجهة برمجة التطبيقات هذه المستوى 21 من واجهة برمجة تطبيقات Android أو إصدارًا أحدث. تأكَّد من أنّ ملف الإصدار لتطبيقك يستخدم قيمة minSdkVersion‏21 أو أعلى.

في ملف build.gradle على مستوى المشروع، احرص على تضمين مستودع Maven من Google في كلّ من قسمَي buildscript وallprojects.

أضِف الملحقات لمكتبات ML Kit لنظام التشغيل Android إلى ملف Gradle على مستوى التطبيق الخاص بالوحدة، والذي يكون عادةً app/build.gradle:

لتجميع النموذج مع تطبيقك:

dependencies {
  // To recognize Latin script
  implementation 'com.google.mlkit:text-recognition:16.0.1'

  // To recognize Chinese script
  implementation 'com.google.mlkit:text-recognition-chinese:16.0.1'

  // To recognize Devanagari script
  implementation 'com.google.mlkit:text-recognition-devanagari:16.0.1'

  // To recognize Japanese script
  implementation 'com.google.mlkit:text-recognition-japanese:16.0.1'

  // To recognize Korean script
  implementation 'com.google.mlkit:text-recognition-korean:16.0.1'
}

لاستخدام النموذج في "خدمات Google Play":

dependencies {
  // To recognize Latin script
  implementation 'com.google.android.gms:play-services-mlkit-text-recognition:19.0.1'

  // To recognize Chinese script
  implementation 'com.google.android.gms:play-services-mlkit-text-recognition-chinese:16.0.1'

  // To recognize Devanagari script
  implementation 'com.google.android.gms:play-services-mlkit-text-recognition-devanagari:16.0.1'

  // To recognize Japanese script
  implementation 'com.google.android.gms:play-services-mlkit-text-recognition-japanese:16.0.1'

  // To recognize Korean script
  implementation 'com.google.android.gms:play-services-mlkit-text-recognition-korean:16.0.1'
}

إذا اخترت استخدام النموذج في "خدمات Google Play"، يمكنك ضبط تطبيقك لتنزيل النموذج تلقائيًا على الجهاز بعد تثبيت تطبيقك من "متجر Play". لإجراء ذلك، أضِف العبارة التالية إلى ملف AndroidManifest.xml في تطبيقك:
```
<application ...>
      ...
      <meta-data
          android:name="com.google.mlkit.vision.DEPENDENCIES"
          android:value="ocr" >
      
</application>
```
يمكنك أيضًا التحقّق صراحةً من توفّر النموذج وطلب تنزيله من خلال ModuleInstallClient API في "خدمات Google Play". إذا لم تفعِّل تنزيلات نماذج أثناء عملية التثبيت أو طلبت تنزيلًا صريحًا، يتم تنزيل النموذج في المرة الأولى التي تشغّل فيها الماسح الضوئي. لا تؤدي الطلبات التي تقدّمها قبل اكتمال عملية التنزيل إلى أي نتائج.

1. إنشاء مثيل من `TextRecognizer`

أنشئ مثيلًا من TextRecognizer، مع ضبط الخيارات المرتبطة بالمكتبة التي أعلنت تبعيتك لها أعلاه:

Kotlin

// When using Latin script library
val recognizer = TextRecognition.getClient(TextRecognizerOptions.DEFAULT_OPTIONS)

// When using Chinese script library
val recognizer = TextRecognition.getClient(ChineseTextRecognizerOptions.Builder().build())

// When using Devanagari script library
val recognizer = TextRecognition.getClient(DevanagariTextRecognizerOptions.Builder().build())

// When using Japanese script library
val recognizer = TextRecognition.getClient(JapaneseTextRecognizerOptions.Builder().build())

// When using Korean script library
val recognizer = TextRecognition.getClient(KoreanTextRecognizerOptions.Builder().build())

Java

// When using Latin script library
TextRecognizer recognizer =
  TextRecognition.getClient(TextRecognizerOptions.DEFAULT_OPTIONS);

// When using Chinese script library
TextRecognizer recognizer =
  TextRecognition.getClient(new ChineseTextRecognizerOptions.Builder().build());

// When using Devanagari script library
TextRecognizer recognizer =
  TextRecognition.getClient(new DevanagariTextRecognizerOptions.Builder().build());

// When using Japanese script library
TextRecognizer recognizer =
  TextRecognition.getClient(new JapaneseTextRecognizerOptions.Builder().build());

// When using Korean script library
TextRecognizer recognizer =
  TextRecognition.getClient(new KoreanTextRecognizerOptions.Builder().build());

2. تجهيز صورة الإدخال

للتعرّف على نص في صورة، أنشئ عنصر InputImage من Bitmap أو media.Image أو ByteBuffer أو صفيف بايت أو ملف على الجهاز. بعد ذلك، نقْل عنصر InputImage إلى الطريقة processImage في ملف TextRecognizer.

يمكنك إنشاء عنصر InputImage من مصادر مختلفة، وسيتم شرح كل مصدر أدناه.

استخدام `media.Image`

لإنشاء عنصر InputImage من عنصر media.Image، مثلاً عند التقاط صورة من كاميرا الجهاز، عليك تمرير عنصر media.Image ودرجة دوران الصورة إلى InputImage.fromMediaImage().

إذا كنت تستخدِم مكتبة CameraX، تحتسِب فئتَا OnImageCapturedListener و ImageAnalysis.Analyzer قيمة التدوير نيابةً عنك.

Kotlin

private class YourImageAnalyzer : ImageAnalysis.Analyzer {

    override fun analyze(imageProxy: ImageProxy) {
        val mediaImage = imageProxy.image
        if (mediaImage != null) {
            val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

Java

private class YourAnalyzer implements ImageAnalysis.Analyzer {

    @Override
    public void analyze(ImageProxy imageProxy) {
        Image mediaImage = imageProxy.getImage();
        if (mediaImage != null) {
          InputImage image =
                InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees());
          // Pass image to an ML Kit Vision API
          // ...
        }
    }
}

إذا كنت لا تستخدم مكتبة كاميرا تمنحك درجة دوران الصورة، يمكنك احتسابها من درجة دوران الجهاز واتجاه كاميرا الاستشعار في الجهاز:

Kotlin

private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 0)
    ORIENTATIONS.append(Surface.ROTATION_90, 90)
    ORIENTATIONS.append(Surface.ROTATION_180, 180)
    ORIENTATIONS.append(Surface.ROTATION_270, 270)
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // Get the device's sensor orientation.
    val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360
    }
    return rotationCompensation
}MLKitVisionImage.kt

Java

private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 0);
    ORIENTATIONS.append(Surface.ROTATION_90, 90);
    ORIENTATIONS.append(Surface.ROTATION_180, 180);
    ORIENTATIONS.append(Surface.ROTATION_270, 270);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // Get the device's sensor orientation.
    CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360;
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360;
    }
    return rotationCompensation;
}

بعد ذلك، مرِّر عنصر media.Image وقيمة درجة الدوران إلى InputImage.fromMediaImage():

Kotlin

val image = InputImage.fromMediaImage(mediaImage, rotation)MLKitVisionImage.kt

Java

InputImage image = InputImage.fromMediaImage(mediaImage, rotation);

استخدام عنوان URL للملف

لإنشاء عنصر InputImage ، من معرّف موارد منتظم لملف، عليك تمرير سياق التطبيق ومعرّف الموارد المنتظم للملف إلى InputImage.fromFilePath(). يكون ذلك مفيدًا عند استخدام نية ACTION_GET_CONTENT لطلب تحديد صورة من تطبيق معرض الصور.

Kotlin

val image: InputImage
try {
    image = InputImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}MLKitVisionImage.kt

Java

InputImage image;
try {
    image = InputImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}

استخدام `ByteBuffer` أو `ByteArray`

لإنشاء عنصر InputImage من ByteBuffer أو ByteArray، يجب أولاً احتساب درجة دوران الصورة كما هو موضّح سابقًا لإدخال media.Image. بعد ذلك، أنشئ عنصر InputImage باستخدام المخزن المؤقت أو الصفيف، بالإضافة إلى ارتفاع الصورة وعرضها وتنسيق ترميز الألوان ودرجة دورانها:

Kotlin

val image = InputImage.fromByteBuffer(
        byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)MLKitVisionImage.kt
// Or:
val image = InputImage.fromByteArray(
        byteArray,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
MLKitVisionImage.kt

Java

InputImage image = InputImage.fromByteBuffer(byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);MLKitVisionImage.java
// Or:
InputImage image = InputImage.fromByteArray(
        byteArray,
        /* image width */480,
        /* image height */360,
        rotation,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);MLKitVisionImage.java

استخدام `Bitmap`

لإنشاء عنصر InputImage من عنصر Bitmap، أدخِل التعريف التالي:

Kotlin

val image = InputImage.fromBitmap(bitmap, 0)MLKitVisionImage.kt

Java

InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);MLKitVisionImage.java

يتم تمثيل الصورة بعنصر Bitmap مع درجات الدوران.

3- معالجة الصورة

نقْل الصورة إلى طريقة process:

Kotlin

val result = recognizer.process(image)
        .addOnSuccessListener { visionText ->
            // Task completed successfully
            // ...
        }
        .addOnFailureListener { e ->
            // Task failed with an exception
            // ...
        }TextRecognitionActivity.kt

Java

Task<Text> result =
        recognizer.process(image)
                .addOnSuccessListener(new OnSuccessListener<Text>() {
                    @Override
                    public void onSuccess(Text visionText) {
                        // Task completed successfully
                        // ...
                    }
                })
                .addOnFailureListener(
                        new OnFailureListener() {
                            @Override
                            public void onFailure(@NonNull Exception e) {
                                // Task failed with an exception
                                // ...
                            }
                        });TextRecognitionActivity.java

ملاحظة: إذا كنت تستخدم واجهة برمجة التطبيقات CameraX، احرص على إغلاق ImageProxy عند الانتهاء من استخدامه، مثلاً، عن طريق إضافة OnCompleteListener إلى Task الذي تم إرجاعه من الأسلوب process. يمكنك الاطّلاع على فئة VisionProcessorBase في تطبيق نموذج البدء السريع للحصول على مثال.

4. استخراج نص من مجموعات النصوص التي تم التعرّف عليها

في حال نجاح عملية التعرّف على النص، يتم تمرير عنصر Text إلى مُستمع الحدث "النجاح". يحتوي عنصر Text على النص الكامل الذي تم التعرّف عليه في الصورة وصفر أو أكثر من عناصر TextBlock.

يمثّل كل رمز TextBlock كتلة مستطيلة من النص، التي تحتوي على صفر أو أكثر من كائنات Line. يمثّل كل كائن Line سطرًا من النصّ، الذي يحتوي على صفر أو أكثر من كائنات Element. يمثّل كلّ كائن Element كلمة أو عنصرًا شبيهًا بالكلمة، يحتوي على صفر أو أكثر من كائنات Symbol. يمثّل كل عنصر Symbol حرفًا أو رقمًا أو عنصرًا يشبه الكلمة.

بالنسبة إلى كل عنصر من عناصر TextBlock وLine Element وSymbol، يمكنك التعرّف على النص في المنطقة ومعرفة إحداثيات حدود المنطقة والعديد من السمات الأخرى، مثل معلومات التدوير ودرجة الثقة وغيرها.

على سبيل المثال:

Kotlin

val resultText = result.text
for (block in result.textBlocks) {
    val blockText = block.text
    val blockCornerPoints = block.cornerPoints
    val blockFrame = block.boundingBox
    for (line in block.lines) {
        val lineText = line.text
        val lineCornerPoints = line.cornerPoints
        val lineFrame = line.boundingBox
        for (element in line.elements) {
            val elementText = element.text
            val elementCornerPoints = element.cornerPoints
            val elementFrame = element.boundingBox
        }
    }
}TextRecognitionActivity.kt

Java

String resultText = result.getText();
for (Text.TextBlock block : result.getTextBlocks()) {
    String blockText = block.getText();
    Point[] blockCornerPoints = block.getCornerPoints();
    Rect blockFrame = block.getBoundingBox();
    for (Text.Line line : block.getLines()) {
        String lineText = line.getText();
        Point[] lineCornerPoints = line.getCornerPoints();
        Rect lineFrame = line.getBoundingBox();
        for (Text.Element element : line.getElements()) {
            String elementText = element.getText();
            Point[] elementCornerPoints = element.getCornerPoints();
            Rect elementFrame = element.getBoundingBox();
            for (Text.Symbol symbol : element.getSymbols()) {
                String symbolText = symbol.getText();
                Point[] symbolCornerPoints = symbol.getCornerPoints();
                Rect symbolFrame = symbol.getBoundingBox();
            }
        }
    }
}TextRecognitionActivity.java

إرشادات حول إدخال الصور

لكي تتمكّن حزمة ML Kit من التعرّف على النص بدقة، يجب أن تحتوي صور الإدخال على نص يمثّله بيانات بكسل كافية. من الأفضل أن يكون حجم كل حرف 16×16 بكسل على الأقل. لا يُحسِّن بشكل عام حجم الأحرف الأكبر من 24×24 بكسل من دقتها.

على سبيل المثال، قد تكون الصورة بحجم 640×480 مناسبة لمسح بطاقة تعريف ملف شخصي تشغل العرض الكامل للصورة ضوئيًا. لمسح مستند مطبوع على ورقة بحجم A4 ضوئيًا، قد تكون صورة بدقة 720×1280 بكسل مطلوبة.
يمكن أن يؤثر تركيز الصورة السيئ في دقة التعرّف على النص. إذا لم تكن تحصل على نتائج مقبولة، حاوِل أن تطلب من المستخدم إعادة التقاط الصورة.
إذا كنت تتعرّف على النص في تطبيق يعمل في الوقت الفعلي، يجب مراعاة الأبعاد العامة للصور المُدخلة. يمكن معالجة الصور الأصغر حجمًا بشكل أسرع. لتقليل وقت الاستجابة، تأكَّد من أنّ النص يشغل أكبر قدر ممكن من الصورة، وخذ الصور بدرجة دقة أقل (مع مراعاة متطلبات دقة التعرّف المذكورة أعلاه). لمزيد من المعلومات، يُرجى الاطّلاع على نصائح لتحسين الأداء.

نصائح لتحسين الأداء

إذا كنت تستخدم واجهة برمجة التطبيقات Camera أو camera2، يمكنك الحد من عدد طلبات البيانات المرسَلة إلى أداة رصد الأداء. إذا توفّر إطار فيديو جديد أثناء تشغيل أداة الكشف، يمكنك إسقاط الإطار. يمكنك الاطّلاع على فئة VisionProcessorBase في تطبيق نموذج البدء السريع للحصول على مثال.
إذا كنت تستخدِم واجهة برمجة التطبيقات CameraX، تأكَّد من ضبط استراتيجية الضغط الخلفي على قيمتها التلقائية ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST. يضمن ذلك إرسال صورة واحدة فقط للتحليل في كل مرة. إذا تم إنشاء المزيد من الصور عندما يكون المحلّل مشغولاً، سيتم تجاهلها تلقائيًا ولن يتم وضعها في قائمة الانتظار لإرسالها. بعد إغلاق الصورة التي يتم تحليلها من خلال استدعاء ‎(ImageProxy.close())‎، سيتم إرسال أحدث صورة تالية.
إذا كنت تستخدِم ناتج أداة الكشف لوضع الرسومات فوق صورة الإدخال، يمكنك أولاً الحصول على النتيجة من ML Kit، ثم عرض الصورة ووضعها فوق الصورة الأصلية في خطوة واحدة. ويتم عرض هذا المحتوى على سطح العرض مرّة واحدة فقط لكل إطار إدخال. يمكنك الاطّلاع على مثال في فئة CameraSourcePreview وفئة GraphicOverlay في تطبيق نموذج البدء السريع.
إذا كنت تستخدم واجهة برمجة التطبيقات Camera2 API، يمكنك التقاط الصور بتنسيق ImageFormat.YUV_420_888. إذا كنت تستخدم الإصدار القديم من Camera API، يمكنك التقاط الصور بتنسيق ImageFormat.NV21.
ننصحك بالتقاط الصور بدرجة دقة أقل. ومع ذلك، يجب أيضًا مراعاة متطلبات أبعاد الصورة في واجهة برمجة التطبيقات هذه.

التعرّف على النص في الصور باستخدام أدوات تعلّم الآلة على نظام التشغيل Android

جرّبه الآن

قبل البدء

1. إنشاء مثيل من TextRecognizer

Kotlin

Java

2. تجهيز صورة الإدخال

استخدام media.Image

Kotlin

Java

Kotlin

Java

Kotlin

Java

استخدام عنوان URL للملف

Kotlin

Java

استخدام ByteBuffer أو ByteArray

Kotlin

Java

استخدام Bitmap

Kotlin

Java

3- معالجة الصورة

Kotlin

Java

4. استخراج نص من مجموعات النصوص التي تم التعرّف عليها

Kotlin

Java

إرشادات حول إدخال الصور

نصائح لتحسين الأداء

1. إنشاء مثيل من `TextRecognizer`

استخدام `media.Image`

استخدام `ByteBuffer` أو `ByteArray`

استخدام `Bitmap`