Bu sayfa, Cloud Translation API ile çevrilmiştir.

Android'de ML Kit ile resimlerdeki metinleri tanıyın

Resimlerdeki veya videolardaki (örneğin, sokak işaretinin metni) metinleri tanımak için ML Kit'i kullanabilirsiniz. Bu özelliğin ana özellikleri şunlardır:

Metin Tanıma API'sı
Açıklama	Resimlerdeki veya videolardaki Latin alfabesi metnini kullanın.
Kitaplık adı	`com.google.android.gms:play-services-mlkit-text-recognition`
Uygulama	Kitaplık, Google Play Hizmetleri aracılığıyla dinamik olarak indirilir.
Uygulama boyutu etkisi	260KB
Başlatma süresi	İlk kullanımda kitaplığın indirilmesini beklemeniz gerekebilir.
Performans	Çoğu cihazda gerçek zamanlıdır.

Deneyin

Bu API'nin örnek kullanımını görmek için örnek uygulamayla denemeler yapın.
Kodu codelab ile kendiniz deneyin.

Başlamadan önce

Bu API, Android API düzeyi 19 veya üzeridir. Uygulamanızın derleme dosyasının 19 veya daha yüksek bir minSdkVersion değeri kullandığından emin olun.

Proje düzeyindeki build.gradle dosyanıza, Google'ın Maven deposunu hem buildscript hem de allprojects bölümlerine ekleyin.
ML Kit Android kitaplıklarının bağımlılarını, modülünüzün genellikle app/build.gradle olan Gradle dosyasına ekleyin:
```
dependencies {
  // ...

  implementation 'com.google.android.gms:play-services-mlkit-text-recognition:18.0.2'
}
```
İsteğe bağlı ancak önerilir: Uygulamanızı, Play Store'dan yüklendikten sonra ML modelini cihaza otomatik olarak indirecek şekilde yapılandırabilirsiniz. Bunu yapmak için aşağıdaki beyanı uygulamanızın AndroidManifest.xml dosyasına ekleyin:
```
<application ...>
  ...
  <meta-data
      android:name="com.google.mlkit.vision.DEPENDENCIES"
      android:value="ocr" />
  
</application>
```
Ayrıca modelin kullanılabilirliğini açık bir şekilde kontrol edebilir ve Google Play hizmetleri ModuleInstallClient API aracılığıyla indirme isteğinde bulunabilirsiniz.

Yükleme sırasında model indirmeyi etkinleştirmezseniz model, cihaz üzerinde algılayıcıyı ilk kez çalıştırdığınızda indirilir. İndirme işlemi tamamlanmadan önce yaptığınız istekler sonuç getirmez.

1. `TextRecognizer` örneği oluşturun

TextRecognizer örneği oluşturun:

Kotlin

val recognizer = TextRecognition.getClient(TextRecognizerOptions.DEFAULT_OPTIONS)TextRecognitionActivity.kt

Java

TextRecognizer recognizer = TextRecognition.getClient(TextRecognizerOptions.DEFAULT_OPTIONS);TextRecognitionActivity.java

2. Giriş resmini hazırlayın

Bir resimdeki metni tanımak için Bitmap, media.Image, ByteBuffer, bayt dizisinden veya cihazdaki bir dosyadan InputImage nesnesi oluşturun. Ardından, InputImage nesnesini TextRecognizer'in processImage yöntemine geçirin.

Farklı kaynaklardan InputImage nesnesi oluşturabilirsiniz. Her nesne aşağıda açıklanmıştır.

`media.Image` kullanılıyor

Bir cihazın kamerasından resim yakaladığınızda (ör. bir cihazın kamerasından yakaladığınızda) bir media.Image nesnesinden InputImage nesnesi oluşturmak için media.Image nesnesini ve resmin InputImage.fromMediaImage() yönünü döndürmesini iletin.

CameraX kitaplığını kullanırsanız OnImageCapturedListener ve ImageAnalysis.Analyzer sınıfları sizin için rotasyon değerini hesaplar.

Kotlin

private class YourImageAnalyzer : ImageAnalysis.Analyzer {

    override fun analyze(imageProxy: ImageProxy) {
        val mediaImage = imageProxy.image
        if (mediaImage != null) {
            val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

Java

private class YourAnalyzer implements ImageAnalysis.Analyzer {

    @Override
    public void analyze(ImageProxy imageProxy) {
        Image mediaImage = imageProxy.getImage();
        if (mediaImage != null) {
          InputImage image =
                InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees());
          // Pass image to an ML Kit Vision API
          // ...
        }
    }
}

Görüntünün döndürülme derecesini veren bir kamera kitaplığı kullanmıyorsanız bunu, cihazın döndürme derecesinden ve cihazdaki kamera sensörünün yönüne göre hesaplayabilirsiniz:

Kotlin

private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 0)
    ORIENTATIONS.append(Surface.ROTATION_90, 90)
    ORIENTATIONS.append(Surface.ROTATION_180, 180)
    ORIENTATIONS.append(Surface.ROTATION_270, 270)
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // Get the device's sensor orientation.
    val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360
    }
    return rotationCompensation
}MLKitVisionImage.kt

Java

private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 0);
    ORIENTATIONS.append(Surface.ROTATION_90, 90);
    ORIENTATIONS.append(Surface.ROTATION_180, 180);
    ORIENTATIONS.append(Surface.ROTATION_270, 270);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // Get the device's sensor orientation.
    CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360;
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360;
    }
    return rotationCompensation;
}

Ardından media.Image nesnesini ve döndürme derecesi değerini InputImage.fromMediaImage() değerine iletin:

Kotlin

val image = InputImage.fromMediaImage(mediaImage, rotation)MLKitVisionImage.kt

Java

InputImage image = InputImage.fromMediaImage(mediaImage, rotation);

Dosya URI'si kullanma

Dosya URI'sinden InputImage nesnesi oluşturmak için uygulama bağlamını ve dosya URI'sini InputImage.fromFilePath() öğesine iletin. Bu, kullanıcıdan galeri uygulamasından bir resim seçmesini istemek için bir ACTION_GET_CONTENT niyeti kullandığınızda kullanışlıdır.

Kotlin

val image: InputImage
try {
    image = InputImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}MLKitVisionImage.kt

Java

InputImage image;
try {
    image = InputImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}

`ByteBuffer` veya `ByteArray` kullanma

ByteBuffer veya ByteArray öğesinden bir InputImage nesnesi oluşturmak için önce resim döndürme derecesini media.Image girişinde açıklandığı gibi hesaplayın. Ardından, arabellek veya diziyle birlikte InputImage nesnesini resmin yüksekliği, genişliği, renk kodlama biçimi ve döndürme derecesiyle oluşturun:

Kotlin

val image = InputImage.fromByteBuffer(
        byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)MLKitVisionImage.kt
// Or:
val image = InputImage.fromByteArray(
        byteArray,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
MLKitVisionImage.kt

Java

InputImage image = InputImage.fromByteBuffer(byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);MLKitVisionImage.java
// Or:
InputImage image = InputImage.fromByteArray(
        byteArray,
        /* image width */480,
        /* image height */360,
        rotation,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);MLKitVisionImage.java

`Bitmap` kullanılıyor

Bir Bitmap nesnesinden InputImage nesnesi oluşturmak için aşağıdaki beyanı oluşturun:

Kotlin

val image = InputImage.fromBitmap(bitmap, 0)MLKitVisionImage.kt

Java

InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);MLKitVisionImage.java

Resim, döndürme dereceleriyle birlikte bir Bitmap nesnesiyle gösterilir.

3. Resmi işleyin

Görüntüyü process yöntemine geçirin:

Kotlin

val result = recognizer.process(image)
        .addOnSuccessListener { visionText ->
            // Task completed successfully
            // ...
        }
        .addOnFailureListener { e ->
            // Task failed with an exception
            // ...
        }TextRecognitionActivity.kt

Java

Task<Text> result =
        recognizer.process(image)
                .addOnSuccessListener(new OnSuccessListener<Text>() {
                    @Override
                    public void onSuccess(Text visionText) {
                        // Task completed successfully
                        // ...
                    }
                })
                .addOnFailureListener(
                        new OnFailureListener() {
                            @Override
                            public void onFailure(@NonNull Exception e) {
                                // Task failed with an exception
                                // ...
                            }
                        });TextRecognitionActivity.java

Not: CameraX API'sini kullanıyorsanız işlemi tamamladıktan sonra ImageProxy yöntemini kapattığınızdan emin olun (ör. process yönteminden döndürülen Task işlevine OnCompleteListener ekleyerek). Örnek görmek için hızlı başlangıç örneği uygulamasındaki VisionProcessorBase bölümüne bakın.

4. Tanınan metnin engellemelerinden metin çıkarma

Metin tanıma işlemi başarılı olursa başarı işleyiciye bir Text nesnesi iletilir. Text nesnesi, resimde tanınan tam metni ve sıfır ya da daha fazla TextBlock nesnesini içerir.

Her bir TextBlock, sıfır veya daha fazla Line nesnesi içeren dikdörtgen bir metin blokunu temsil eder. Her bir Line nesnesi, sıfır veya daha fazla Element nesnesi içeren bir metin satırını temsil eder. Her Element nesnesi, sıfır veya daha fazla Symbol nesne içeren bir kelimeyi veya kelime benzeri bir varlığı temsil eder. Her Symbol nesnesi bir karakteri, basamağı veya kelime benzeri bir varlığı temsil eder.

Her bir TextBlock, Line, Element ve Symbol nesnesi için bölgede tanınan metni, bölgenin sınır koordinatlarını ve rotasyon bilgileri, güven puanı gibi birçok başka özelliği görebilirsiniz.

Örneğin:

Kotlin

val resultText = result.text
for (block in result.textBlocks) {
    val blockText = block.text
    val blockCornerPoints = block.cornerPoints
    val blockFrame = block.boundingBox
    for (line in block.lines) {
        val lineText = line.text
        val lineCornerPoints = line.cornerPoints
        val lineFrame = line.boundingBox
        for (element in line.elements) {
            val elementText = element.text
            val elementCornerPoints = element.cornerPoints
            val elementFrame = element.boundingBox
        }
    }
}TextRecognitionActivity.kt

Java

String resultText = result.getText();
for (Text.TextBlock block : result.getTextBlocks()) {
    String blockText = block.getText();
    Point[] blockCornerPoints = block.getCornerPoints();
    Rect blockFrame = block.getBoundingBox();
    for (Text.Line line : block.getLines()) {
        String lineText = line.getText();
        Point[] lineCornerPoints = line.getCornerPoints();
        Rect lineFrame = line.getBoundingBox();
        for (Text.Element element : line.getElements()) {
            String elementText = element.getText();
            Point[] elementCornerPoints = element.getCornerPoints();
            Rect elementFrame = element.getBoundingBox();
            for (Text.Symbol symbol : element.getSymbols()) {
                String symbolText = symbol.getText();
                Point[] symbolCornerPoints = symbol.getCornerPoints();
                Rect symbolFrame = symbol.getBoundingBox();
            }
        }
    }
}TextRecognitionActivity.java

Giriş resmi yönergeleri

ML Kit'in metni doğru bir şekilde tanıyabilmesi için giriş resimleri yeterli piksel verisi tarafından temsil edilen metin içermelidir. İdeal olarak her karakter en az 16x16 piksel olmalıdır. Karakterlerin genellikle 24x24 pikselden büyük olmasında doğruluk avantajı yoktur.

Örneğin, 640x480 boyutlu bir resim, resmin tam genişliğini kaplayan bir kartvizit taramak için iyi sonuç verebilir. Harf boyutunda kağıt üzerine basılı bir dokümanı taramak için 720x1280 piksel boyutunda bir resim gerekebilir.
Düşük resim odağı, metin tanıma doğruluğunu etkileyebilir. Kabul edilebilir sonuçlar elde edemiyorsanız kullanıcıdan resmi tekrar yakalamasını isteyin.
Gerçek zamanlı bir uygulamadaki metni tanıyorsanız giriş resimlerinin genel boyutlarını dikkate almanız gerekir. Küçük resimler daha hızlı işlenebilir. Gecikmeyi azaltmak için metnin resmin mümkün olduğunca fazla yer kaplamasını sağlayın ve resimleri daha düşük çözünürlüklerde yakalayın (yukarıda belirtilen doğruluk gereksinimlerini göz önünde bulundurun). Daha fazla bilgi için Performansı iyileştirmeye yönelik ipuçları konusuna bakın.

Performansı artırmayla ilgili ipuçları

Camera veya camera2 API'yi kullanıyorsanız algılayıcıya yapılan çağrıları azaltır. Algılayıcı çalışırken yeni bir video çerçevesi kullanılabilir hale gelirse çerçeveyi bırakın. Örnek için hızlı başlangıç örneği uygulamasındaki VisionProcessorBase sınıfını inceleyin.
CameraX API'yi kullanıyorsanız geri baskı stratejisinin ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST varsayılan değerine ayarlandığından emin olun. Bu, tek seferde yalnızca bir resmin analiz için teslim edileceğini garanti eder. Analiz aracı meşgul olduğunda daha fazla resim üretilirse otomatik olarak çıkarılır ve sıraya alınmaz. Analiz edilen görüntü ImageProxy.close() çağrısıyla kapatıldıktan sonra, en son görüntü gönderilir.
Algılayıcının çıkışını giriş resmine yer paylaşımlı olarak eklemek için kullanıyorsanız önce ML Kit'ten sonucu alın, ardından resmi ve yer paylaşımını tek bir adımda oluşturun. Bu işlem, her bir giriş çerçevesi için görüntü yüzeyine yalnızca bir kez oluşturulur. Örnek için hızlı başlangıç örneği uygulamasındaki CameraSourcePreview ve GraphicOverlay sınıflarını inceleyin.
Camera2 API'sini kullanıyorsanız resimleri ImageFormat.YUV_420_888 biçiminde çekin. Eski Camera API'yi kullanıyorsanız görüntüleri ImageFormat.NV21 biçiminde çekin.
Resimleri daha düşük çözünürlükte çekmeyi düşünebilirsiniz. Ancak bu API'nin görüntü boyutu şartlarını da göz önünde bulundurun.

Android'de ML Kit ile resimlerdeki metinleri tanıyın

Deneyin

Başlamadan önce

1. TextRecognizer örneği oluşturun

Kotlin

Java

2. Giriş resmini hazırlayın

media.Image kullanılıyor

Kotlin

Java

Kotlin

Java

Kotlin

Java

Dosya URI'si kullanma

Kotlin

Java

ByteBuffer veya ByteArray kullanma

Kotlin

Java

Bitmap kullanılıyor

Kotlin

Java

3. Resmi işleyin

Kotlin

Java

4. Tanınan metnin engellemelerinden metin çıkarma

Kotlin

Java

Giriş resmi yönergeleri

Performansı artırmayla ilgili ipuçları

1. `TextRecognizer` örneği oluşturun

`media.Image` kullanılıyor

`ByteBuffer` veya `ByteArray` kullanma

`Bitmap` kullanılıyor