Wykrywanie i śledzenie obiektów za pomocą ML Kit na Androidzie

Za pomocą ML Kit możesz wykrywać i śledzić obiekty w kolejnych klatkach wideo.

Gdy przekazujesz obraz do ML Kit, wykrywa on maksymalnie 5 obiektów. wraz z położeniem każdego obiektu na obrazie. Podczas wykrywania obiektów w strumieni wideo, każdy obiekt ma unikalny identyfikator, którego możesz użyć do śledzenia od klatki do klatki. Możesz też opcjonalnie włączyć obiekt przybliżony klasyfikację, która oznacza etykietami obiekty o szerokim opisie kategorii.

Ten interfejs API korzysta z biblioteki niepołączonej, którą należy pobrać przed użyciem. Zobacz tym przewodniku.

Wypróbuj

• Wypróbuj przykładową aplikację, aby: zobaczysz przykład użycia tego interfejsu API.
• Zobacz prezentację stylu Material Design , by kompleksowo wdrożyć ten interfejs API.

Zanim zaczniesz

Ten interfejs API wymaga interfejsu API Androida na poziomie 21 lub wyższym. Upewnij się, że kompilacja aplikacji ma wartość minSdkVersion równą 21 lub większą.

1. W pliku build.gradle na poziomie projektu umieść dane Repozytorium Google Maven w środowiskach buildscript i Sekcje: allprojects.
2. Dodaj zależności bibliotek ML Kit na Androida do biblioteki modułu plik Gradle na poziomie aplikacji, którym jest zwykle app/build.gradle:

   dependencies {
     // ...
   
     implementation 'com.google.mlkit:object-detection:17.0.2'
   
   }

1. Konfigurowanie detektora obiektów

Aby wykrywać i śledzić obiekty, najpierw utwórz instancję ObjectDetector i opcjonalnie określ wszelkie ustawienia detektora, które chcesz zmienić wartość domyślną.

1. Skonfiguruj detektor obiektów na potrzeby swojego przypadku użycia za pomocą ObjectDetectorOptions obiekt. Możesz zmienić te ustawienia: ustawienia:

   Ustawienia wykrywania obiektów
   Tryb wykrywania	STREAM_MODE (domyślna) | SINGLE_IMAGE_MODE W STREAM_MODE (domyślnie) działa wykrywacz obiektów. z małym czasem oczekiwania, ale mogą one dawać niepełne wyniki (np. nieokreślone ramki ograniczające lub etykiety kategorii) na pierwszych kilku na wywołania detektora. Poza tym za STREAM_MODE przypisuje do obiektów identyfikatory śledzenia, których można używać śledzić obiekty w ramkach. Użyj tego trybu, jeśli chcesz śledzić lub gdy ważne jest małe opóźnienie, np. podczas przetwarzania strumieniowania wideo w czasie rzeczywistym. W SINGLE_IMAGE_MODE detektor obiektów zwraca wynik po określeniu ramki ograniczającej obiektu. Jeśli także włącz klasyfikację, ponieważ zwraca wynik po ograniczeniu pole i etykieta kategorii są dostępne. W związku z tym opóźnienie wykrywania jest potencjalnie większe. Także za SINGLE_IMAGE_MODE, identyfikatory śledzenia nie są przypisane. Używaj w tym trybie, jeśli opóźnienia nie są krytyczne i nie chcesz częściowe wyniki.
   Wykrywanie i śledzenie wielu obiektów	false (domyślna) | true Określa, czy należy wykryć i śledzić do pięciu obiektów, czy tylko najbardziej. widoczny obiekt (domyślnie).
   Klasyfikowanie obiektów	false (domyślna) | true Określa, czy należy sklasyfikować wykryte obiekty w przybliżonych kategoriach. Gdy ta opcja jest włączona, detektor obiektów klasyfikuje obiekty w następujące kategorie: moda, żywność, AGD, miejsc i roślin.

   Interfejs API wykrywania i śledzenia obiektów jest zoptymalizowany pod kątem tych dwóch podstawowych zastosowań przypadki:

   • Wykrywanie na żywo i śledzenie najbardziej widocznego obiektu w kamerze wizjer.
   • Wykrywanie wielu obiektów na obrazie statycznym.

   Aby skonfigurować interfejs API pod kątem tych przypadków użycia:

   KotlinJava

   // Live detection and tracking
   val options = ObjectDetectorOptions.Builder()
           .setDetectorMode(ObjectDetectorOptions.STREAM_MODE)
           .enableClassification()  // Optional
           .build()
   
   // Multiple object detection in static images
   val options = ObjectDetectorOptions.Builder()
           .setDetectorMode(ObjectDetectorOptions.SINGLE_IMAGE_MODE)
           .enableMultipleObjects()
           .enableClassification()  // Optional
           .build()

   // Live detection and tracking
   ObjectDetectorOptions options =
           new ObjectDetectorOptions.Builder()
                   .setDetectorMode(ObjectDetectorOptions.STREAM_MODE)
                   .enableClassification()  // Optional
                   .build();
   
   // Multiple object detection in static images
   ObjectDetectorOptions options =
           new ObjectDetectorOptions.Builder()
                   .setDetectorMode(ObjectDetectorOptions.SINGLE_IMAGE_MODE)
                   .enableMultipleObjects()
                   .enableClassification()  // Optional
                   .build();

2. Pobierz instancję ObjectDetector:

   KotlinJava

   val objectDetector = ObjectDetection.getClient(options)

   ObjectDetector objectDetector = ObjectDetection.getClient(options);

2. Przygotowywanie obrazu wejściowego

Aby wykrywać i śledzić obiekty, przekazuj obrazy do ObjectDetector process() instancji.

Wykrywacz obiektów działa bezpośrednio z Bitmap, NV21 ByteBuffer lub YUV_420_888 media.Image. Tworzę element InputImage z tych źródeł są zalecane, jeśli masz do nich bezpośredni dostęp. Jeśli tworzysz InputImage z innych źródeł, my zajmiemy się konwersją. dla Ciebie i może działać mniej wydajnie.

Dla każdej klatki filmu lub obrazu w sekwencji wykonaj te czynności:

Możesz utworzyć InputImage z różnych źródeł, każdy z nich objaśniamy poniżej.

Korzystanie z: media.Image

Aby utworzyć InputImage z obiektu media.Image, np. podczas przechwytywania obrazu z z aparatu urządzenia, przekaż obiekt media.Image i obiekt obrazu w kierunku InputImage.fromMediaImage().

Jeśli używasz tagu CameraX, OnImageCapturedListener oraz ImageAnalysis.Analyzer klasy obliczają wartość rotacji dla Ciebie.

KotlinJava

private class YourImageAnalyzer : ImageAnalysis.Analyzer {

    override fun analyze(imageProxy: ImageProxy) {
        val mediaImage = imageProxy.image
        if (mediaImage != null) {
            val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

private class YourAnalyzer implements ImageAnalysis.Analyzer {

    @Override
    public void analyze(ImageProxy imageProxy) {
        Image mediaImage = imageProxy.getImage();
        if (mediaImage != null) {
          InputImage image =
                InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees());
          // Pass image to an ML Kit Vision API
          // ...
        }
    }
}

Jeśli nie korzystasz z biblioteki aparatu, która określa kąt obrotu obrazu, może go obliczyć na podstawie stopnia obrotu urządzenia i orientacji aparatu czujnik w urządzeniu:

KotlinJava

private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 0)
    ORIENTATIONS.append(Surface.ROTATION_90, 90)
    ORIENTATIONS.append(Surface.ROTATION_180, 180)
    ORIENTATIONS.append(Surface.ROTATION_270, 270)
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // Get the device's sensor orientation.
    val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360
    }
    return rotationCompensation
}
MLKitVisionImage.kt

private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 0);
    ORIENTATIONS.append(Surface.ROTATION_90, 90);
    ORIENTATIONS.append(Surface.ROTATION_180, 180);
    ORIENTATIONS.append(Surface.ROTATION_270, 270);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // Get the device's sensor orientation.
    CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360;
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360;
    }
    return rotationCompensation;
}

Następnie przekaż obiekt media.Image oraz wartość stopnia obrotu na InputImage.fromMediaImage():

KotlinJava

val image = InputImage.fromMediaImage(mediaImage, rotation)
MLKitVisionImage.kt

InputImage image = InputImage.fromMediaImage(mediaImage, rotation);

Za pomocą identyfikatora URI pliku

Aby utworzyć InputImage obiektu z identyfikatora URI pliku, przekaż kontekst aplikacji oraz identyfikator URI pliku do InputImage.fromFilePath() Jest to przydatne, gdy użyj intencji ACTION_GET_CONTENT, aby zachęcić użytkownika do wyboru obraz z aplikacji Galeria.

KotlinJava

val image: InputImage
try {
    image = InputImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}
MLKitVisionImage.kt

InputImage image;
try {
    image = InputImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}

Przy użyciu: ByteBuffer lub ByteArray

Aby utworzyć InputImage obiektu z ByteBuffer lub ByteArray, najpierw oblicz wartość obrazu stopień obrotu zgodnie z wcześniejszym opisem dla danych wejściowych media.Image. Następnie utwórz obiekt InputImage z buforem lub tablicą oraz wysokość, szerokość, format kodowania kolorów i stopień obrotu:

KotlinJava

val image = InputImage.fromByteBuffer(
        byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
MLKitVisionImage.kt
// Or:
val image = InputImage.fromByteArray(
        byteArray,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
MLKitVisionImage.kt

InputImage image = InputImage.fromByteBuffer(byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);
MLKitVisionImage.java
// Or:
InputImage image = InputImage.fromByteArray(
        byteArray,
        /* image width */480,
        /* image height */360,
        rotation,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);
MLKitVisionImage.java

Korzystanie z: Bitmap

Aby utworzyć InputImage z obiektu Bitmap, wypełnij tę deklarację:

KotlinJava

val image = InputImage.fromBitmap(bitmap, 0)
MLKitVisionImage.kt

InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);
MLKitVisionImage.java

Obraz jest reprezentowany przez obiekt Bitmap wraz z informacją o obróceniu w stopniach.

3. Przetwarzanie zdjęcia

Przekaż obraz do metody process():

KotlinJava

objectDetector.process(image)
    .addOnSuccessListener { detectedObjects ->
        // Task completed successfully
        // ...
    }
    .addOnFailureListener { e ->
        // Task failed with an exception
        // ...
    }

objectDetector.process(image)
    .addOnSuccessListener(
        new OnSuccessListener<List<DetectedObject>>() {
            @Override
            public void onSuccess(List<DetectedObject> detectedObjects) {
                // Task completed successfully
                // ...
            }
        })
    .addOnFailureListener(
        new OnFailureListener() {
            @Override
            public void onFailure(@NonNull Exception e) {
                // Task failed with an exception
                // ...
            }
        });

Uwaga: jeśli używasz CameraX API, pamiętaj, aby zamknąć ImageProxy, gdy skończysz z niego korzystać. np. przez dodanie OnCompleteListener do elementu Task zwróconego przez Metoda process. Zobacz VisionProcessorBase w przykładowej aplikacji z krótkim wprowadzeniem.

4. Uzyskiwanie informacji o wykrytych obiektach

Jeśli wywołanie metody process() się powiedzie, do funkcji DetectedObject zostanie przekazana lista elementów DetectedObject słuchaczem sukcesu.

Uwaga: w trybie strumieniowania detektor obiektów może przetworzyć 30 lub w zależności od wydajności urządzenia, zanim wykryje pierwsze

Każdy element DetectedObject zawiera te właściwości:

Ramka ograniczająca	Rect, który wskazuje położenie obiektu w .
Identyfikator śledzenia	Liczba całkowita, która identyfikuje obiekt na obrazach. Wartość null SINGLE_IMAGE_MODE.
Etykiety	Opis etykiety Opis tekstowy etykiety. Będzie to jeden ze znaków stałe zdefiniowane w zasadzie PredefinedCategory. Indeks etykiety Indeks etykiety wśród wszystkich etykiet obsługiwanych przez do klasyfikatora. Będzie to jedna ze stałych liczb całkowitych zdefiniowanych w usłudze PredefinedCategory. Poziom ufności etykiet Wartość ufności klasyfikacji obiektu.

KotlinJava

for (detectedObject in detectedObjects) {
    val boundingBox = detectedObject.boundingBox
    val trackingId = detectedObject.trackingId
    for (label in detectedObject.labels) {
        val text = label.text
        if (PredefinedCategory.FOOD == text) {
            ...
        }
        val index = label.index
        if (PredefinedCategory.FOOD_INDEX == index) {
            ...
        }
        val confidence = label.confidence
    }
}

// The list of detected objects contains one item if multiple
// object detection wasn't enabled.
for (DetectedObject detectedObject : detectedObjects) {
    Rect boundingBox = detectedObject.getBoundingBox();
    Integer trackingId = detectedObject.getTrackingId();
    for (Label label : detectedObject.getLabels()) {
        String text = label.getText();
        if (PredefinedCategory.FOOD.equals(text)) {
            ...
        }
        int index = label.getIndex();
        if (PredefinedCategory.FOOD_INDEX == index) {
            ...
        }
        float confidence = label.getConfidence();
    }
}

Dbanie o wygodę użytkowników

Aby zadbać o wygodę użytkowników, przestrzegaj tych wytycznych:

• Pomyślne wykrycie obiektu zależy od jego złożoności wizualnej. W są wykrywane, obiekty z niewielką liczbą funkcji wizualnych mogą wymagać aby zająć większą część obrazu. Należy dostarczyć użytkownikom wskazówki na temat tego, przechwytywanie danych wejściowych, które dobrze działają z rodzajami obiektów, które chcesz wykrywać.
• Gdy używasz klasyfikacji, aby wykrywać obiekty, które nie wypadają do obsługiwanych kategorii, zastosować specjalną obsługę nieznanych obiektów.

Zapoznaj się też z Aplikacja prezentująca ML Kit Material Design oraz Material Design Kolekcja Wzorce funkcji opartych na systemach uczących się.

Improving performance

Jeśli chcesz używać wykrywania obiektów w aplikacji działającej w czasie rzeczywistym, postępuj zgodnie z tymi instrukcjami wytycznych dotyczących uzyskiwania najlepszej liczby klatek na sekundę:

• Gdy używasz trybu strumieniowania w aplikacji działającej w czasie rzeczywistym, nie używaj wielu wykrywanie obiektów, ponieważ większość urządzeń nie jest w stanie wygenerować odpowiedniej liczby klatek na sekundę.

• Wyłącz klasyfikację, jeśli jej nie potrzebujesz.

• Jeśli używasz tagu Camera lub camera2 API, ograniczanie wywołań detektora. Jeśli nowy film ramka stanie się dostępna, gdy detektor będzie aktywny, upuść ją. Zobacz VisionProcessorBase w przykładowej aplikacji z krótkim wprowadzeniem.
• Jeśli używasz interfejsu API CameraX, upewnij się, że strategia obciążenia wstecznego jest ustawiona na wartość domyślną . ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST Gwarantuje to, że do analizy zostanie dostarczony tylko 1 obraz naraz. Jeśli więcej obrazów generowane, gdy analizator jest zajęty, są usuwane automatycznie i nie są umieszczane w kolejce . Po zamknięciu analizowanego obrazu przez wywołanie ImageProxy.close(), zostanie wyświetlony następny najnowszy obraz.
• Jeśli użyjesz danych wyjściowych detektora do nakładania grafiki na obrazu wejściowego, najpierw pobierz wynik z ML Kit, a następnie wyrenderuj obraz i nakładanie nakładek w jednym kroku. Powoduje to wyrenderowanie na powierzchni wyświetlania tylko raz na każdą ramkę wejściową. Zobacz CameraSourcePreview i . GraphicOverlay w przykładowej aplikacji z krótkim wprowadzeniem.
• Jeśli korzystasz z interfejsu API Camera2, rób zdjęcia w Format: ImageFormat.YUV_420_888. Jeśli używasz starszej wersji interfejsu Camera API, rób zdjęcia w Format: ImageFormat.NV21.