Cette page a été traduite par l'API Cloud Translation.

Détecter des postures avec ML Kit sur iOS

ML Kit fournit deux SDK optimisés pour la détection des postures.

Nom du SDK	PoseDetection	PoseDetectionAccurate
Implémentation	Les éléments du détecteur de base sont associés de manière statique à votre application au moment de la compilation.	Pour un détecteur précis, les éléments sont associés de manière statique à votre application au moment de la compilation.
Taille d'application	Jusqu'à 29,6 Mo	Jusqu'à 33,2 Mo
Performances	iPhone X: ~45FPS	iPhone X: ~29FPS

Essayer

Jouez avec l'application exemple pour voir un exemple d'utilisation de cette API.

Avant de commencer

Incluez les pods ML Kit suivants dans votre Podfile:

# If you want to use the base implementation:
pod 'GoogleMLKit/PoseDetection', '3.2.0'

# If you want to use the accurate implementation:
pod 'GoogleMLKit/PoseDetectionAccurate', '3.2.0'

Après avoir installé ou mis à jour les pods de votre projet, ouvrez votre projet Xcode à l'aide de son xcworkspace. ML Kit est compatible avec Xcode 13.2.1 ou version ultérieure.

1. Créer une instance de `PoseDetector`

Pour détecter une posture dans une image, créez d'abord une instance de PoseDetector et spécifiez éventuellement les paramètres du détecteur.

Options `PoseDetector`

Mode Détection

Le PoseDetector fonctionne dans deux modes de détection. Veillez à choisir celle qui correspond à votre cas d'utilisation.

stream (par défaut): Le détecteur de postures détecte d'abord la personne la plus visible sur l'image, puis lance la détection des postures. Dans les images suivantes, l'étape de détection de personnes n'est pas lancée, sauf si la personne est masquée ou n'est plus détectée avec un niveau de confiance élevé. Le détecteur de pose essaie de suivre la personne la plus visible et de renvoyer sa position dans chaque inférence. Cela réduit la latence et facilite la détection. Utilisez ce mode lorsque vous souhaitez détecter une posture dans un flux vidéo.
singleImage: Le détecteur de poses détecte une personne, puis lance la détection des postures. L'étape de détection de personnes sera exécutée pour chaque image. La latence sera donc plus élevée et il n'y aura pas de suivi des personnes. Utilisez ce mode lorsque vous utilisez la détection des postures sur des images statiques ou lorsque le suivi n'est pas souhaité.

Spécifiez les options du détecteur de poses:

Swift

// Base pose detector with streaming, when depending on the PoseDetection SDK
let options = PoseDetectorOptions()
options.detectorMode = .stream

// Accurate pose detector on static images, when depending on the
// PoseDetectionAccurate SDK
let options = AccuratePoseDetectorOptions()
options.detectorMode = .singleImage

Objective-C

// Base pose detector with streaming, when depending on the PoseDetection SDK
MLKPoseDetectorOptions *options = [[MLKPoseDetectorOptions alloc] init];
options.detectorMode = MLKPoseDetectorModeStream;

// Accurate pose detector on static images, when depending on the
// PoseDetectionAccurate SDK
MLKAccuratePoseDetectorOptions *options =
    [[MLKAccuratePoseDetectorOptions alloc] init];
options.detectorMode = MLKPoseDetectorModeSingleImage;

Enfin, récupérez une instance de PoseDetector. Transmettez les options que vous avez spécifiées:

Swift

let poseDetector = PoseDetector.poseDetector(options: options)

Objective-C

MLKPoseDetector *poseDetector =
    [MLKPoseDetector poseDetectorWithOptions:options];

2. Préparer l'image d'entrée

Pour détecter les postures, procédez comme suit pour chaque image ou frame de la vidéo. Si vous avez activé le mode de traitement par flux, vous devez créer des objets VisionImage à partir de CMSampleBuffer.

Créez un objet VisionImage à l'aide d'un UIImage ou d'un CMSampleBuffer.

Si vous utilisez un UIImage, procédez comme suit:

Créez un objet VisionImage avec UIImage. Veillez à spécifier le bon .orientation.

Swift

let image = VisionImage(image: UIImage)
visionImage.orientation = image.imageOrientation

Objective-C

MLKVisionImage *visionImage = [[MLKVisionImage alloc] initWithImage:image];
visionImage.orientation = image.imageOrientation;

Si vous utilisez un CMSampleBuffer, procédez comme suit:

Spécifiez l'orientation des données d'image contenues dans CMSampleBuffer.

Pour obtenir l'orientation de l'image:

Swift

func imageOrientation(
  deviceOrientation: UIDeviceOrientation,
  cameraPosition: AVCaptureDevice.Position
) -> UIImage.Orientation {
  switch deviceOrientation {
  case .portrait:
    return cameraPosition == .front ? .leftMirrored : .right
  case .landscapeLeft:
    return cameraPosition == .front ? .downMirrored : .up
  case .portraitUpsideDown:
    return cameraPosition == .front ? .rightMirrored : .left
  case .landscapeRight:
    return cameraPosition == .front ? .upMirrored : .down
  case .faceDown, .faceUp, .unknown:
    return .up
  }
}

Objective-C

- (UIImageOrientation)
  imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation
                         cameraPosition:(AVCaptureDevicePosition)cameraPosition {
  switch (deviceOrientation) {
    case UIDeviceOrientationPortrait:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationLeftMirrored
                                                            : UIImageOrientationRight;

    case UIDeviceOrientationLandscapeLeft:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationDownMirrored
                                                            : UIImageOrientationUp;
    case UIDeviceOrientationPortraitUpsideDown:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationRightMirrored
                                                            : UIImageOrientationLeft;
    case UIDeviceOrientationLandscapeRight:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationUpMirrored
                                                            : UIImageOrientationDown;
    case UIDeviceOrientationUnknown:
    case UIDeviceOrientationFaceUp:
    case UIDeviceOrientationFaceDown:
      return UIImageOrientationUp;
  }
}

Créez un objet VisionImage à l'aide de l'objet CMSampleBuffer et de l'orientation:

Swift

let image = VisionImage(buffer: sampleBuffer)
image.orientation = imageOrientation(
  deviceOrientation: UIDevice.current.orientation,
  cameraPosition: cameraPosition)

Objective-C

 MLKVisionImage *image = [[MLKVisionImage alloc] initWithBuffer:sampleBuffer];
 image.orientation =
   [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation
                                cameraPosition:cameraPosition];

3. Traiter l'image

Transmettez VisionImage à l'une des méthodes de traitement d'image du détecteur de poses. Vous pouvez utiliser la méthode process(image:) asynchrone ou la méthode results() synchrone.

Pour détecter des objets de manière synchrone:

Swift

var results: [Pose]
do {
  results = try poseDetector.results(in: image)
} catch let error {
  print("Failed to detect pose with error: \(error.localizedDescription).")
  return
}
guard let detectedPoses = results, !detectedPoses.isEmpty else {
  print("Pose detector returned no results.")
  return
}

// Success. Get pose landmarks here.

Objective-C

NSError *error;
NSArray *poses = [poseDetector resultsInImage:image error:&error];
if (error != nil) {
  // Error.
  return;
}
if (poses.count == 0) {
  // No pose detected.
  return;
}

// Success. Get pose landmarks here.

Pour détecter des objets de manière asynchrone:

Swift

poseDetector.process(image) { detectedPoses, error in
  guard error == nil else {
    // Error.
    return
  }
  guard !detectedPoses.isEmpty else {
    // No pose detected.
    return
  }

  // Success. Get pose landmarks here.
}

Objective-C

[poseDetector processImage:image
                completion:^(NSArray * _Nullable poses,
                             NSError * _Nullable error) {
                    if (error != nil) {
                      // Error.
                      return;
                    }
                    if (poses.count == 0) {
                      // No pose detected.
                      return;
                    }

                    // Success. Get pose landmarks here.
                  }];

4. Obtenir des informations sur la posture détectée

Si une personne est détectée dans l'image, l'API de détection de poses transmet un tableau d'objets Pose au gestionnaire d'achèvement ou renvoie le tableau, selon que vous avez appelé la méthode asynchrone ou synchrone.

Si la personne n'était pas complètement à l'intérieur de l'image, le modèle attribue les coordonnées des points de repère manquants en dehors du cadre et leur attribue des valeurs InFrameConfidence faibles.

Si aucune personne n'a été détectée, le tableau est vide.

Swift

for pose in detectedPoses {
  let leftAnkleLandmark = pose.landmark(ofType: .leftAnkle)
  if leftAnkleLandmark.inFrameLikelihood > 0.5 {
    let position = leftAnkleLandmark.position
  }
}

Objective-C

for (MLKPose *pose in detectedPoses) {
  MLKPoseLandmark *leftAnkleLandmark =
      [pose landmarkOfType:MLKPoseLandmarkTypeLeftAnkle];
  if (leftAnkleLandmark.inFrameLikelihood > 0.5) {
    MLKVision3DPoint *position = leftAnkleLandmark.position;
  }
}

Conseils pour améliorer les performances

La qualité des résultats dépend de la qualité de l'image d'entrée:

Pour que ML Kit détecte avec précision la pose, la personne sur l'image doit être représentée par suffisamment de données de pixels. Pour des performances optimales, le sujet doit mesurer au moins 256 x 256 pixels.
Si vous détectez une pose dans une application en temps réel, vous pouvez également tenir compte des dimensions globales des images d'entrée. Les images de petite taille peuvent être traitées plus rapidement. Pour réduire la latence, capturez des images à des résolutions inférieures, mais gardez à l'esprit les exigences de résolution ci-dessus et assurez-vous que le sujet occupe une grande partie de l'image.
Une mauvaise mise au point de l'image peut également nuire à sa précision. Si les résultats ne sont pas satisfaisants, demandez à l'utilisateur de capturer à nouveau l'image.

Si vous souhaitez utiliser la détection des postures dans une application en temps réel, suivez ces consignes pour obtenir une fréquence d'images optimale:

Utilisez le SDK PoseDetection de base et le mode de détection stream.
Envisagez de capturer des images à une résolution plus faible. Cependant, gardez également à l'esprit les exigences de cette API concernant les dimensions de l'image.
Pour traiter les images vidéo, utilisez l'API synchrone results(in:) du détecteur. Appelez cette méthode à partir de la fonction AVCaptureVideoDataOutputSampleBufferDelegate de captureOutput(_, didOutput:from:) pour obtenir des résultats de manière synchrone à partir de l'image vidéo donnée. Laissez la valeur alwaysDiscardsLateVideoFrames de AVCaptureVideoDataOutput définie sur "true" pour limiter les appels au détecteur. Si une nouvelle image vidéo devient disponible alors que le détecteur est en cours d'exécution, elle est supprimée.
Si vous utilisez la sortie du détecteur pour superposer des graphiques sur l'image d'entrée, obtenez d'abord le résultat de ML Kit, puis effectuez le rendu de l'image et de la superposition en une seule étape. Ainsi, vous n'effectuez le rendu sur la surface d'affichage qu'une seule fois pour chaque image d'entrée traitée. Consultez les classes previewOverlayView et MLKDetectionOverlayView dans l'application exemple Showcase pour voir un exemple.

Étapes suivantes

Pour découvrir comment classer des postures à l'aide des repères de postures, consultez la page Conseils pour la classification des poses.
Consultez l'exemple de démarrage rapide de ML Kit sur GitHub pour découvrir un exemple d'utilisation de cette API.

Détecter des postures avec ML Kit sur iOS

Essayer

Avant de commencer

1. Créer une instance de PoseDetector

Options PoseDetector

Mode Détection

Swift

Objective-C

Swift

Objective-C

2. Préparer l'image d'entrée

Swift

Objective-C

Swift

Objective-C

Swift

Objective-C

3. Traiter l'image

Swift

Objective-C

Swift

Objective-C

4. Obtenir des informations sur la posture détectée

Swift

Objective-C

Conseils pour améliorer les performances

Étapes suivantes

1. Créer une instance de `PoseDetector`

Options `PoseDetector`