Trang này được dịch bởi Cloud Translation API.

Phát hiện tư thế bằng Bộ công cụ học máy trên iOS

Bộ công cụ học máy cung cấp 2 SDK được tối ưu hoá để phát hiện tư thế.

Tên SDK	PoseDetection	PoseDetectionAccurate
Triển khai	Các thành phần của trình phát hiện cơ sở được liên kết tĩnh với ứng dụng của bạn tại thời điểm xây dựng.	Các thành phần của trình phát hiện chính xác được liên kết tĩnh với ứng dụng của bạn tại thời điểm xây dựng.
Kích thước ứng dụng	Tối đa 29,6 MB	Tối đa 33,2 MB
Hiệu suất	iPhone X: ~45FPS	iPhone X: ~29 khung hình/giây

Dùng thử

Dùng thử ứng dụng mẫu để xem ví dụ về cách sử dụng API này.

Trước khi bắt đầu

Đưa các nhóm Bộ công cụ học máy sau đây vào Podfile của bạn:

# If you want to use the base implementation:
pod 'GoogleMLKit/PoseDetection', '3.2.0'

# If you want to use the accurate implementation:
pod 'GoogleMLKit/PoseDetectionAccurate', '3.2.0'

Sau khi bạn cài đặt hoặc cập nhật các nhóm của dự án, hãy mở dự án Xcode bằng cách sử dụng xcworkspace của dự án. Bộ công cụ học máy được hỗ trợ trong phiên bản Xcode 13.2.1 trở lên.

1. Tạo một thực thể của `PoseDetector`

Để phát hiện một tư thế trong một hình ảnh, trước tiên, hãy tạo một thực thể của PoseDetector và chỉ định cài đặt trình phát hiện nếu muốn.

`PoseDetector` lựa chọn

Chế độ phát hiện

PoseDetector hoạt động ở 2 chế độ phát hiện. Hãy nhớ chọn phương thức phù hợp trường hợp sử dụng của bạn.

stream (mặc định): Trình phát hiện tư thế sẽ phát hiện ra nhiều thông tin nhất trước tiên người nổi bật trong ảnh rồi chạy tính năng phát hiện tư thế. Trong các khung tiếp theo, bước phát hiện người sẽ không được thực hiện trừ phi người đó bị che khuất hoặc không còn được phát hiện với độ tin cậy cao. Trình phát hiện tư thế sẽ cố gắng theo dõi người nổi bật nhất và trả lại tư thế của họ trong mỗi lần suy luận. Điều này làm giảm độ trễ và làm mượt việc phát hiện. Sử dụng chế độ này khi bạn muốn phát hiện tư thế trong luồng video.
singleImage: Trình phát hiện tư thế sẽ phát hiện một người và sau đó chạy tư thế của bạn. Bước phát hiện người sẽ chạy cho mọi hình ảnh nên độ trễ sẽ cao hơn và không có hoạt động theo dõi người dùng. Sử dụng chế độ này khi tập tư thế phát hiện trên hình ảnh tĩnh hoặc nơi không muốn theo dõi.

Chỉ định các tuỳ chọn của trình phát hiện tư thế:

Swift

// Base pose detector with streaming, when depending on the PoseDetection SDK
let options = PoseDetectorOptions()
options.detectorMode = .stream

// Accurate pose detector on static images, when depending on the
// PoseDetectionAccurate SDK
let options = AccuratePoseDetectorOptions()
options.detectorMode = .singleImage

Objective-C

// Base pose detector with streaming, when depending on the PoseDetection SDK
MLKPoseDetectorOptions *options = [[MLKPoseDetectorOptions alloc] init];
options.detectorMode = MLKPoseDetectorModeStream;

// Accurate pose detector on static images, when depending on the
// PoseDetectionAccurate SDK
MLKAccuratePoseDetectorOptions *options =
    [[MLKAccuratePoseDetectorOptions alloc] init];
options.detectorMode = MLKPoseDetectorModeSingleImage;

Cuối cùng, hãy lấy một thực thể của PoseDetector. Chuyển các tuỳ chọn bạn đã chỉ định:

Swift

let poseDetector = PoseDetector.poseDetector(options: options)

Objective-C

MLKPoseDetector *poseDetector =
    [MLKPoseDetector poseDetectorWithOptions:options];

2. Chuẩn bị hình ảnh đầu vào

Để phát hiện các tư thế, hãy làm như sau cho từng hình ảnh hoặc khung video. Nếu đã bật chế độ phát trực tuyến, bạn phải tạo các đối tượng VisionImage từ CMSampleBuffer giây.

Tạo đối tượng VisionImage bằng UIImage hoặc CMSampleBuffer.

Nếu bạn sử dụng UIImage, hãy làm theo các bước sau:

Tạo đối tượng VisionImage bằng UIImage. Hãy nhớ chỉ định đúng .orientation.

Swift

let image = VisionImage(image: UIImage)
visionImage.orientation = image.imageOrientation

Objective-C

MLKVisionImage *visionImage = [[MLKVisionImage alloc] initWithImage:image];
visionImage.orientation = image.imageOrientation;

Nếu bạn sử dụng CMSampleBuffer, hãy làm theo các bước sau:

Chỉ định hướng của dữ liệu hình ảnh có trong CMSampleBuffer.

Cách lấy hướng ảnh:

Swift

func imageOrientation(
  deviceOrientation: UIDeviceOrientation,
  cameraPosition: AVCaptureDevice.Position
) -> UIImage.Orientation {
  switch deviceOrientation {
  case .portrait:
    return cameraPosition == .front ? .leftMirrored : .right
  case .landscapeLeft:
    return cameraPosition == .front ? .downMirrored : .up
  case .portraitUpsideDown:
    return cameraPosition == .front ? .rightMirrored : .left
  case .landscapeRight:
    return cameraPosition == .front ? .upMirrored : .down
  case .faceDown, .faceUp, .unknown:
    return .up
  }
}

Objective-C

- (UIImageOrientation)
  imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation
                         cameraPosition:(AVCaptureDevicePosition)cameraPosition {
  switch (deviceOrientation) {
    case UIDeviceOrientationPortrait:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationLeftMirrored
                                                            : UIImageOrientationRight;

    case UIDeviceOrientationLandscapeLeft:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationDownMirrored
                                                            : UIImageOrientationUp;
    case UIDeviceOrientationPortraitUpsideDown:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationRightMirrored
                                                            : UIImageOrientationLeft;
    case UIDeviceOrientationLandscapeRight:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationUpMirrored
                                                            : UIImageOrientationDown;
    case UIDeviceOrientationUnknown:
    case UIDeviceOrientationFaceUp:
    case UIDeviceOrientationFaceDown:
      return UIImageOrientationUp;
  }
}

Tạo đối tượng VisionImage bằng cách sử dụng Đối tượng và hướng CMSampleBuffer:

Swift

let image = VisionImage(buffer: sampleBuffer)
image.orientation = imageOrientation(
  deviceOrientation: UIDevice.current.orientation,
  cameraPosition: cameraPosition)

Objective-C

 MLKVisionImage *image = [[MLKVisionImage alloc] initWithBuffer:sampleBuffer];
 image.orientation =
   [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation
                                cameraPosition:cameraPosition];

3. Xử lý hình ảnh

Truyền VisionImage đến một trong các phương thức xử lý hình ảnh của trình phát hiện tư thế. Bạn có thể sử dụng phương thức process(image:) không đồng bộ hoặc phương thức results() đồng bộ.

Cách phát hiện đối tượng một cách đồng bộ:

Swift

var results: [Pose]
do {
  results = try poseDetector.results(in: image)
} catch let error {
  print("Failed to detect pose with error: \(error.localizedDescription).")
  return
}
guard let detectedPoses = results, !detectedPoses.isEmpty else {
  print("Pose detector returned no results.")
  return
}

// Success. Get pose landmarks here.

Objective-C

NSError *error;
NSArray *poses = [poseDetector resultsInImage:image error:&error];
if (error != nil) {
  // Error.
  return;
}
if (poses.count == 0) {
  // No pose detected.
  return;
}

// Success. Get pose landmarks here.

Cách phát hiện đối tượng không đồng bộ:

Swift

poseDetector.process(image) { detectedPoses, error in
  guard error == nil else {
    // Error.
    return
  }
  guard !detectedPoses.isEmpty else {
    // No pose detected.
    return
  }

  // Success. Get pose landmarks here.
}

Objective-C

[poseDetector processImage:image
                completion:^(NSArray * _Nullable poses,
                             NSError * _Nullable error) {
                    if (error != nil) {
                      // Error.
                      return;
                    }
                    if (poses.count == 0) {
                      // No pose detected.
                      return;
                    }

                    // Success. Get pose landmarks here.
                  }];

4. Xem thông tin về tư thế phát hiện được

Nếu phát hiện thấy một người trong hình ảnh, API phát hiện tư thế sẽ truyền mảng đối tượng Pose cho trình xử lý hoàn thành hoặc trả về mảng, tuỳ thuộc vào việc bạn đã gọi phương thức không đồng bộ hay đồng bộ.

Nếu người đó không nằm hoàn toàn trong hình ảnh, mô hình sẽ chỉ định các điểm mốc bị thiếu toạ độ bên ngoài khung và đặt chúng ở vị trí thấp Các giá trị InFrameReporting.

Nếu không phát hiện thấy người nào thì mảng trống.

Swift

for pose in detectedPoses {
  let leftAnkleLandmark = pose.landmark(ofType: .leftAnkle)
  if leftAnkleLandmark.inFrameLikelihood > 0.5 {
    let position = leftAnkleLandmark.position
  }
}

Objective-C

for (MLKPose *pose in detectedPoses) {
  MLKPoseLandmark *leftAnkleLandmark =
      [pose landmarkOfType:MLKPoseLandmarkTypeLeftAnkle];
  if (leftAnkleLandmark.inFrameLikelihood > 0.5) {
    MLKVision3DPoint *position = leftAnkleLandmark.position;
  }
}

Mẹo cải thiện hiệu suất

Chất lượng của kết quả tìm kiếm phụ thuộc vào chất lượng của hình ảnh đầu vào:

Để Bộ công cụ học máy phát hiện chính xác tư thế, người trong ảnh phải được thể hiện bằng đủ dữ liệu pixel; để có hiệu suất tốt nhất, đối tượng phải tối thiểu là 256x256 pixel.
Nếu bạn phát hiện tư thế trong ứng dụng theo thời gian thực, có thể bạn cũng nên cân nhắc kích thước tổng thể của hình ảnh đầu vào. Có thể xử lý hình ảnh nhỏ hơn nhanh hơn, vì vậy để giảm độ trễ, hãy chụp ảnh ở độ phân giải thấp hơn, nhưng vẫn chú ý đến các yêu cầu giải quyết ở trên và đảm bảo rằng đối tượng chiếm phần hình ảnh nhiều nhất có thể.
Tiêu điểm ảnh kém cũng có thể ảnh hưởng đến độ chính xác. Nếu bạn không nhận được kết quả có thể chấp nhận được, hãy yêu cầu người dùng chụp lại hình ảnh.

Nếu bạn muốn sử dụng tính năng phát hiện tư thế trong ứng dụng theo thời gian thực, hãy làm theo các nguyên tắc sau để đạt được tốc độ khung hình tốt nhất:

Dùng SDK PoseDetection cơ bản và chế độ phát hiện stream.
Hãy cân nhắc chụp ảnh ở độ phân giải thấp hơn. Tuy nhiên, bạn cũng cần lưu ý các yêu cầu về kích thước hình ảnh của API này.
Để xử lý khung hình video, hãy sử dụng API đồng bộ results(in:) của trình phát hiện. Gọi phương thức này từ hàm AVCaptureVideoDataOutputSampleBufferDelegate Hàm captureOutput(_, didOutput:from:) để nhận kết quả một cách đồng bộ từ khung video đã cho. Giữ nguyên giá trị thực của alwaysDiscardsLateVideoFrames của AVCaptureVideoDataOutput với các lệnh gọi điều tiết đến trình phát hiện. Nếu có một khung hình video mới trong khi trình phát hiện đang chạy, thì khung đó sẽ bị loại bỏ.
Nếu bạn dùng dữ liệu đầu ra của trình phát hiện để phủ đồ hoạ lên hình ảnh đầu vào, trước tiên, hãy lấy kết quả từ Bộ công cụ học máy, sau đó kết xuất hình ảnh và lớp phủ chỉ trong một bước duy nhất. Bằng cách này, bạn chỉ kết xuất lên bề mặt hiển thị một lần cho mỗi khung đầu vào đã xử lý. Xem previewOverlayView và MLKDetectionOverlayView trong ứng dụng mẫu Showcase.

Các bước tiếp theo

Để tìm hiểu cách sử dụng điểm mốc giúp phân loại các tư thế, hãy xem Mẹo phân loại ống.
Hãy xem mẫu bắt đầu nhanh Bộ công cụ học máy trên GitHub để biết ví dụ về cách sử dụng API này.

Phát hiện tư thế bằng Bộ công cụ học máy trên iOS

Dùng thử

Trước khi bắt đầu

1. Tạo một thực thể của PoseDetector

PoseDetector lựa chọn

Chế độ phát hiện

Swift

Objective-C

Swift

Objective-C

2. Chuẩn bị hình ảnh đầu vào

Swift

Objective-C

Swift

Objective-C

Swift

Objective-C

3. Xử lý hình ảnh

Swift

Objective-C

Swift

Objective-C

4. Xem thông tin về tư thế phát hiện được

Swift

Objective-C

Mẹo cải thiện hiệu suất

Các bước tiếp theo

1. Tạo một thực thể của `PoseDetector`

`PoseDetector` lựa chọn