Bu sayfa, Cloud Translation API ile çevrilmiştir.

iOS'te ML Kiti ile yüzleri algılama

Görüntü ve videolardaki yüzleri algılamak için ML Kit'i kullanabilirsiniz.

Deneyin

Örnek uygulamayı kullanarak bu API'nin örnek kullanımını inceleyin.
Kodu, ile kendiniz deneyin codelab'e göz atın.

Başlamadan önce

Aşağıdaki ML Kit kapsüllerini Podfile'ınıza ekleyin:
```
pod 'GoogleMLKit/FaceDetection', '15.5.0'
```
.
Projenizin kapsüllerini yükledikten veya güncelledikten sonra .xcworkspace ML Kit, Xcode 12.4 veya sonraki sürümlerde desteklenir.

Giriş resmi kuralları

Yüz tanıma için en az 480x360 piksel boyutunda bir resim kullanmanız gerekir. ML Kit'in yüzleri doğru algılayabilmesi için giriş görüntülerinin yüzler içermesi gerekir temsil edilir. Genel olarak, görmek istediğiniz her yüz en az 100x100 piksel boyutunda olmalıdır. Belirli bir aktiviteyi Yüzlerin sınırları, makine öğrenimi kiti için daha yüksek çözünürlük girişi gerekir: her yüz en az 200x200 piksel olmalıdır.

Gerçek zamanlı bir uygulamada yüzler algılandığında ayrıca giriş resimlerinin genel boyutlarını göz önünde bulundurun. Daha küçük resimler daha hızlı işlenir. Bu nedenle, gecikmeyi azaltmak için görüntüleri düşük çözünürlüklerde yakalayın. yukarıdaki doğruluk şartlarını göz önünde bulundurun ve öznenin yüzü resmin mümkün olduğunca büyük kısmını kaplar. Şunlara da bakabilirsiniz: Gerçek zamanlı performansı iyileştirmeye yönelik ipuçları.

Kötü bir resim odağı, doğruluğu da etkileyebilir. Ekibimiz kabul edilmezse kullanıcının resmi yeniden çekmesini isteyin.

Bir yüzün kameraya göre yönü hangi yüzün üzerinde etkili olabilir Makine Öğrenimi Kiti'nin algıladığı özellikler. Görüntüleyin Yüz Algılama Kavramları.

1. Yüz algılayıcıyı yapılandırma

Bir resme yüz algılama özelliğini uygulamadan önce, yüz dedektörünün varsayılan ayarlarını seçtikten sonra, bu ayarları FaceDetectorOptions nesnesini tanımlayın. Şunları değiştirebilirsiniz: şu ayarlar:

Ayarlar
`performanceMode`	`fast` (varsayılan) \| `accurate` Yüzleri algılarken hızı veya doğruluğu tercih edin.
`landmarkMode`	`none` (varsayılan) \| `all` Yüzdeki "önemli noktaları" tespit etmeye çalışıp çalışmadığı kulak, burun, yanaklar, ağız.
`contourMode`	`none` (varsayılan) \| `all` Yüz özelliklerinin konturlarının algılanıp algılanmayacağı. Kontürler bir görüntüdeki yalnızca en belirgin yüz için algılandı.
`classificationMode`	`none` (varsayılan) \| `all` Yüzlerin "gülümseyen" gibi kategoriler halinde sınıflandırılıp sınıflandırılmayacağı ve "gözler açık" gibi.
`minFaceSize`	`CGFloat` (varsayılan: `0.1`) İstenen en küçük yüz boyutunu, resmin genişliğine göre değişir.
`isTrackingEnabled`	`false` (varsayılan) \| `true` Aşağıdakileri izlemek için kullanılabilecek bir kimlik atanıp atanmayacağı görüntüler. Kontür algılama etkinleştirildiğinde yalnızca bir yüzün bu yüzden yüz izleme faydalı sonuçlar üretmez. Bunun için algılama hızını artırmak için iki konturu da etkinleştirmeyin ve özellikleri bulunuyor.

Örneğin, bir FaceDetectorOptions aşağıdaki örneklerden birine benzer:

Swift

// High-accuracy landmark detection and face classification
let options = FaceDetectorOptions()
options.performanceMode = .accurate
options.landmarkMode = .all
options.classificationMode = .all

// Real-time contour detection of multiple faces
// options.contourMode = .all

Objective-C

// High-accuracy landmark detection and face classification
MLKFaceDetectorOptions *options = [[MLKFaceDetectorOptions alloc] init];
options.performanceMode = MLKFaceDetectorPerformanceModeAccurate;
options.landmarkMode = MLKFaceDetectorLandmarkModeAll;
options.classificationMode = MLKFaceDetectorClassificationModeAll;

// Real-time contour detection of multiple faces
// options.contourMode = MLKFaceDetectorContourModeAll;

2. Giriş resmini hazırlama

Bir görüntüdeki yüzleri algılamak için resmi UIImage veya CMSampleBufferRef FaceDetector process(_:completion:) veya results(in:) yöntemi:

Bir VisionImage nesnesi oluşturmak için UIImage veya CMSampleBuffer.

UIImage kullanıyorsanız şu adımları uygulayın:

UIImage ile bir VisionImage nesnesi oluşturun. Doğru .orientation değerini belirttiğinizden emin olun.

Swift

let image = VisionImage(image: UIImage)
visionImage.orientation = image.imageOrientation

Objective-C

MLKVisionImage *visionImage = [[MLKVisionImage alloc] initWithImage:image];
visionImage.orientation = image.imageOrientation;

CMSampleBuffer kullanıyorsanız şu adımları uygulayın:

Belgenin CMSampleBuffer

Resmin yönünü öğrenmek için:

Swift

func imageOrientation(
  deviceOrientation: UIDeviceOrientation,
  cameraPosition: AVCaptureDevice.Position
) -> UIImage.Orientation {
  switch deviceOrientation {
  case .portrait:
    return cameraPosition == .front ? .leftMirrored : .right
  case .landscapeLeft:
    return cameraPosition == .front ? .downMirrored : .up
  case .portraitUpsideDown:
    return cameraPosition == .front ? .rightMirrored : .left
  case .landscapeRight:
    return cameraPosition == .front ? .upMirrored : .down
  case .faceDown, .faceUp, .unknown:
    return .up
  }
}

Objective-C

- (UIImageOrientation)
  imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation
                         cameraPosition:(AVCaptureDevicePosition)cameraPosition {
  switch (deviceOrientation) {
    case UIDeviceOrientationPortrait:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationLeftMirrored
                                                            : UIImageOrientationRight;

    case UIDeviceOrientationLandscapeLeft:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationDownMirrored
                                                            : UIImageOrientationUp;
    case UIDeviceOrientationPortraitUpsideDown:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationRightMirrored
                                                            : UIImageOrientationLeft;
    case UIDeviceOrientationLandscapeRight:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationUpMirrored
                                                            : UIImageOrientationDown;
    case UIDeviceOrientationUnknown:
    case UIDeviceOrientationFaceUp:
    case UIDeviceOrientationFaceDown:
      return UIImageOrientationUp;
  }
}

Şu komutu kullanarak bir VisionImage nesnesi oluşturun: CMSampleBuffer nesne ve yön:

Swift

let image = VisionImage(buffer: sampleBuffer)
image.orientation = imageOrientation(
  deviceOrientation: UIDevice.current.orientation,
  cameraPosition: cameraPosition)

Objective-C

 MLKVisionImage *image = [[MLKVisionImage alloc] initWithBuffer:sampleBuffer];
 image.orientation =
   [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation
                                cameraPosition:cameraPosition];

3. FaceDetector örneği alma

FaceDetector öğesinin bir örneğini alın:

Swift

let faceDetector = FaceDetector.faceDetector(options: options)ViewController.swift

Objective-C

MLKFaceDetector *faceDetector = [MLKFaceDetector faceDetectorWithOptions:options];

4. Resmi işleyin

Ardından resmi process() yöntemine iletin:

Swift

weak var weakSelf = self
faceDetector.process(visionImage) { faces, error in
  guard let strongSelf = weakSelf else {
    print("Self is nil!")
    return
  }
  guard error == nil, let faces = faces, !faces.isEmpty else {
    // ...
    return
  }

  // Faces detected
  // ...
}ViewController.swift

Objective-C

[faceDetector processImage:image
                completion:^(NSArray<MLKFace *> *faces,
                             NSError *error) {
  if (error != nil) {
    return;
  }
  if (faces.count > 0) {
    // Recognized faces
  }
}];

5. Algılanan yüzler hakkında bilgi al

Yüz algılama işlemi başarılı olursa yüz dedektörü bir diziyi iletir Tamamlama işleyiciye Face nesne. Her biri Face nesnesi, resimde algılanan bir yüzü temsil eder. Örneğin, her bir yüzeyin sınırlayıcı koordinatlarını giriş görüntüsünde alabilirsiniz. Ayrıca, yüz dedektörünü bulacağı şekilde yapılandırdığınız diğer tüm bilgiler. Örneğin:

Swift

for face in faces {
  let frame = face.frame
  if face.hasHeadEulerAngleX {
    let rotX = face.headEulerAngleX  // Head is rotated to the uptoward rotX degrees
  }
  if face.hasHeadEulerAngleY {
    let rotY = face.headEulerAngleY  // Head is rotated to the right rotY degrees
  }
  if face.hasHeadEulerAngleZ {
    let rotZ = face.headEulerAngleZ  // Head is tilted sideways rotZ degrees
  }

  // If landmark detection was enabled (mouth, ears, eyes, cheeks, and
  // nose available):
  if let leftEye = face.landmark(ofType: .leftEye) {
    let leftEyePosition = leftEye.position
  }

  // If contour detection was enabled:
  if let leftEyeContour = face.contour(ofType: .leftEye) {
    let leftEyePoints = leftEyeContour.points
  }
  if let upperLipBottomContour = face.contour(ofType: .upperLipBottom) {
    let upperLipBottomPoints = upperLipBottomContour.points
  }

  // If classification was enabled:
  if face.hasSmilingProbability {
    let smileProb = face.smilingProbability
  }
  if face.hasRightEyeOpenProbability {
    let rightEyeOpenProb = face.rightEyeOpenProbability
  }

  // If face tracking was enabled:
  if face.hasTrackingID {
    let trackingId = face.trackingID
  }
}

Objective-C

for (MLKFace *face in faces) {
  // Boundaries of face in image
  CGRect frame = face.frame;
  if (face.hasHeadEulerAngleX) {
    CGFloat rotX = face.headEulerAngleX;  // Head is rotated to the upward rotX degrees
  }
  if (face.hasHeadEulerAngleY) {
    CGFloat rotY = face.headEulerAngleY;  // Head is rotated to the right rotY degrees
  }
  if (face.hasHeadEulerAngleZ) {
    CGFloat rotZ = face.headEulerAngleZ;  // Head is tilted sideways rotZ degrees
  }

  // If landmark detection was enabled (mouth, ears, eyes, cheeks, and
  // nose available):
  MLKFaceLandmark *leftEar = [face landmarkOfType:FIRFaceLandmarkTypeLeftEar];
  if (leftEar != nil) {
    MLKVisionPoint *leftEarPosition = leftEar.position;
  }

  // If contour detection was enabled:
  MLKFaceContour *upperLipBottomContour = [face contourOfType:FIRFaceContourTypeUpperLipBottom];
  if (upperLipBottomContour != nil) {
    NSArray<MLKVisionPoint *> *upperLipBottomPoints = upperLipBottomContour.points;
    if (upperLipBottomPoints.count > 0) {
      NSLog("Detected the bottom contour of the subject's upper lip.")
    }
  }

  // If classification was enabled:
  if (face.hasSmilingProbability) {
    CGFloat smileProb = face.smilingProbability;
  }
  if (face.hasRightEyeOpenProbability) {
    CGFloat rightEyeOpenProb = face.rightEyeOpenProbability;
  }

  // If face tracking was enabled:
  if (face.hasTrackingID) {
    NSInteger trackingID = face.trackingID;
  }
}

Yüz kontur örneği

Yüz kontur algılamayı etkinleştirdiğinizde, yüz konturu algılamayı etkinleştirdiğinizde Algılanan her yüz özelliği. Bu noktalar, noktanın şeklini özelliğini kullanabilirsiniz. Bkz. Yüz Kontürlerin nasıl göründüğüyle ilgili ayrıntılar için Algılama Kavramları temsil edilir.

Aşağıdaki resimde bu noktaların bir yüzle nasıl eşlendiği gösterilmektedir. Daha sonra resmi büyütün:

Gerçek zamanlı yüz algılama

Yüz algılamayı gerçek zamanlı bir uygulamada kullanmak istiyorsanız şuradaki talimatları uygulayın: talimatları uygulayın:

Yüz algılamayı aşağıdakilerden birini kullanacak şekilde yapılandırın: yalnızca yüz kontur algılama veya sınıflandırma ve önemli nokta algılama özellikleri kullanılabilir.

Kontur algılama
Önemli nokta algılama
Sınıflandırma
Önemli nokta algılama ve sınıflandırma
Kontur algılama ve önemli nokta algılama
Kontur algılama ve sınıflandırma
Kontur algılama, önemli nokta algılama ve sınıflandırma
fast modunu etkinleştir (varsayılan olarak etkindir).
Görüntüleri daha düşük çözünürlükte çekmeyi düşünün. Ancak unutmayın, resim boyutu şartlarına tabidir.
Video karelerini işlemek için algılayıcının results(in:) eşzamanlı API'sini kullanın. Telefonla arama AVCaptureVideoDataOutputSampleBufferDelegate İlgili videodan eşzamanlı olarak sonuç almak için captureOutput(_, didOutput:from:) işlevi çerçeve. sakla AVCaptureVideoDataOutput adlı kullanıcının Algılayıcıya yapılan çağrıları kısmak için true olarak alwaysDiscardsLateVideoFrames. Yeni bir Video karesi, algılayıcı çalışırken kullanılabilir hale gelir ve algılanmaz.
Algılayıcının çıkışını, üzerine grafik yerleştirmek için giriş görüntüsünü kullanın, önce ML Kit'ten sonucu alın ve ardından görüntüyü oluşturun tek bir adımda yapabilirsiniz. Bu şekilde, oluşturduğunuz öğeleri ekran yüzeyinde işlenen her giriş çerçevesi için yalnızca bir kez. Bkz. updatePreviewOverlayViewWithLastFrame ML Kit hızlı başlangıç örneğine göz atın.