이 페이지는 Cloud Translation API를 통해 번역되었습니다.

iOS에서 커스텀 모델을 사용하여 이미지 라벨 지정

ML Kit를 사용하여 이미지 속 항목을 인식하고 라벨을 지정할 수 있습니다. 이 API는 다양한 커스텀 이미지 분류 모델을 지원합니다. 제발 자세한 내용은 ML Kit를 사용한 맞춤 모델을 참조하세요. 모델 호환성 요구사항, 선행 학습된 모델을 찾을 수 있는 위치, 자체 모델을 학습시키는 방법을 알아봅니다.

커스텀 모델을 통합하는 방법에는 두 가지가 있습니다. 다음을 기준으로 모델을 번들로 묶을 수 있습니다. 앱의 애셋 폴더에 넣거나 동적으로 다운로드할 수 있습니다. 있습니다. 다음 표에서는 두 가지 옵션을 비교합니다.

번들 모델	호스팅된 모델
모델이 앱 APK에 포함되어 크기가 커집니다.	모델이 APK의 일부가 아닙니다. 에 업로드되어 호스팅됩니다. Firebase 머신러닝.
Android 기기가 오프라인 상태일 때도 모델을 즉시 사용할 수 있습니다.	모델이 요청 시 다운로드됩니다.
Firebase 프로젝트가 필요하지 않음	Firebase 프로젝트 필요
모델을 업데이트하려면 앱을 다시 게시해야 합니다.	앱을 다시 게시할 필요 없이 모델 업데이트 푸시
A/B 테스트 기본 제공 없음	Firebase 원격 구성으로 간편하게 A/B 테스트 진행

사용해 보기

Vision 빠른 시작 앱 보기 를 참조하세요. automl 빠른 시작 앱을 호스팅된 모델의 사용 예시입니다.

시작하기 전에

Podfile에 ML Kit 라이브러리를 포함합니다.

모델을 앱과 번들로 묶는 방법은 다음과 같습니다.
```
pod 'GoogleMLKit/ImageLabelingCustom', '3.2.0'
```
Firebase에서 모델을 동적으로 다운로드하려면 LinkFirebase를 추가합니다. 종속됩니다.
```
pod 'GoogleMLKit/ImageLabelingCustom', '3.2.0'
pod 'GoogleMLKit/LinkFirebase', '3.2.0'
```
프로젝트의 포드를 설치하거나 업데이트한 후 Xcode 프로젝트를 엽니다. .xcworkspace를 사용하여 호출 ML Kit는 Xcode 버전 13.2.1에서 지원됩니다. 또는 그 이상일 수 있습니다.
모델을 다운로드하려면 iOS 프로젝트에 Firebase 추가 확인하세요. 이 작업은 있습니다.

1. 모델 로드

로컬 모델 소스 구성

모델을 앱과 번들로 묶으려면 다음 안내를 따르세요.

모델 파일 (일반적으로 .tflite 또는 .lite로 끝남)을 Xcode에 복사합니다. 이 경우 Copy bundle resources를 선택해야 합니다. 이 모델 파일이 App Bundle에 포함되어 ML Kit에서 사용할 수 있게 됩니다.

모델 파일의 경로를 지정하여 LocalModel 객체를 만듭니다.

Swift

let localModel = LocalModel(path: localModelFilePath)

Objective-C

MLKLocalModel *localModel =
    [[MLKLocalModel alloc] initWithPath:localModelFilePath];

를 통해 개인정보처리방침을 정의할 수 있습니다.

Firebase 호스팅 모델 소스 구성

원격 호스팅 모델을 사용하려면 RemoteModel 객체를 만들고 모델을 게시할 때 할당한 이름:

Swift

let firebaseModelSource = FirebaseModelSource(
    name: "your_remote_model") // The name you assigned in
                               // the Firebase console.
let remoteModel = CustomRemoteModel(remoteModelSource: firebaseModelSource)

Objective-C

MLKFirebaseModelSource *firebaseModelSource =
    [[MLKFirebaseModelSource alloc]
        initWithName:@"your_remote_model"]; // The name you assigned in
                                            // the Firebase console.
MLKCustomRemoteModel *remoteModel =
    [[MLKCustomRemoteModel alloc]
        initWithRemoteModelSource:firebaseModelSource];

그런 다음 모델을 다운로드할 조건을 지정하여 모델 다운로드 작업을 선택합니다. 모델이 기기에 없거나 최신 모델이 사용 가능해지면 태스크는 DAG를 비동기식으로 있습니다.

Swift

let downloadConditions = ModelDownloadConditions(
  allowsCellularAccess: true,
  allowsBackgroundDownloading: true
)

let downloadProgress = ModelManager.modelManager().download(
  remoteModel,
  conditions: downloadConditions
)

Objective-C

MLKModelDownloadConditions *downloadConditions =
    [[MLKModelDownloadConditions alloc] initWithAllowsCellularAccess:YES
                                         allowsBackgroundDownloading:YES];

NSProgress *downloadProgress =
    [[MLKModelManager modelManager] downloadModel:remoteModel
                                       conditions:downloadConditions];

대부분의 앱은 초기화 코드에서 다운로드 작업을 시작하지만 모델을 사용하기 전에 언제든지 이 작업을 할 수 있습니다.

이미지 라벨러 구성

모델 소스를 구성한 후 모델 소스에서 ImageLabeler 객체를 만듭니다. 있습니다.

사용할 수 있는 옵션은 다음과 같습니다.

옵션
`confidenceThreshold`	감지된 라벨의 최소 신뢰도 점수입니다. 설정하지 않으면 모델의 메타데이터에 지정된 분류 기준 임곗값이 사용됩니다. 모델에 메타데이터가 없거나 메타데이터가 포함되지 않은 경우 분류 기준 임곗값을 지정하면 기본 임곗값인 0.0이 있습니다.
`maxResultCount`	반환할 최대 라벨 수입니다. 설정하지 않으면 10이 사용됩니다.

로컬로 번들된 모델만 있다면 LocalModel 객체:

Swift

let options = CustomImageLabelerOptions(localModel: localModel)
options.confidenceThreshold = NSNumber(value: 0.0)
let imageLabeler = ImageLabeler.imageLabeler(options: options)

Objective-C

MLKCustomImageLabelerOptions *options =
    [[MLKCustomImageLabelerOptions alloc] initWithLocalModel:localModel];
options.confidenceThreshold = @(0.0);
MLKImageLabeler *imageLabeler =
    [MLKImageLabeler imageLabelerWithOptions:options];

원격 호스팅 모델이 있는 경우에는 모델이 다운로드할 수 있습니다. 모델 다운로드 상태를 확인할 수 있습니다. 모델 관리자의 isModelDownloaded(remoteModel:) 메서드를 사용하여 태스크를 수행합니다.

이는 라벨러를 실행하기 전에만 확인하면 되지만 원격 호스팅 모델과 로컬로 번들된 모델이 모두 있는 경우 ImageLabeler를 인스턴스화할 때 이 확인을 실행하는 것이 좋습니다. 다운로드된 경우 원격 모델에서, 그리고 로컬 모델에서 라벨을 지정합니다. 없습니다.

Swift

var options: CustomImageLabelerOptions!
if (ModelManager.modelManager().isModelDownloaded(remoteModel)) {
  options = CustomImageLabelerOptions(remoteModel: remoteModel)
} else {
  options = CustomImageLabelerOptions(localModel: localModel)
}
options.confidenceThreshold = NSNumber(value: 0.0)
let imageLabeler = ImageLabeler.imageLabeler(options: options)

Objective-C

MLKCustomImageLabelerOptions *options;
if ([[MLKModelManager modelManager] isModelDownloaded:remoteModel]) {
  options = [[MLKCustomImageLabelerOptions alloc] initWithRemoteModel:remoteModel];
} else {
  options = [[MLKCustomImageLabelerOptions alloc] initWithLocalModel:localModel];
}
options.confidenceThreshold = @(0.0);
MLKImageLabeler *imageLabeler =
    [MLKImageLabeler imageLabelerWithOptions:options];

원격 호스팅 모델만 있는 경우 모델 관련 사용을 중지해야 합니다. 비활성화되거나 UI의 일부를 숨기는 등의 작업을 할 수 없습니다. 모델이 다운로드되었음을 확인합니다.

기본값에 관찰자를 연결하여 모델 다운로드 상태를 가져올 수 있습니다. 알림 센터를 탭합니다. 관찰자에서 self의 약한 참조를 사용해야 합니다. 다운로드하는 데 시간이 걸릴 수 있고 원래 객체는 다운로드가 완료되면 해제됩니다. 예를 들면 다음과 같습니다.

Swift

NotificationCenter.default.addObserver(
    forName: .mlkitModelDownloadDidSucceed,
    object: nil,
    queue: nil
) { [weak self] notification in
    guard let strongSelf = self,
        let userInfo = notification.userInfo,
        let model = userInfo[ModelDownloadUserInfoKey.remoteModel.rawValue]
            as? RemoteModel,
        model.name == "your_remote_model"
        else { return }
    // The model was downloaded and is available on the device
}

NotificationCenter.default.addObserver(
    forName: .mlkitModelDownloadDidFail,
    object: nil,
    queue: nil
) { [weak self] notification in
    guard let strongSelf = self,
        let userInfo = notification.userInfo,
        let model = userInfo[ModelDownloadUserInfoKey.remoteModel.rawValue]
            as? RemoteModel
        else { return }
    let error = userInfo[ModelDownloadUserInfoKey.error.rawValue]
    // ...
}

Objective-C

__weak typeof(self) weakSelf = self;

[NSNotificationCenter.defaultCenter
    addObserverForName:MLKModelDownloadDidSucceedNotification
                object:nil
                 queue:nil
            usingBlock:^(NSNotification *_Nonnull note) {
              if (weakSelf == nil | note.userInfo == nil) {
                return;
              }
              __strong typeof(self) strongSelf = weakSelf;

              MLKRemoteModel *model = note.userInfo[MLKModelDownloadUserInfoKeyRemoteModel];
              if ([model.name isEqualToString:@"your_remote_model"]) {
                // The model was downloaded and is available on the device
              }
            }];

[NSNotificationCenter.defaultCenter
    addObserverForName:MLKModelDownloadDidFailNotification
                object:nil
                 queue:nil
            usingBlock:^(NSNotification *_Nonnull note) {
              if (weakSelf == nil | note.userInfo == nil) {
                return;
              }
              __strong typeof(self) strongSelf = weakSelf;

              NSError *error = note.userInfo[MLKModelDownloadUserInfoKeyError];
            }];

2. 입력 이미지 준비

VisionImage 객체를 UIImage 또는 CMSampleBuffer입니다.

UIImage를 사용하는 경우 다음 단계를 따르세요.

UIImage로 VisionImage 객체를 만듭니다. 올바른 .orientation를 지정해야 합니다.

Swift

let image = VisionImage(image: UIImage)
visionImage.orientation = image.imageOrientation

Objective-C

MLKVisionImage *visionImage = [[MLKVisionImage alloc] initWithImage:image];
visionImage.orientation = image.imageOrientation;

CMSampleBuffer를 사용하는 경우 다음 단계를 따르세요.

CMSampleBuffer

이미지 방향을 가져오는 방법은 다음과 같습니다.

Swift

func imageOrientation(
  deviceOrientation: UIDeviceOrientation,
  cameraPosition: AVCaptureDevice.Position
) -> UIImage.Orientation {
  switch deviceOrientation {
  case .portrait:
    return cameraPosition == .front ? .leftMirrored : .right
  case .landscapeLeft:
    return cameraPosition == .front ? .downMirrored : .up
  case .portraitUpsideDown:
    return cameraPosition == .front ? .rightMirrored : .left
  case .landscapeRight:
    return cameraPosition == .front ? .upMirrored : .down
  case .faceDown, .faceUp, .unknown:
    return .up
  }
}

Objective-C

- (UIImageOrientation)
  imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation
                         cameraPosition:(AVCaptureDevicePosition)cameraPosition {
  switch (deviceOrientation) {
    case UIDeviceOrientationPortrait:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationLeftMirrored
                                                            : UIImageOrientationRight;

    case UIDeviceOrientationLandscapeLeft:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationDownMirrored
                                                            : UIImageOrientationUp;
    case UIDeviceOrientationPortraitUpsideDown:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationRightMirrored
                                                            : UIImageOrientationLeft;
    case UIDeviceOrientationLandscapeRight:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationUpMirrored
                                                            : UIImageOrientationDown;
    case UIDeviceOrientationUnknown:
    case UIDeviceOrientationFaceUp:
    case UIDeviceOrientationFaceDown:
      return UIImageOrientationUp;
  }
}

다음을 사용하여 VisionImage 객체를 만듭니다. CMSampleBuffer 객체 및 방향:

Swift

let image = VisionImage(buffer: sampleBuffer)
image.orientation = imageOrientation(
  deviceOrientation: UIDevice.current.orientation,
  cameraPosition: cameraPosition)

Objective-C

 MLKVisionImage *image = [[MLKVisionImage alloc] initWithBuffer:sampleBuffer];
 image.orientation =
   [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation
                                cameraPosition:cameraPosition];

3. 이미지 라벨러 실행

이미지의 객체에 라벨을 지정하려면 image 객체를 ImageLabeler의 process() 메서드를 사용하여 지도 가장자리에 패딩을 추가할 수 있습니다.

비동기식으로:

Swift

imageLabeler.process(image) { labels, error in
    guard error == nil, let labels = labels, !labels.isEmpty else {
        // Handle the error.
        return
    }
    // Show results.
}

Objective-C

[imageLabeler
    processImage:image
      completion:^(NSArray *_Nullable labels,
                   NSError *_Nullable error) {
        if (label.count == 0) {
            // Handle the error.
            return;
        }
        // Show results.
     }];

동기식으로:

Swift

var labels: [ImageLabel]
do {
    labels = try imageLabeler.results(in: image)
} catch let error {
    // Handle the error.
    return
}
// Show results.

Objective-C

NSError *error;
NSArray *labels =
    [imageLabeler resultsInImage:image error:&error];
// Show results or handle the error.

4. 라벨이 지정된 항목에 대한 정보 가져오기

이미지 라벨 지정 작업이 성공하면 ImageLabel 각 ImageLabel는 이전에 봤던 것들을 나타냅니다. 있습니다. 각 라벨의 텍스트 설명을 가져올 수 있습니다 (사용 가능한 경우 TensorFlow Lite 모델 파일의 메타데이터), 신뢰도 점수, 색인입니다. 예를 들면 다음과 같습니다.

Swift

for label in labels {
  let labelText = label.text
  let confidence = label.confidence
  let index = label.index
}

Objective-C

for (MLKImageLabel *label in labels) {
  NSString *labelText = label.text;
  float confidence = label.confidence;
  NSInteger index = label.index;
}

실시간 성능 개선을 위한 팁

실시간 애플리케이션에서 이미지에 라벨을 지정하려면 다음 가이드라인을 참조하세요.

동영상 프레임을 처리하려면 감지기의 results(in:) 동기 API를 사용하세요. 전화걸기 AVCaptureVideoDataOutputSampleBufferDelegate님의 <ph type="x-smartling-placeholder"></ph> captureOutput(_, didOutput:from:) 함수를 사용하여 특정 동영상에서 동기식으로 결과를 가져옵니다. 있습니다. 유지 AVCaptureVideoDataOutput님의 alwaysDiscardsLateVideoFrames를 true로 설정하여 감지기 호출을 제한합니다. 새 동영상 프레임은 감지기가 실행되는 동안 사용할 수 있게 되면 삭제됩니다.
감지기 출력을 사용하여 그래픽 이미지를 먼저 ML Kit에서 결과를 가져온 후 이미지를 하나의 단계로 오버레이할 수 있습니다. 이렇게 하면 처리되어야 합니다 자세한 내용은 updatePreviewOverlayViewWithLastFrame을 를 참조하세요.