了解如何在您自己的应用中使用增强人脸功能。
前提条件
- Xcode 13.0 或更高版本
- CocoaPods 1.4.0 或更高版本(如果使用 Cocoapods)
- 运行 iOS 12.0 或更高版本且与 ARKit 兼容的 Apple 设备(部署目标必须为 iOS 12.0 或更高版本)
构建和运行示例应用
如需了解详细步骤,请参阅快速入门。
- 从 GitHub 克隆或下载 ARCore SDK for iOS,以获取示例应用代码。
- 打开终端窗口,然后从 Xcode 项目所在的文件夹中运行
pod install
。 - 在 Xcode 10.3 或更高版本中打开示例应用,并通过 USB 将设备连接到开发机器。为了避免构建错误,请确保从
.xcworkspace
文件(而不是.xcodeproj
文件)进行构建。 - 按 Cmd + R 或点击 Run。使用实体设备(而不是模拟器)来处理增强人脸。
- 点按“确定”即可授予相机对示例应用的访问权限。该应用应打开前置摄像头,并立即在摄像头画面中跟踪您的面孔。应在前额两侧放上狐狸耳朵的图像,并将狐狸鼻子遮住自己的鼻子。
在应用中实现增强人脸功能概览
将 *.scn
文件导入 Xcode
如需将您自己的资源(例如纹理和 3D 模型)添加到应用中检测到的人脸,请将 *.scn
资源拖动到 Xcode 中。
初始化增强人脸会话
如需在您的应用中使用 Augmented Faces API,请初始化 Augmented Faces 会话。此会话负责以 60 fps 的速率拍摄相机图片,并将异步向委托方法返回人脸更新。在初始化时,只需传递捕获设备的视野,并确保已设置委托。
// Session takes a float for field of view
let faceSession = try? GARAugmentedFaceSession(fieldOfView: cameraFieldOfView)
faceSession?.delegate = self
将相机图像传递给会话
现在,您的会话已初始化并正确配置,您的应用可以开始向会话发送相机图像了。示例应用通过创建包含前置摄像头视频帧的 AVCaptureSession
来获取相机图片。
以下代码示例展示了 AVFoundation
的拍摄输出委托方法的实现,该方法会将图片、时间戳和识别旋转传递给您的人脸会话。
func captureOutput(_ output: AVCaptureOutput,
didOutput sampleBuffer: CMSampleBuffer,
from connection: AVCaptureConnection) {
faceSession.update(with: imageBuffer,
timestamp: frameTime,
recognitionRotation: rotationDegrees)
}
图片处理完成后,Augmented Faces API 会发送一个返回 GARAugmentedFaceFrame
的委托回调。它包含一个 Augmented Face 对象,可帮助您将效果附加到面部。它还包含图像缓冲区和您传递到更新方法的时间戳。这在将人脸效果与图片同步时非常有用。此对象还为您提供了显示转换和投影矩阵,以确保您在设置 3D 世界和 2D 视图时可以轻松地渲染附加到检测到的人脸的人脸效果。
var face: GARAugmentedFace? { get }
var capturedImage: CVPixelBuffer { get }
var timestamp: TimeInterval { get }
人脸网格方向
请注意 iOS 的人脸网格方向:
将 2D 纹理应用到面部
示例应用提供了一个类,用于将增强的人脸转换为 SCNGeometry
对象。您可以使用此几何图形轻松连接到 SceneKit 节点,该节点将置于 Augmented Face's Center 转换处。
let faceNode = SCNNode()
// Gets the most recent frame's face
let face = faceSession.currentFrame?.face
// This is instantiated once, not with every frame
let faceGeometryConverter = FaceMeshGeometryConverter()
// Converts Augmented Face to SCNGeometry object
let faceMesh = faceGeometryConverter.geometryFromFace(face)
// Assigns geometry to node and sets the pose
faceNode.geometry = faceMesh
faceNode.simdTransform = face.centerTransform
2D 面纹理会作为 UIImage
进行加载,并设置为附加到面网格几何图形的材质。
faceTextureMaterial = SCNMaterial()
faceTextureMaterial.diffuse.contents = UIImage(named:@"face.png")
faceMesh?.firstMaterial = faceTextureMaterial
将 3D 对象附加到表面
从委托回调收到的 GARAugmentedFace
提供了 3 个不同的区域或转换,可用于将内容附加到人脸。在现实世界中,这些转换可以转换鼻子、前额的左侧和前额的右侧。这里,我们使用鼻子转换将球体连接到鼻子。
// Create node and add to scene
let node = SCNNode(geometry: SCNSphere(radius: .02))
sceneView.rootNode.addChild(node)
// Every frame updates the node's position
node.simdWorldTransform = session.currentFrame.face.transform(for: .nose)
将您自己的资源导入 Xcode
如需向应用中检测到的人脸添加纹理和 3D 模型等资源,请先将资源导入 Xcode。
- 导出
*.dae
(3D 模型)文件。 - 将
*.dae
文件拖动到 Xcode 项目中。 - 转到 Editor > Convert to SceneKit scene file format (.scn),在 Xcode 中将文件转换为
.scn
格式。