顔を拡張した機能の概要

プラットフォーム固有のガイド

Augmented Faces API により、専用のハードウェアを使わずに人の顔の上にアセットをレンダリングできます。検出された顔のさまざまな領域をアプリが自動的に識別するための機能ポイントを提供します。アプリでは、これらの領域を使用して、個々の顔の輪郭に合わせて適切にアセットをオーバーレイできます。

ユースケース

顔ベースの AR により、美容やアクセサリーの試着から、フェイシャル フィルタやエフェクトまで、ユーザーが友だちと楽しめるさまざまなユースケースが利用可能になります。たとえば、3D モデルとテクスチャを使用して、キツネの特徴をユーザーの顔に重ねます。

このモデルは、2 本のキツネの耳と 1 本のキツネの鼻で構成されています。それぞれが個別のボーンであり、装着された顔の領域に沿って個別に動かせます。

テクスチャは、アイシャドウ、そばかすなどの色で構成されます。

Augmented Faces API は実行時にユーザーの顔を検出し、その上にテクスチャとモデルの両方をオーバーレイします。

オーグメンテッド顔のパーツ

Augmented Faces API は、中心ポーズ、3 つのリージョン ポーズ、3D 顔メッシュを提供します。

中央のポーズ

鼻の後ろ、頭の真ん中にあるポーズ。帽子などのアセットを頭の上にレンダリングするために使用します。

地域のポーズ

顔の左額、右額、鼻の先にある部位は、顔の重要な部分をマークします。鼻や耳の周囲にアセットをレンダリングするために使用します。

フェイスメッシュ

468 ポイントの高密度 3D フェイスメッシュにより、鼻の特定の部分の後ろにバーチャル眼鏡を重ねる場合など、顔にぴったり合う、適用可能で詳細なテクスチャをペイントできます。メッシュは、この仮想画像を簡単にレンダリングできる十分な詳細な 3D 情報を収集します。