顔メッシュ検出新機能

ML Kit の顔メッシュ検出 API を使用すると、自撮り写真のような画像用に 468 の 3D ポイントの高精度メッシュリアルタイムで生成できます。顔がカメラから約 2 m 以内にある必要があります。

カメラから約 2 m 以上離れた顔を検出する場合は、ML Kit の顔検出 SDK をご覧ください。

顔メッシュ検出機能に関連する用語としては、次のようなものがあります。

  • 境界ボックスは、検出された顔の長方形の領域です。
  • 顔メッシュ情報は、468 個の 3D ポイントとエッジのグループです。これを使用して、検出された顔のジオメトリ メッシュを描画できます。

顔メッシュ検出 API は、検出された顔の顔メッシュを生成し、それぞれに 468 個の 3D ポイントとエッジが含まれます。顔メッシュ検出を使用すると、AR フィルタ、自撮りキャプチャ、ビデオチャットなど、顔に対してより正確な操作をリアルタイムで実行できます。

Android

主な機能

  • 顔を認識して検索する: 自撮り写真のような画像で検出された顔の境界ボックスを取得します。
  • 顔メッシュ情報の取得: 検出された顔ごとに、468 個の 3D ポイントと三角形の情報を取得します。
  • 動画フレームをリアルタイムで処理する: 顔メッシュの検出はデバイス上で実行され、動画操作などのリアルタイム アプリケーションには十分な速度です。

検索結果の例

入力 出力(境界ボックスのみ) 出力(顔メッシュ)

ML Kit の顔検出 SDK との比較

顔メッシュ検出 API Face Detection API
推奨ユースケース(例)
  • 動画ストリーミングでの顔に対する AR 効果を生成する
  • 自撮り写真のような顔写真をリアルタイムで検出(約 2 メートル以内の顔)
  • 写真の中の顔の数を検出する
  • カメラから離れた顔を検出
レイテンシ 低(Google Pixel 3 で最大 14 ms)

リアルタイムに推奨

中(高速モードがオンの場合、Google Pixel 3 で最大 60 ミリ秒)
推奨される入力値 2 m 以内の顔のキャプチャ 顔が写っている画像
顔ポイントの出力 「顔のメッシュ」モードが有効になっている場合、顔ごとに 468 個の 3D ポイントと三角形の情報。 「顔の輪郭」モードが有効になっている場合、顔ごとに 133 個の 2D ポイント。
# 人の顔を認識
  • "境界ボックスのみ" モード: >=1 顔がカメラに接近する場合に境界ボックス(<= 約 2 m)
  • "顔メッシュ" モード: 顔がカメラに近づいている限り(約 2 メートル以内)、最大 2 つの境界ボックスとメッシュ
  • "境界ボックス" モード: >=1; 顔はカメラから遠く離れていても、1 顔あたり最小サイズは 100x100 ピクセル
  • 顔の輪郭: 最大 1(顔がカメラに近くある場合)
トラッキング ID なし
顔の向き なし
顔分類(笑顔など) なし
実装オプション バンドルのみ バンドル / バンドルされていない
アプリのサイズ バンドル: 約 6.4 MB

未分類: まだご利用いただけません

バンドル: 約 6.9 MB

バンドルされていない: ~ 0.6 Mb