ARCore を使用した機械学習

ARCore が機械学習パイプラインでキャプチャしたカメラフィードを使用して、ML KitGoogle Cloud Vision API を使用して現実のオブジェクトを識別し、インテリジェントな拡張現実体験を作成できます。

左側の画像は、ARCore ML Kit サンプルのもので、Android 用 Kotlin で作成されています。このサンプルアプリでは、機械学習モデルを使用してカメラのビュー内のオブジェクトを分類し、仮想シーン内のオブジェクトにラベルを付けます。

ML Kit API は Android と iOS の両方の開発に対応しています。Google Cloud Vision API は REST と RPC の両方のインターフェースを備えているため、Android NDK(C)、iOS、または Unity(AR Foundation)で構築したアプリの ARCore ML Kit サンプルと同じ結果を得ることができます。

実装する必要があるパターンの概要については、機械学習モデルの入力として ARCore を使用するをご覧ください。次に、これらを Android NDK(C)、iOS、Unity(AR Foundation)でビルドしたアプリに適用します。