ML Kit PoseDetect API, uygulama geliştiricilerin sürekli bir video veya statik bir görüntüden öznenin vücudunun duruşunu gerçek zamanlı olarak tespit etmesini sağlayan hafif ve çok yönlü bir çözümdür. Pozisyon, iskeletin önemli noktalarıyla vücudun zaman içindeki konumunu tanımlar. Önemli noktalar, omuzlar ve kalça gibi farklı vücut parçalarına karşılık gelir. Önemli noktaların göreli konumları, bir duruşu birbirinden ayırt etmek için kullanılabilir.
ML Kit Pose tespiti, yüzdeki önemli noktalar (kulaklar, gözler, ağız ve burun) ile eller ve ayakların üzerindeki noktaları içeren 33 noktalı, tam iskeletli bir eşleşme oluşturur. Aşağıdaki şekil 1, kullanıcının kameraya baktığı önemli noktaları göstermektedir. Bu şekilde ayna görüntüsü gösterilmektedir. Kullanıcının sağ tarafı resmin sol tarafında görünür:
ML Kit Poz Algılama, iyi sonuçlar almak için özel bir ekipman veya makine öğrenimi uzmanlığı gerektirmez. Bu teknoloji sayesinde geliştiriciler, yalnızca birkaç satır kod kullanarak kullanıcıları için benzersiz deneyimler oluşturabilir.
Bir pozun algılanabilmesi için kullanıcının yüzü olmalı. Poz algılama, en iyi şekilde öznenin tüm vücudu karede görünür olduğunda görünür ancak aynı zamanda kısmi bir vücut pozunu da algılar. Bu durumda, tanınmayan önemli noktalara görselin dışından koordinatlar atanır.
Temel özellikler
- Platformlar arası destek Hem Android'de hem iOS'te aynı deneyimi yaşayın.
- Tam vücut takibi Model, el ve ayak konumlarını da içeren 33 temel iskelet noktası noktası döndürür.
- InFrameLikelihood puanı: Her önemli nokta için önemli noktanın resim çerçevesi içinde olma olasılığını gösteren bir ölçü. Puanın aralığı 0,0 ile 1,0 arasındadır. 1,0 değeri yüksek güven düzeyini belirtir.
- Optimize edilmiş iki SDK: Temel SDK, Pixel 4 ve iPhone X gibi modern telefonlarda gerçek zamanlı olarak çalışır. Sonuçları sırasıyla 30 ve ~45 fps oranında döndürür. Ancak önemli noktaların kesinliği değişiklik gösterebilir. Doğru SDK, sonuçları daha yavaş kare hızında döndürür ancak daha doğru koordinat değerleri sağlar.
- Z koordinatı derinlik analizi için Bu değer, kullanıcıların vücudunun bir kısmının kalçaların önünde mi yoksa gerisinde mi olduğunu belirlemenize yardımcı olabilir. Daha fazla bilgi için aşağıdaki Z Koordinatör bölümüne bakın.
Pose algılama API'sı, bir dizi önemli nokta ve bunların konumunu döndürmesi açısından Facial Recognition API'ye benzer. Yüz Algılama ayrıca gülümseyen ağz veya açık gözler gibi özellikleri tanımaya çalışsa da Poz Algılama, pozların veya pozun kendisi adına önemli noktalara hiçbir katkı sağlamaz. Bir pozu yorumlamak için kendi algoritmalarınızı oluşturabilirsiniz. Bazı örnekler için Konum Sınıflandırma İpuçları'na bakın.
Poz algılama, resimdeki yalnızca bir kişiyi algılayabilir. Görüntüde iki kişi varsa model, en yüksek güvenliğe sahip olduğu algılanan kişiye önemli noktalar atar.
Z Koordinatı
Z Koordinatı, her önemli nokta için hesaplanan deneysel bir değerdir. X ve Y koordinatları gibi "resim pikselleri" olarak ölçülür ancak gerçek bir 3D değeri değildir. Z ekseni kameraya diktir ve öznenin kalçaları arasında geçiş yapar. Z ekseninin kaynağı, kalçalar arasındaki yaklaşık orta noktadır (kameraya göre sol/sağ ve ön/arka). Negatif Z değerleri kameraya doğrudur. Pozitif değerler kameradan uzaktır. Z koordinatı üst veya alt sınıra sahip değildir.
Örnek sonuçları
Aşağıdaki tabloda, sağdaki pozisyondaki birkaç önemli noktanın koordinatları ve InFrameLikelihood gösterilmektedir. Kullanıcının sol elinin Z koordinatlarının negatif olduğunu unutmayın (çünkü bunlar öznenin kalça merkezinin önünde ve kameraya doğrudur).
| Önemli nokta | Tür | Konum | Kare İçi Beğeni |
|---|---|---|---|
| 11 | LEFT_SHOULDER | (734.9671, 550.7924, -118.11934) | 0,9999038 |
| 12 | SAĞ_SAHİP | (391.27032, 583.2485, -321.15836) | 0,9999894 |
| 13 | SOL_TALİMAT | (903.83704, 754.676, -219.67009) | 0,9836427 |
| 14 | SAĞ_ELBOW | (322.18152, 842.5973, -179.28519) | 0,99970156 |
| 15 | SOL_YAKINDA | (1073.8956, 654.9725, -820.93463) | 0,9737737 |
| 16 | SAĞ_YAYA | (218.27956, 1015.70435, -683.6567) | 0,995568 |
| 17 | SOL_PINK | (1146.1635, 609.6432, -956.9976) | 0,95273364 |
| 18 | SAĞ_PINKY | (176.17755, 1065.838, -776.5006) | 0,9785348 |
Gelişmiş seçenekler
Bu API'nin temel makine öğrenimi modelleri hakkında daha fazla bilgi için Google AI blog yayınımıza göz atın.
Makine öğrenimi adalet uygulamalarımız ve modellerin nasıl eğitildiği hakkında daha fazla bilgi edinmek için Model Kartımızı inceleyin