API การติดตามและการตรวจจับวัตถุในอุปกรณ์ของ ML Kit ช่วยให้คุณตรวจจับและติดตามวัตถุในฟีดรูปภาพหรือฟีดกล้องแบบสดได้
คุณจะเลือกแยกประเภทออบเจ็กต์ที่ตรวจพบได้โดยใช้ตัวแยกประเภทแบบหยาบในตัว API หรือใช้โมเดลการจัดประเภทรูปภาพที่คุณกำหนดเอง ดูการใช้โมเดล TensorFlow Lite ที่กำหนดเองสำหรับข้อมูลเพิ่มเติม
เนื่องจากการตรวจจับและการติดตามวัตถุเกิดขึ้นในอุปกรณ์ ระบบจึงทำงานได้ดีกับส่วนหน้าของไปป์ไลน์การค้นหาภาพ หลังจากที่ตรวจพบและกรองออบเจ็กต์แล้ว คุณจะส่งออบเจ็กต์ไปยังแบ็กเอนด์ระบบคลาวด์ได้ เช่น Cloud Vision Product Search
ความสามารถหลัก
- การตรวจจับและติดตามวัตถุอย่างรวดเร็ว ตรวจหาวัตถุและดูตำแหน่งของวัตถุในรูปภาพ ติดตามออบเจ็กต์ในเฟรมรูปภาพ ที่ประสบความสำเร็จ
- รุ่นอุปกรณ์ที่เพิ่มประสิทธิภาพ รูปแบบการติดตามและการตรวจจับวัตถุได้รับการเพิ่มประสิทธิภาพสำหรับอุปกรณ์เคลื่อนที่ และใช้ในแอปพลิเคชันแบบเรียลไทม์ แม้ในอุปกรณ์ระดับล่าง
- การตรวจจับวัตถุที่โดดเด่น ระบุวัตถุที่โดดเด่นที่สุดในรูปภาพโดยอัตโนมัติ
- การจัดประเภทแบบหยาบ จัดประเภทออบเจ็กต์เป็นหมวดหมู่กว้างๆ ซึ่งใช้กรองสิ่งที่ไม่สนใจได้ เรารองรับหมวดหมู่ต่อไปนี้ ได้แก่ ของใช้ในบ้าน สินค้าแฟชั่น อาหาร พืช และสถานที่
- การจำแนกประเภทด้วยโมเดลที่กำหนดเอง ใช้โมเดลการจัดประเภทรูปภาพที่คุณกำหนดเองเพื่อระบุหรือกรองหมวดหมู่ออบเจ็กต์ที่เฉพาะเจาะจง ทำให้โมเดลที่กำหนดเองทำงานได้ดีขึ้นโดยทิ้ง พื้นหลังของรูปภาพไว้
ตัวอย่างผลการแข่ง
การติดตามวัตถุที่โดดเด่นที่สุดในรูปภาพต่างๆ
ตัวอย่างด้านล่างแสดงข้อมูลการติดตามจากเฟรมที่ต่อเนื่อง 3 เฟรมซึ่งมีตัวแยกประเภทแบบคร่าวๆ เริ่มต้นที่ ML Kit ให้ไว้
 |
|
||||||||
 |
|
||||||||
 |
|
รูปภาพ: Christian Ferrer [CC BY-SA 4.0]
วัตถุหลายรายการในภาพนิ่ง
ตัวอย่างด้านล่างแสดงข้อมูลของออบเจ็กต์ 4 รายการที่ตรวจพบในรูปภาพโดยใช้ตัวแยกประเภทเริ่มต้นแบบคร่าวๆ ที่ ML Kit มีให้
| วัตถุ 0 | |
|---|---|
| ขอบเขต | (1, 97), (332, 97), (332, 332), (1, 332) |
| หมวดหมู่ | FASHION_GOOD |
| ความเชื่อมั่นในการแยกประเภท | 0.95703125 |
| วัตถุ 1 | |
| ขอบเขต | (186, 80), (337, 80), (337, 226), (186, 226) |
| หมวดหมู่ | FASHION_GOOD |
| ความเชื่อมั่นในการแยกประเภท | 0.84375 |
| วัตถุ 2 | |
| ขอบเขต | (296, 80), (472, 80), (472, 388), (296, 388) |
| หมวดหมู่ | FASHION_GOOD |
| ความเชื่อมั่นในการแยกประเภท | 0.94921875 |
| วัตถุ 3 | |
| ขอบเขต | (439, 83), (615, 83), (615, 306), (439, 306) |
| หมวดหมู่ | FASHION_GOOD |
| ความเชื่อมั่นในการแยกประเภท | 0.9375 |
การใช้โมเดล TensorFlow Lite ที่กำหนดเอง
ตัวแยกประเภทเริ่มต้นแบบคร่าวๆ สร้างขึ้นจาก 5 หมวดหมู่ โดยให้ข้อมูลที่จำกัดเกี่ยวกับออบเจ็กต์ที่ตรวจพบ คุณอาจต้องการโมเดลตัวแยกประเภทเฉพาะทางซึ่งครอบคลุมขอบเขตของแนวคิดในขอบเขตที่แคบลง เช่น โมเดลที่ใช้แยกความแตกต่างระหว่างดอกไม้กับประเภทอาหาร
API นี้ช่วยให้คุณปรับแต่งตามกรณีการใช้งานเฉพาะได้โดยการรองรับโมเดลการจัดประเภทรูปภาพที่กำหนดเองจากแหล่งที่มาที่หลากหลาย โปรดดูข้อมูลเพิ่มเติมที่โมเดลที่กำหนดเองที่มี ML Kit คุณจะรวมโมเดลที่กำหนดเองไว้กับแอปหรือดาวน์โหลดแบบไดนามิกจากระบบคลาวด์ได้โดยใช้บริการการทำให้โมเดลของ Firebase Machine Learning ใช้งานได้
การประมวลผลรูปภาพอินพุตล่วงหน้า
หากจำเป็น การตรวจจับและการติดตามวัตถุจะใช้การปรับขนาดและยืดรูปภาพแบบ 2 เส้นเพื่อปรับขนาดรูปภาพอินพุตและสัดส่วนภาพให้ตรงตามข้อกำหนดของโมเดลที่วางอยู่