การติดป้ายกํากับรูปภาพ

API การติดป้ายกำกับรูปภาพของ ML Kit ช่วยให้คุณตรวจหาและแยกข้อมูลเกี่ยวกับเอนทิตีในรูปภาพในหมวดหมู่ต่างๆ ได้มากมาย โมเดลการติดป้ายกำกับรูปภาพเริ่มต้นสามารถระบุวัตถุทั่วไป สถานที่ กิจกรรม สปีชีส์สัตว์ ผลิตภัณฑ์ และอื่นๆ

นอกจากนี้ คุณยังสามารถใช้โมเดลการจัดประเภทรูปภาพที่กำหนดเองเพื่อปรับแต่งการตรวจจับ ตามกรณีการใช้งานที่เฉพาะเจาะจง ดูข้อมูลเพิ่มเติมที่การใช้โมเดล TensorFlow Lite ที่กำหนดเอง

ความสามารถหลัก

  • ตัวแยกประเภทพื้นฐานที่มีประสิทธิภาพ ระบุหมวดหมู่มากกว่า 400 หมวดหมู่ที่อธิบายวัตถุที่พบเห็นบ่อยที่สุดในรูปภาพ
  • ปรับแต่งกรณีการใช้งานของคุณด้วยโมเดลที่กำหนดเอง ใช้โมเดลก่อนการฝึกอื่นๆ จาก TensorFlow Hub หรือโมเดลที่คุณกำหนดเองที่ฝึกด้วย TensorFlow, AutoML Vision Edge หรือเครื่องมือสร้างโมเดล TensorFlow Lite
  • API ระดับสูงที่ใช้งานง่าย ไม่จำเป็นต้องจัดการกับอินพุต/เอาต์พุตโมเดลระดับต่ำ การประมวลผลรูปภาพก่อนและหลังการประมวลผล หรือสร้างไปป์ไลน์การประมวลผล โดย ML Kit จะแยกป้ายกำกับออกจากโมเดล TensorFlow Lite และส่งเป็นคำอธิบายข้อความ

โปรดทราบว่า API นี้มีไว้สำหรับโมเดลการจัดประเภทรูปภาพที่อธิบายรูปภาพขนาดเต็ม สำหรับการจัดประเภทออบเจ็กต์อย่างน้อย 1 รายการในรูปภาพ เช่น รองเท้าหรือเฟอร์นิเจอร์ API การตรวจจับและการติดตามออบเจ็กต์อาจเหมาะสมกว่า

โมเดลการจัดประเภทรูปภาพที่รองรับ

Image Labeling API รองรับโมเดลการจัดประเภทรูปภาพแบบต่างๆ ดังนี้

โมเดลการจัดประเภทรูปภาพที่รองรับ
รูปแบบพื้นฐาน โดยค่าเริ่มต้น API จะใช้โมเดลการติดป้ายกำกับรูปภาพอเนกประสงค์ที่มีประสิทธิภาพ ซึ่งจดจำเอนทิตีมากกว่า 400 รายการที่ครอบคลุมแนวคิดที่พบได้บ่อยที่สุดในรูปภาพ
โมเดล TensorFlow Lite ที่กำหนดเอง หากต้องการกำหนดเป้าหมายแนวคิดเฉพาะแอปพลิเคชัน API จะยอมรับโมเดลการจัดประเภทรูปภาพที่กำหนดเองจากแหล่งที่มาที่หลากหลาย โมเดลเหล่านี้อาจเป็นโมเดลก่อนการฝึกที่ดาวน์โหลดจาก TensorFlow Hub หรือโมเดลของคุณเองที่ฝึกด้วย AutoML Vision Edge, TensorFlow Lite Model Maker หรือ TensorFlow เอง โมเดลอาจรวมมากับแอปหรือโฮสต์ด้วยแมชชีนเลิร์นนิง Firebase และดาวน์โหลดได้รันไทม์

การใช้โมเดลฐาน

โมเดลฐานของ ML Kit จะแสดงรายการเอนทิตีที่ระบุผู้คน สิ่งของ สถานที่ กิจกรรม และอื่นๆ แต่ละเอนทิตีจะมีคะแนนที่ระบุความเชื่อมั่นที่โมเดล ML มีในความเกี่ยวข้อง ข้อมูลนี้ช่วยให้คุณดำเนินงานต่างๆ เช่น สร้างข้อมูลเมตาอัตโนมัติและการกลั่นกรองเนื้อหาได้ โมเดลเริ่มต้นที่มาพร้อมกับ ML Kit จดจำเอนทิตีที่แตกต่างกันมากกว่า 400 รายการได้

iOS Android

ป้ายกำกับตัวอย่าง

โมเดลฐานใน API การติดป้ายกำกับรูปภาพรองรับป้ายกำกับมากกว่า 400 รายการ เช่นตัวอย่างต่อไปนี้

หมวดหมู่ป้ายกำกับตัวอย่าง
ผู้คน Crowd
Selfie
Smile
กิจกรรม Dancing
Eating
Surfing
สิ่งของ Car
Piano
Receipt
สัตว์ Bird
Cat
Dog
พืช Flower
Fruit
Vegetable
สถานที่ Beach
Lake
Mountain

ตัวอย่างผลการแข่ง

นี่คือตัวอย่างของเอนทิตีที่ระบุในรูปภาพที่เกี่ยวข้อง

รูปภาพ: Clément Bucco-Lechat / Wikimedia Commons / CC BY-SA 3.0
ป้ายกำกับ 0
ข้อความ สนามกีฬา
ความมั่นใจ 0.9205354
ป้ายกำกับ 1
ข้อความ กีฬา
ความมั่นใจ 0.7531109
ป้ายกำกับ 2
ข้อความ เหตุการณ์
ความมั่นใจ 0.66905296
ป้ายกำกับ 3
ข้อความ ยามว่าง
ความมั่นใจ 0.59904146
ป้ายกำกับ 4
ข้อความ ฟุตบอล
ความมั่นใจ 0.56384534
ป้ายกำกับ 5
ข้อความ สุทธิ
ความมั่นใจ 0.54679185
ป้ายกำกับ 6
ข้อความ ต้นไม้
ความมั่นใจ 0.524364

การใช้โมเดล TensorFlow Lite ที่กำหนดเอง

โมเดลการติดป้ายกำกับรูปภาพพื้นฐานของ ML Kit สร้างขึ้นเพื่อการใช้งานทั่วไป ระบบฝึกให้จดจำหมวดหมู่ 400 รายการที่อธิบายถึงออบเจ็กต์ที่พบมากที่สุดในรูปภาพ แอปของคุณอาจต้องใช้โมเดลการจัดประเภทรูปภาพเฉพาะที่รู้รายละเอียดของหมวดหมู่ในจำนวนที่แคบลง เช่น โมเดลที่แยกความแตกต่างระหว่างดอกไม้แต่ละสายพันธุ์หรือประเภทอาหาร

API นี้ช่วยให้คุณปรับแต่งกรณีการใช้งานที่เฉพาะเจาะจงโดยการรองรับโมเดลการจัดประเภทรูปภาพที่กำหนดเองจากแหล่งที่มาที่หลากหลาย โปรดดูข้อมูลเพิ่มเติมที่โมเดลที่กำหนดเองที่มี ML Kit โมเดลที่กำหนดเองอาจมาพร้อมกับแอปหรือดาวน์โหลดแบบไดนามิกจากระบบคลาวด์โดยใช้บริการการทำให้โมเดลของ Firebase Machine Learning ใช้งานได้

iOS Android

การประมวลผลรูปภาพอินพุตล่วงหน้า

หากจำเป็น การติดป้ายกำกับรูปภาพจะใช้การปรับขนาดและการขยายรูปภาพแบบ 2 เส้นเพื่อปรับขนาดรูปภาพและสัดส่วนภาพที่ป้อนเพื่อให้เป็นไปตามข้อกำหนดของโมเดลฐานดังกล่าว