คุณใช้ ML Kit เพื่อตรวจหาใบหน้าในรูปภาพและวิดีโอได้
ฟีเจอร์ | ไม่ได้จัดกลุ่ม | รวมกลุ่ม |
---|---|---|
การใช้งาน | โมเดลจะดาวน์โหลดแบบไดนามิกผ่านบริการ Google Play | โมเดลลิงก์กับแอปของคุณแบบคงที่ ณ เวลาบิลด์ |
ขนาดแอป | เพิ่มขนาดประมาณ 800 KB | ขนาดเพิ่มขึ้นประมาณ 6.9 MB |
เวลาในการเริ่มต้น | อาจต้องรอให้โมเดลดาวน์โหลดก่อนใช้งานครั้งแรก | โมเดลพร้อมใช้งานทันที |
ลองเลย
- ลองใช้แอปตัวอย่างเพื่อ ดูตัวอย่างการใช้ API นี้
- ลองเขียนโค้ดเองด้วย Codelab
ก่อนเริ่มต้น
ในไฟล์
build.gradle
ระดับโปรเจ็กต์ ตรวจสอบว่าได้รวม ที่เก็บ Maven ทั้งในส่วนbuildscript
และallprojects
เพิ่มทรัพยากร Dependency สำหรับไลบรารี ML Kit Android ลงในโมดูล ไฟล์ Gradle ระดับแอป ซึ่งมักจะเป็น
app/build.gradle
เลือก 1 ตัวเลือก ทรัพยากร Dependency ต่อไปนี้ตามความต้องการของคุณสำหรับการรวมโมเดลกับแอป
dependencies { // ... // Use this dependency to bundle the model with your app implementation 'com.google.mlkit:face-detection:16.1.7' }
สำหรับการใช้โมเดลในบริการ Google Play
dependencies { // ... // Use this dependency to use the dynamically downloaded model in Google Play Services implementation 'com.google.android.gms:play-services-mlkit-face-detection:17.1.0' }
หากเลือกใช้โมเดลในบริการ Google Play คุณจะกำหนดค่า แอปของคุณเพื่อดาวน์โหลดโมเดลไปยังอุปกรณ์โดยอัตโนมัติหลังจากที่แอป ที่ติดตั้งจาก Play Store ซึ่งทำได้โดยเพิ่มการประกาศต่อไปนี้ลงใน ไฟล์
AndroidManifest.xml
ของแอป<application ...> ... <meta-data android:name="com.google.mlkit.vision.DEPENDENCIES" android:value="face" > <!-- To use multiple models: android:value="face,model2,model3" --> </application>
คุณยังสามารถตรวจสอบความพร้อมใช้งานของโมเดลอย่างชัดเจนและขอดาวน์โหลดผ่าน ModuleInstallClient API ของบริการ Google Play
หากคุณไม่เปิดใช้การดาวน์โหลดโมเดลเวลาติดตั้งหรือขอการดาวน์โหลดอย่างชัดแจ้ง ระบบจะดาวน์โหลดโมเดลในครั้งแรกที่คุณเรียกใช้ตัวตรวจจับ คําขอที่คุณสร้าง ก่อนที่การดาวน์โหลดจะเสร็จสิ้น จะไม่เกิดผลลัพธ์ใดๆ
หลักเกณฑ์เกี่ยวกับรูปภาพที่ป้อน
สำหรับการจดจำใบหน้า คุณควรใช้รูปภาพที่มีขนาดอย่างน้อย 480x360 พิกเซล เพื่อให้ ML Kit ตรวจจับใบหน้าได้อย่างแม่นยำ รูปภาพที่ป้อนต้องมีใบหน้า ที่แสดงด้วยข้อมูลพิกเซลที่เพียงพอ โดยทั่วไป แต่ละใบหน้าที่คุณต้องการ รูปภาพควรมีความละเอียดอย่างน้อย 100x100 พิกเซล หากต้องการตรวจจับ รูปทรงของด้าน ML Kit ต้องการอินพุตที่มีความละเอียดสูงขึ้น โดยแต่ละใบหน้า ควรมีขนาดอย่างน้อย 200x200 พิกเซล
หากคุณตรวจจับใบหน้าในแอปพลิเคชัน แบบเรียลไทม์ คุณอาจต้องการ เพื่อพิจารณาขนาดโดยรวมของรูปภาพที่ป้อน รูปภาพขนาดเล็กกว่าได้ ประมวลผลเร็วขึ้น ดังนั้นหากต้องการลดเวลาในการตอบสนอง ให้จับภาพด้วยความละเอียดที่ต่ำลงแต่ยังคง ตามข้อกำหนดเกี่ยวกับความถูกต้องข้างต้น และตรวจสอบว่า ใบหน้าของวัตถุใช้พื้นที่ในรูปภาพมากที่สุด ดูนี่ด้วย เคล็ดลับในการปรับปรุงประสิทธิภาพแบบเรียลไทม์
การโฟกัสของรูปภาพไม่ดีอาจส่งผลต่อความแม่นยำด้วย หากคุณไม่ยอมรับ ให้ผู้ใช้จับภาพอีกครั้ง
การวางแนวของใบหน้าที่สัมพันธ์กับกล้องอาจส่งผลต่อลักษณะของใบหน้าด้วย มีฟีเจอร์ที่ ML Kit ตรวจพบ โปรดดู แนวคิดการตรวจจับใบหน้า
1. กำหนดค่าตัวตรวจจับใบหน้า
ก่อนที่จะใช้การตรวจจับใบหน้ากับรูปภาพ ถ้าต้องการเปลี่ยน การตั้งค่าเริ่มต้นของเครื่องตรวจจับใบหน้า ให้ระบุการตั้งค่าเหล่านั้นด้วยFaceDetectorOptions
คุณสามารถเปลี่ยนการตั้งค่าต่อไปนี้ได้
การตั้งค่า | |
---|---|
setPerformanceMode
|
PERFORMANCE_MODE_FAST (ค่าเริ่มต้น)
|
PERFORMANCE_MODE_ACCURATE
เลือกความเร็วหรือความแม่นยำในการตรวจจับใบหน้า |
setLandmarkMode
|
LANDMARK_MODE_NONE (ค่าเริ่มต้น)
|
LANDMARK_MODE_ALL
ระบุว่าจะพยายามระบุ "จุดสังเกต" บนใบหน้าหรือไม่ ซึ่งได้แก่ ตา หู จมูก แก้ม ปาก และอื่นๆ |
setContourMode
|
CONTOUR_MODE_NONE (ค่าเริ่มต้น)
|
CONTOUR_MODE_ALL
เลือกว่าจะตรวจหารูปร่างของใบหน้าหรือไม่ เส้นโครงร่าง ตรวจพบเฉพาะใบหน้าที่โดดเด่นที่สุดในรูปภาพ |
setClassificationMode
|
CLASSIFICATION_MODE_NONE (ค่าเริ่มต้น)
|
CLASSIFICATION_MODE_ALL
ไม่ว่าจะจำแนกใบหน้าออกเป็นหมวดหมู่ต่างๆ เช่น "การยิ้ม" หรือไม่ และ "ลืมตา" |
setMinFaceSize
|
float (ค่าเริ่มต้น: 0.1f )
ตั้งค่าขนาดใบหน้าที่ต้องการเล็กที่สุด ซึ่งแสดงเป็นอัตราส่วนของ ตั้งแต่ความกว้างของศีรษะจนถึงความกว้างของภาพ |
enableTracking
|
false (ค่าเริ่มต้น) | วันที่ true
กำหนดรหัสใบหน้าหรือไม่ ซึ่งสามารถใช้เพื่อติดตาม ผ่านรูปภาพต่างๆ โปรดทราบว่าเมื่อเปิดใช้การตรวจจับเส้นโครงร่าง จะมีเพียงใบหน้าเดียวเท่านั้น ดังนั้นการติดตามใบหน้าจึงไม่ได้ให้ผลลัพธ์ที่เป็นประโยชน์ สำหรับกรณีนี้ และหากต้องการปรับปรุงความเร็วในการตรวจจับ อย่าเปิดใช้ทั้งสองแบบ การตรวจจับและการติดตามใบหน้า |
เช่น
Kotlin
// High-accuracy landmark detection and face classification val highAccuracyOpts = FaceDetectorOptions.Builder() .setPerformanceMode(FaceDetectorOptions.PERFORMANCE_MODE_ACCURATE) .setLandmarkMode(FaceDetectorOptions.LANDMARK_MODE_ALL) .setClassificationMode(FaceDetectorOptions.CLASSIFICATION_MODE_ALL) .build() // Real-time contour detection val realTimeOpts = FaceDetectorOptions.Builder() .setContourMode(FaceDetectorOptions.CONTOUR_MODE_ALL) .build()
Java
// High-accuracy landmark detection and face classification FaceDetectorOptions highAccuracyOpts = new FaceDetectorOptions.Builder() .setPerformanceMode(FaceDetectorOptions.PERFORMANCE_MODE_ACCURATE) .setLandmarkMode(FaceDetectorOptions.LANDMARK_MODE_ALL) .setClassificationMode(FaceDetectorOptions.CLASSIFICATION_MODE_ALL) .build(); // Real-time contour detection FaceDetectorOptions realTimeOpts = new FaceDetectorOptions.Builder() .setContourMode(FaceDetectorOptions.CONTOUR_MODE_ALL) .build();
2. เตรียมรูปภาพอินพุต
หากต้องการตรวจจับใบหน้าในรูปภาพ ให้สร้างวัตถุInputImage
จากอาร์เรย์ Bitmap
, media.Image
, ByteBuffer
, ไบต์ หรือไฟล์ใน
อุปกรณ์ จากนั้นส่งออบเจ็กต์ InputImage
ไปยัง
เมธอด process
ของ FaceDetector
สำหรับการตรวจจับใบหน้า คุณควรใช้รูปภาพที่มีขนาดอย่างน้อย 480x360 พิกเซล หากตรวจจับใบหน้าแบบเรียลไทม์ ให้จับภาพเฟรม ความละเอียดขั้นต่ำนี้จะช่วยลดเวลาในการตอบสนองได้
คุณสามารถสร้างInputImage
จากแหล่งที่มาต่างๆ ซึ่งอธิบายไว้ด้านล่าง
กำลังใช้media.Image
วิธีสร้าง InputImage
จากออบเจ็กต์ media.Image
เช่น เมื่อคุณจับภาพจาก
กล้องของอุปกรณ์ ส่งวัตถุ media.Image
และ
การหมุนเวียนเป็น InputImage.fromMediaImage()
หากคุณใช้แท็ก
ไลบรารี CameraX, OnImageCapturedListener
และ
ImageAnalysis.Analyzer
คลาสจะคำนวณค่าการหมุนเวียน
สำหรับคุณ
Kotlin
private class YourImageAnalyzer : ImageAnalysis.Analyzer { override fun analyze(imageProxy: ImageProxy) { val mediaImage = imageProxy.image if (mediaImage != null) { val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees) // Pass image to an ML Kit Vision API // ... } } }
Java
private class YourAnalyzer implements ImageAnalysis.Analyzer { @Override public void analyze(ImageProxy imageProxy) { Image mediaImage = imageProxy.getImage(); if (mediaImage != null) { InputImage image = InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees()); // Pass image to an ML Kit Vision API // ... } } }
ถ้าคุณไม่ได้ใช้ไลบรารีกล้องถ่ายรูปที่ให้องศาการหมุนของภาพ คุณ สามารถคำนวณได้จากระดับการหมุนของอุปกรณ์และการวางแนวของกล้อง เซ็นเซอร์ในอุปกรณ์:
Kotlin
private val ORIENTATIONS = SparseIntArray() init { ORIENTATIONS.append(Surface.ROTATION_0, 0) ORIENTATIONS.append(Surface.ROTATION_90, 90) ORIENTATIONS.append(Surface.ROTATION_180, 180) ORIENTATIONS.append(Surface.ROTATION_270, 270) } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) @Throws(CameraAccessException::class) private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. val deviceRotation = activity.windowManager.defaultDisplay.rotation var rotationCompensation = ORIENTATIONS.get(deviceRotation) // Get the device's sensor orientation. val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager val sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION)!! if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360 } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360 } return rotationCompensation }
Java
private static final SparseIntArray ORIENTATIONS = new SparseIntArray(); static { ORIENTATIONS.append(Surface.ROTATION_0, 0); ORIENTATIONS.append(Surface.ROTATION_90, 90); ORIENTATIONS.append(Surface.ROTATION_180, 180); ORIENTATIONS.append(Surface.ROTATION_270, 270); } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing) throws CameraAccessException { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation(); int rotationCompensation = ORIENTATIONS.get(deviceRotation); // Get the device's sensor orientation. CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE); int sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION); if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360; } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360; } return rotationCompensation; }
จากนั้นส่งออบเจ็กต์ media.Image
และ
ค่าองศาการหมุนเป็น InputImage.fromMediaImage()
:
Kotlin
val image = InputImage.fromMediaImage(mediaImage, rotation)
Java
InputImage image = InputImage.fromMediaImage(mediaImage, rotation);
การใช้ URI ของไฟล์
วิธีสร้าง InputImage
จาก URI ของไฟล์ แล้วส่งบริบทของแอปและ URI ของไฟล์ไปยัง
InputImage.fromFilePath()
วิธีนี้มีประโยชน์เมื่อคุณ
ใช้ Intent ACTION_GET_CONTENT
เพื่อแจ้งให้ผู้ใช้เลือก
รูปภาพจากแอปแกลเลอรี
Kotlin
val image: InputImage try { image = InputImage.fromFilePath(context, uri) } catch (e: IOException) { e.printStackTrace() }
Java
InputImage image; try { image = InputImage.fromFilePath(context, uri); } catch (IOException e) { e.printStackTrace(); }
กำลังใช้ByteBuffer
หรือByteArray
วิธีสร้าง InputImage
จาก ByteBuffer
หรือ ByteArray
ให้คำนวณรูปภาพก่อน
องศาการหมุนตามที่อธิบายไว้ก่อนหน้านี้สำหรับอินพุต media.Image
จากนั้นสร้างออบเจ็กต์ InputImage
พร้อมบัฟเฟอร์หรืออาร์เรย์ ร่วมกับรูปภาพ
ความสูง ความกว้าง รูปแบบการเข้ารหัสสี และระดับการหมุน:
Kotlin
val image = InputImage.fromByteBuffer( byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ) // Or: val image = InputImage.fromByteArray( byteArray, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 )
Java
InputImage image = InputImage.fromByteBuffer(byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ); // Or: InputImage image = InputImage.fromByteArray( byteArray, /* image width */480, /* image height */360, rotation, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 );
กำลังใช้Bitmap
วิธีสร้าง InputImage
จากออบเจ็กต์ Bitmap
ให้ทำการประกาศต่อไปนี้
Kotlin
val image = InputImage.fromBitmap(bitmap, 0)
Java
InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);
รูปภาพจะแสดงเป็นวัตถุ Bitmap
ร่วมกับองศาการหมุน
3. รับอินสแตนซ์ของ FaceDetector
Kotlin
val detector = FaceDetection.getClient(options) // Or, to use the default option: // val detector = FaceDetection.getClient();
Java
FaceDetector detector = FaceDetection.getClient(options); // Or use the default options: // FaceDetector detector = FaceDetection.getClient();
4. ประมวลผลรูปภาพ
ส่งรูปภาพไปยังเมธอดprocess
:
Kotlin
val result = detector.process(image) .addOnSuccessListener { faces -> // Task completed successfully // ... } .addOnFailureListener { e -> // Task failed with an exception // ... }
Java
Task<List<Face>> result = detector.process(image) .addOnSuccessListener( new OnSuccessListener<List<Face>>() { @Override public void onSuccess(List<Face> faces) { // Task completed successfully // ... } }) .addOnFailureListener( new OnFailureListener() { @Override public void onFailure(@NonNull Exception e) { // Task failed with an exception // ... } });
5. รับข้อมูลเกี่ยวกับใบหน้าที่ตรวจพบ
หากการดำเนินการตรวจจับใบหน้าสำเร็จ รายการFace
ออบเจ็กต์ได้รับการส่งผ่านไปยังความสำเร็จ
Listener วัตถุ Face
แต่ละรายการแสดงใบหน้าที่ตรวจพบ
ในรูปภาพ คุณสามารถดูพิกัดขอบเขตของใบหน้าแต่ละด้านได้ในอินพุต
รวมทั้งข้อมูลอื่นๆ ที่คุณกำหนดค่าอุปกรณ์ตรวจจับใบหน้าไว้
ค้นหา เช่น
Kotlin
for (face in faces) { val bounds = face.boundingBox val rotY = face.headEulerAngleY // Head is rotated to the right rotY degrees val rotZ = face.headEulerAngleZ // Head is tilted sideways rotZ degrees // If landmark detection was enabled (mouth, ears, eyes, cheeks, and // nose available): val leftEar = face.getLandmark(FaceLandmark.LEFT_EAR) leftEar?.let { val leftEarPos = leftEar.position } // If contour detection was enabled: val leftEyeContour = face.getContour(FaceContour.LEFT_EYE)?.points val upperLipBottomContour = face.getContour(FaceContour.UPPER_LIP_BOTTOM)?.points // If classification was enabled: if (face.smilingProbability != null) { val smileProb = face.smilingProbability } if (face.rightEyeOpenProbability != null) { val rightEyeOpenProb = face.rightEyeOpenProbability } // If face tracking was enabled: if (face.trackingId != null) { val id = face.trackingId } }
Java
for (Face face : faces) { Rect bounds = face.getBoundingBox(); float rotY = face.getHeadEulerAngleY(); // Head is rotated to the right rotY degrees float rotZ = face.getHeadEulerAngleZ(); // Head is tilted sideways rotZ degrees // If landmark detection was enabled (mouth, ears, eyes, cheeks, and // nose available): FaceLandmark leftEar = face.getLandmark(FaceLandmark.LEFT_EAR); if (leftEar != null) { PointF leftEarPos = leftEar.getPosition(); } // If contour detection was enabled: List<PointF> leftEyeContour = face.getContour(FaceContour.LEFT_EYE).getPoints(); List<PointF> upperLipBottomContour = face.getContour(FaceContour.UPPER_LIP_BOTTOM).getPoints(); // If classification was enabled: if (face.getSmilingProbability() != null) { float smileProb = face.getSmilingProbability(); } if (face.getRightEyeOpenProbability() != null) { float rightEyeOpenProb = face.getRightEyeOpenProbability(); } // If face tracking was enabled: if (face.getTrackingId() != null) { int id = face.getTrackingId(); } }
ตัวอย่างคอนทัวร์ของใบหน้า
เมื่อเปิดใช้การตรวจจับเส้นโครงร่างใบหน้า คุณจะได้รับรายการจุดสำหรับ ลักษณะใบหน้าแต่ละรายการที่ตรวจพบ จุดเหล่านี้แสดงรูปร่างของ ดูใบหน้า แนวคิดในการตรวจจับสำหรับรายละเอียดเกี่ยวกับ แนวโค้ง ที่มีตัวแทน
ภาพต่อไปนี้แสดงให้เห็นว่าจุดเหล่านี้แมปกับใบหน้าอย่างไร ให้คลิก รูปภาพเพื่อขยาย:
การตรวจจับใบหน้าแบบเรียลไทม์
หากคุณต้องการใช้การตรวจจับใบหน้าในแอปพลิเคชันแบบเรียลไทม์ ให้ทำตามดังนี้ เพื่อให้ได้อัตราเฟรมที่ดีที่สุด
กำหนดค่าตัวตรวจจับใบหน้าให้ใช้ การตรวจจับเส้นโครงร่างใบหน้าหรือการแยกประเภทและการตรวจจับจุดสังเกต แต่ไม่ใช่ทั้ง 2 อย่าง
การตรวจจับรูปร่าง
การตรวจจับจุดสังเกต
การจัดประเภท
การตรวจหาและการแยกประเภทจุดสังเกต
การตรวจจับเส้นโค้งและการตรวจจับจุดสังเกต
การตรวจจับและการแยกประเภทรูปร่าง
การตรวจจับเส้นโค้ง การตรวจหาจุดสังเกต และการแยกประเภทเปิดใช้โหมด
FAST
(เปิดใช้โดยค่าเริ่มต้น)ลองจับภาพที่ความละเอียดต่ำลง แต่โปรดทราบว่า ข้อกำหนดขนาดรูปภาพของ API นี้
Camera
หรือ
camera2
API,
รวมถึงควบคุมการเรียกไปที่ตัวตรวจจับ หากวิดีโอใหม่
เฟรมพร้อมใช้งานขณะที่ตัวตรวจจับกำลังทำงาน ให้วางเฟรม โปรดดู
VisionProcessorBase
ในแอปตัวอย่างการเริ่มต้นอย่างรวดเร็วสำหรับตัวอย่าง
CameraX
API
ตรวจสอบว่ากลยุทธ์ Backpressure เป็นค่าเริ่มต้น
ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST
วิธีนี้ช่วยให้มั่นใจว่าระบบจะส่งรูปภาพมาวิเคราะห์เพียงครั้งละ 1 รูป ถ้ารูปภาพเพิ่มเติมคือ
ผลิตขณะที่เครื่องมือวิเคราะห์ไม่ว่าง ข้อมูลจะหายไปโดยอัตโนมัติและไม่ได้เข้าคิว
เมื่อปิดการวิเคราะห์รูปภาพด้วยการเรียกใช้
ImageProxy.close() ระบบจะส่งรูปภาพล่าสุดถัดไป
CameraSourcePreview
และ
คลาส GraphicOverlay
ในแอปตัวอย่างการเริ่มต้นอย่างรวดเร็วสำหรับตัวอย่าง
ImageFormat.YUV_420_888
หากคุณใช้ Camera API รุ่นเก่า ให้จับภาพใน
ImageFormat.NV21