API GenAI ML Kit memanfaatkan kecanggihan Gemini Nano untuk membantu aplikasi Anda melakukan tugas AI generatif di perangkat. API ini dibuat di atas AICore, layanan sistem Android yang mengelola model dasar di perangkat dan mempercepat inferensi sekaligus menjaga privasi data pengguna.
Persyaratan Layanan Tambahan GenAI API ML Kit berlaku untuk penggunaan GenAI API. Developer sepenuhnya bertanggung jawab atas keamanan klien API dan pengalaman pengguna aplikasi mereka.
Kemampuan utama
ML Kit mengelompokkan kemampuan GenAI-nya ke dalam kategori berikut:
Agen dan pembuatan kustom
Bekerja langsung dengan model dasar Gemini Nano untuk perintah kustom dan alur kerja agentic otonom:
- Akses model langsung (menggunakan class
GenerativeModel): Buat teks atau output terstruktur yang diketik dari perintah khusus teks atau multimodal, atau kelola histori chat multi-turn Anda sendiri secara langsung menggunakan objekList<Content>dengan peranUSERdanMODELserta nilaisessionId, dan kelola deklarasi alat secara langsung. - Agentic Workflows (menggunakan class
AgentRunner): Dibangun di atas classGenerativeModel, mengotomatiskan pengelolaan sesi multi-turn (termasuk histori percakapan dalam memori) dan loop panggilan alat multi-langkah.
Ucapan dan audio
Mentranskripsikan, menerjemahkan, dan menyintesis audio ucapan di perangkat:
- Pengenalan ucapan: Transkripsikan konten audio lisan menjadi teks dalam bahasa yang sama.
- Terjemahan ucapan: Menerjemahkan audio lisan menjadi teks dalam bahasa lain secara real time.
- Text to speech: Menyintesis audio ucapan yang terdengar alami dari teks.
Tugas teks dan gambar
Gunakan API khusus tugas yang dioptimalkan untuk tugas visi, penulisan, dan penelusuran umum tanpa rekayasa perintah:
- Deskripsi gambar: Buat deskripsi singkat untuk gambar yang diberikan.
- Ringkasan: Meringkas artikel atau percakapan chat sebagai daftar berbutir.
- Pemeriksaan tata bahasa: Sempurnakan konten singkat dengan memperbaiki tata bahasa dan memperbaiki kesalahan ejaan.
- Menulis ulang: Menulis ulang pesan singkat dengan gaya bahasa atau gaya yang berbeda.
- Embedding: Buat embedding vektor untuk teks dan gambar menggunakan Embeddings API dan pasangkan dengan AppSearch AndroidX untuk menemukan konten berdasarkan makna.
Manfaat API AI Generatif
Serupa dengan fitur ML Kit lain yang sudah ada, API GenAI berjalan sepenuhnya di perangkat, sehingga memberikan manfaat berikut:
- Data input, inferensi, dan output diproses secara lokal
- Fungsi tetap sama tanpa koneksi internet yang andal
- Tidak ada biaya server tambahan yang dikenakan untuk setiap panggilan API
Selain itu, karena API GenAI dibangun di atas AICore dan didukung oleh Gemini Nano, aplikasi dan API khusus tugas menggunakan model dasar Gemini Nano yang sama di perangkat. Hal ini menghindari keharusan menunggu model terpisah didownload jika Gemini Nano sudah ada di perangkat, dan pada gilirannya menghemat ruang penyimpanan. Pelajari lebih lanjut cara AICore mengisolasi permintaan untuk melindungi privasi.
Streaming versus non-streaming
API GenAI ML Kit menawarkan opsi streaming dan non-streaming untuk menerima hasil. Streaming API mengirimkan respons secara bertahap saat respons tersebut dibuat, sehingga memberikan aliran data yang berkelanjutan. Sebaliknya, API non-streaming menunggu hingga seluruh respons selesai sebelum menampilkannya sebagai satu blok.
Pilih API streaming untuk respons yang panjang, karena memungkinkan masukan awal yang lebih cepat. API non-streaming lebih cocok untuk respons singkat atau saat memproses hasil dalam batch.
Dukungan perangkat
Dukungan perangkat untuk pembuatan kustom serta agen dan API tugas teks dan gambar dijelaskan di bagian berikut. Untuk fitur apa pun yang tidak tercantum di bagian ini, lihat halaman fitur masing-masing untuk mengetahui informasi dukungan perangkat.
Dukungan perangkat agen dan pembuatan kustom
Akses model langsung dan alur kerja agentic didukung di perangkat berikut:
Gemini Nano 2 |
|
Gemini Nano 3 |
|
Gemini Nano 4 |
|
Ketersediaan dan versi model dapat bervariasi bergantung pada konfigurasi RAM perangkat, versi OS, dan status update AICore. Untuk memeriksa versi model aktif di perangkat, lihat Mengambil versi Gemini Nano.
Dukungan perangkat tugas teks dan gambar
API Deskripsi Gambar, Ringkasan, Pemeriksaan Tata Bahasa, dan Penulisan Ulang tersedia di perangkat berikut, dengan rencana untuk memperluas dukungan ke perangkat tambahan:
- Acer: Acer Googlebook 14
- ASUS: ASUS Googlebook 14
- Dell: XPS Googlebook
- Google: Pixel 11, Pixel 11 Pro, Pixel 11 Pro XL, Pixel 11 Pro Fold, Pixel 10, Pixel 10 Pro, Pixel 10 Pro XL, Pixel 10 Pro Fold, Pixel 9, Pixel 9 Pro, Pixel 9 Pro XL, Pixel 9 Pro Fold
- Honor: Honor 400 Pro, Honor 600 Pro, Magic 7, Magic 7 Pro, Porsche Design Magic 7 RSR, Magic 8 Pro, Magic V5, Magic V6, MagicPad 4
- HP: HP Googlebook 14
- iQOO: iQOO 13, iQOO 15
- Lenovo: Lenovo Googlebook 15, Lenovo Idea Tab Pro Gen 2, Lenovo Legion Tab Gen 5(8,8"), Lenovo Yoga Tab Plus Gen 2
- Motorola: Edge 70 Pro, Edge 70 Pro+, Razr 60 Ultra, Razr Ultra 2025, Razr Fold, Signature
- OnePlus: OnePlus 13, OnePlus 13s, OnePlus 15, OnePlus 15R, OnePlus Pad 3
- OPPO: Find N5, Find N6, Find X8, Find X8 Pro, Find X9, Find X9 Pro, Find X9s, Find X9 Ultra, Find X10, Find X10 Pro Max, Reno 14 Pro 5G, Reno 15 Pro 5G, Reno 15 Pro Mini 5G, Reno 15 Pro Max 5G, Reno 16 Pro 5G
- POCO: POCO F7 Ultra, POCO F8 Pro, POCO F8 Ultra, POCO F9 Pro, POCO X7 Pro, POCO X8 Pro, POCO X8 Pro Max
- realme: realme GT 7, realme GT 7 Pro, realme GT 7T, realme GT 8 Pro
- Redmi: Redmi Turbo 5
- Samsung: Galaxy S25, Galaxy S25+, Galaxy S25 Edge, Galaxy S25 Ultra, Galaxy S26, Galaxy S26+, Galaxy S26 FE, Galaxy S26 Ultra, Galaxy Tab S12+, Galaxy Tab S12 Ultra, Galaxy Z Flip7, Galaxy Z Flip8, Galaxy Z Fold7, Galaxy Z Fold8, Galaxy Z Fold8 Ultra, Galaxy Z TriFold
- Sharp: AQUOS R11
- Sony: Xperia 1 VIII
- vivo: vivo T4 Ultra, vivo X200, vivo X200 FE, vivo X200 Pro, vivo X200T, vivo X300, vivo X300 FE, vivo X300 Pro, vivo X300 Ultra, vivo X500 Pro, vivo X500 Pro Max, vivo X Fold3 Pro, vivo X Fold5, vivo X Fold6
- Xiaomi: Leitzphone yang didukung oleh Xiaomi, Xiaomi 15, Xiaomi 15T, Xiaomi 15T Pro, Xiaomi 15 Ultra, Xiaomi 17, Xiaomi 17T, Xiaomi 17T Pro, Xiaomi 17 Ultra, Xiaomi Pad Mini
Ketersediaan dukungan bahasa tertentu dapat bervariasi bergantung pada konfigurasi perangkat tertentu dan model yang telah didownload ke perangkat.
Mengambil versi Gemini Nano
Versi Gemini Nano yang berbeda berjalan di perangkat yang berbeda. Untuk menampilkan
versi Gemini Nano di perangkat, gunakan metode getBaseModelName().
Kuota per aplikasi
AICore menerapkan kuota inferensi per aplikasi. Membuat terlalu banyak
permintaan GenAI API dalam waktu singkat akan menghasilkan respons
ErrorCode.BUSY. Saat menerima error tersebut, pertimbangkan untuk menggunakan backoff eksponensial guna mencoba ulang permintaan. Selain itu, ErrorCode.PER_APP_BATTERY_USE_QUOTA_EXCEEDED dapat
ditampilkan jika aplikasi melebihi kuota berdurasi panjang (misalnya, kuota harian).
Penggunaan latar belakang
Inferensi GenAI API hanya diizinkan jika aplikasi adalah aplikasi latar depan
teratas. Menggunakan API saat aplikasi tidak berada di latar depan, termasuk
menggunakan layanan latar depan, akan menghasilkan respons
ErrorCode.BACKGROUND_USE_BLOCKED.
Kode contoh
Untuk mendapatkan kode ini, lihat contoh berikut: