ML Kit GenAI API 概览

机器学习套件的生成式 AI API 可利用 Gemini Nano 的强大功能来帮助您的应用执行任务。这些 API 通过高级接口为热门使用场景提供开箱即用的优质体验。ML Kit 生成式 AI API 基于 AICore 构建，后者是一项 Android 系统服务，可实现设备端执行生成式 AI 基础模型，从而通过在本地处理数据来增强应用功能并提升用户隐私保护。

使用 GenAI API 时须遵守 ML Kit GenAI API 附加服务条款。开发者对 API 客户端的安全性和应用的用户体验负全责。

主要特性

ML Kit GenAI API 支持以下功能：

  • 总结：将文章或聊天对话总结为项目符号列表。
  • 校对：通过优化语法和修正拼写错误来润色简短内容。
  • 重写：以不同语气或风格重写短消息。
  • 图片说明：生成给定图片的简短说明。
  • 语音识别：将音频内容转写为文字。
  • 提示：根据自定义的纯文本提示或多模态提示生成文本内容。

生成式 AI API 的优势

与其他现有的机器学习套件功能类似，GenAI API 完全在设备端运行，因此具有以下优势：

  • 输入、推理和输出数据在本地处理
  • 即使没有可靠的网络连接，功能也保持不变
  • 每次 API 调用都不会产生额外的服务器费用

此外，由于生成式 AI API 基于 AICore 构建并由 Gemini Nano 提供支持，因此每个应用都能使用设备上共享的 Gemini Nano 模型。这样一来，如果设备上已存在某个模型，就不必等待下载该模型，从而节省存储空间。详细了解 AICore 如何隔离请求以保护隐私。

流式与非流式

ML Kit GenAI API 提供流式和非流式选项来接收结果。流式 API 会在生成响应时以增量方式传送响应，从而提供持续的数据流。相比之下，非流式传输 API 会等到整个响应完成，然后将其作为单个块返回。

如果需要生成长篇回答，请选择流式传输 API，因为它可以更快地提供初始反馈。非流式传输 API 更适合用于简短的回答或批量处理结果。

设备支持

特定于 GenAI 功能的 API（总结、校对、重写和图片描述）与 Prompt API 的设备支持情况不同，具体如以下各部分所述。

特定功能的 API 设备支持

总结、校对、重写和图片描述 API 可在以下设备上使用，并且我们计划将支持范围扩大到更多设备：

  • Google：Pixel 10、Pixel 10 Pro、Pixel 10 Pro XL、Pixel 10 Pro Fold、Pixel 9、Pixel 9 Pro、Pixel 9 Pro XL、Pixel 9 Pro Fold
  • 荣耀：Honor 400 Pro、Magic 6 Pro、Magic 6 RSR、Magic 7、Magic 7 Pro、Magic V3、Magic V5
  • iQOO：iQOO 13
  • 摩托罗拉：Razr 60 Ultra
  • OnePlus：OnePlus 13、OnePlus 13s、OnePlus Pad 3
  • OPPO：Find N5、Find X8、Find X8 Pro、Reno 14 Pro
  • POCO：POCO F7 Ultra、POCO X7 Pro
  • realme：realme GT 7 Pro、realme GT 7T
  • Samsung：Galaxy S25、Galaxy S25+、Galaxy S25 Ultra、Galaxy Z Fold7
  • vivo：vivo X200、vivo X200 Pro、vivo X Fold3 Pro、vivo X Fold5
  • 小米：Xiaomi 15 Ultra、Xiaomi 15、Xiaomi 15T Pro、Xiaomi 15T、Xiaomi Pad Mini

具体语言支持的可用性可能会因特定设备的配置以及已下载到设备的模型而异。

Prompt API 设备支持

以下设备支持 Prompt API：

nano-v2
  • Google：Pixel 9、Pixel 9 Pro、Pixel 9 Pro XL、Pixel 9 Pro Fold
  • 荣耀：Magic V5、Magic 7、Magic 7 Pro
  • iQOO：iQOO 13
  • 摩托罗拉：Razr 60 Ultra
  • OnePlus：OnePlus 13、OnePlus 13s、OnePlus Pad 3
  • OPPO：Find N5、Find X8、Find X8 Pro、Reno 14 Pro
  • POCO：POCO F7 Ultra、POCO X7 Pro
  • realme：realme GT 7 Pro、realme GT 7T
  • Samsung：Galaxy Z Fold7
  • vivo：vivo X200、vivo X200 Pro
  • 小米：Xiaomi 15 Ultra、Xiaomi 15、Xiaomi 15T Pro、Xiaomi 15T、Xiaomi Pad Mini

nano-v3
  • Google：Pixel 10、Pixel 10 Pro、Pixel 10 Pro XL、Pixel 10 Pro Fold

Speech Recognition API 设备支持

以下设备支持 Speech Recognition API：

基本模式 使用传统的设备端语音识别模型，适用于 API 级别为 31 及更高版本的大多数 Android 设备。
高级模式 利用生成式 AI 模型实现更高的质量和更广泛的语言覆盖范围。Pixel 10 设备支持此功能，我们正在开发更多设备。

检索 Gemini Nano 版本

不同版本的 Gemini Nano 在不同的设备上运行。如需返回设备上 Gemini Nano 的版本，请使用 getBaseModelName()。

每个应用的配额

AICore 会针对每个应用强制执行推理配额。如果在短时间内发出过多的 GenAI API 请求，则会导致 ErrorCode.BUSY 响应。收到此类错误时，请考虑使用指数退避算法重试请求。此外，如果应用超出长时间配额（例如每日配额），系统也会返回 ErrorCode.PER_APP_BATTERY_USE_QUOTA_EXCEEDED。

后台使用情况

仅当应用是最主要的前台应用时，才允许进行 GenAI API 推理。当应用不在前台时（包括使用前台服务时）使用该 API 会导致 ErrorCode.BACKGROUND_USE_BLOCKED 响应。

示例代码

如需获取此代码，请查看以下示例：