Gemini Nano 的提示设计

使用 Prompt API 时,您可以采用一些特定策略来定制提示并获得理想的结果。本页介绍了针对 Gemini Nano 设置提示格式的最佳实践。

如需了解更通用的提示工程指导,请参阅提示工程白皮书生成式 AI 的提示工程提示设计策略

或者,如需自动优化和改进提示,您可以使用零样本优化器,该优化器可以针对设备端模型(例如 gemma-3n-e4b-it)进行优化。

提示设计最佳实践

为 Prompt API 设计提示时,请使用以下技巧:

  • 提供上下文学习示例。在提示中添加分布均匀的示例,向 Gemini Nano 展示您期望的结果类型。

    使用上下文学习时,请考虑使用前缀缓存功能,因为提供示例会使提示更长,并增加推理时间。

  • 简明扼要。包含重复指令的冗长前导内容可能会产生次优结果。确保提示简明扼要。如果您需要重复使用引导模型行为的简短指令,不妨考虑使用系统指令

  • 结构化提示可生成更有效的回答,例如此提示模板示例,其中明确定义了指令、限制和示例。

  • 保持输出简短。LLM 推理速度很大程度上取决于输出长度。请仔细考虑如何针对您的使用情形生成尽可能简短的输出,并进行手动后处理,以将输出结构化为所选格式。为确保回答输出采用您偏好的格式,请使用结构化输出 API

  • 添加定界符。使用 <background_information><instruction>## 等分隔符将提示的不同部分分隔开。在各组件之间使用 ## 对于 Gemini Nano 尤其重要,因为这可以显著降低模型无法正确解读每个组件的几率。

  • 偏好简单逻辑和更专注的任务。如果您发现难以通过需要多步推理的提示(例如,先执行 X,如果 X 的结果是 A,则执行 M;否则执行 N;然后执行 Y…)获得理想的结果,请考虑将任务分解开,让每次 Gemini Nano 调用处理一个更专注的任务,同时使用代码将多次调用链接在一起。如果您确实需要一次性处理复杂的推理密集型任务,请考虑使用思考模式

  • 对于确定性任务,请使用较低的温度值。对于不依赖于创意性的任务(例如实体提取或翻译),请考虑从 temperature 值为 0.2 开始,并根据测试结果调整此值。