索引
EmbeddedAssistant
(接口)AudioInConfig
(消息)AudioInConfig.Encoding
(枚举)AudioOut
(消息)AudioOutConfig
(消息)AudioOutConfig.Encoding
(枚举)ConverseConfig
(消息)ConverseRequest
(消息)ConverseResponse
(消息)ConverseResponse.EventType
(枚举)ConverseResult
(消息)ConverseResult.MicrophoneMode
(枚举)ConverseState
(消息)
EmbeddedAssistant
实现 Google Assistant API 的服务。
Converse | |
---|---|
发起或继续与嵌入式 Google 助理服务对话。每个调用都会执行一次往返,即向服务发送音频请求并接收音频响应。使用双向流式传输在发送音频时接收结果,例如 对话是一个或多个 gRPC 连接,每个连接都由多个流式传输请求和响应组成。例如,用户说“添加到我的购物清单”,助理会回复“你想添加什么?”。第一条 gRPC 消息中的流式传输请求和响应的顺序可能是:
然后,用户说出“百吉饼”,智能助理回复“好的,我已将百吉饼添加到你的购物清单中”。这将作为另一个 gRPC 连接调用发送到
虽然无法保证响应的精确顺序,但顺序 ConverseResponse.audio_out 消息将始终包含顺序的音频部分。
|
AudioInConfig
指定如何处理后续请求中提供的 audio_in
数据。如需了解推荐的设置,请参阅 Google Assistant gRPC API 最佳实践。
字段 | |
---|---|
encoding |
必需:对所有 |
sample_rate_hertz |
必需:所有 |
编码
语音消息中发送的数据的音频编码。音频必须为单声道(单声道)。唯一支持的语言是“en-US”。
枚举 | |
---|---|
ENCODING_UNSPECIFIED |
未指定。将返回结果 google.rpc.Code.INVALID_ARGUMENT 。 |
LINEAR16 |
未压缩的 16 位有符号小端字节序采样(线性 PCM)。这种编码不含标头,只包括原始音频字节。 |
FLAC |
推荐使用 FLAC (免费无损音频编解码器)编码,因为它是无损的,因此丝毫不会影响到识别,而且所需带宽仅为 LINEAR16 的大约一半。此编码包括后跟音频数据的 FLAC 流标头。它支持 16 位和 24 位样本,但并非 STREAMINFO 中的所有字段都受支持。 |
AudioOut
包含 Google 助理对询问的回复的音频。在连续的 ConverseResponse
消息中接收连续的音频数据块。
字段 | |
---|---|
audio_data |
仅限输出:包含 Google 助理对询问的回复的音频数据。连续的音频数据块在顺序 |
AudioOutConfig
指定服务器在返回 audio_out
消息时要使用的格式。
字段 | |
---|---|
encoding |
必需字段。要在所有 |
sample_rate_hertz |
必需: |
volume_percentage |
必需:设备音频输出的当前音量设置。有效值为 1 到 100(对应于 1% 到 100%)。 |
编码
语音消息中返回的数据的音频编码。所有编码都是不含标头的原始音频字节,下面指明的情况除外。
枚举 | |
---|---|
ENCODING_UNSPECIFIED |
未指定。将返回结果 google.rpc.Code.INVALID_ARGUMENT 。 |
LINEAR16 |
未压缩的 16 位有符号小端字节序采样(线性 PCM)。 |
MP3 |
MP3 音频编码。采样率在载荷中进行编码。 |
OPUS_IN_OGG |
封装在 Ogg 容器中的 Opus 编码音频。结果会得到一个可在 Android 和某些浏览器(例如 Chrome)中原生播放的文件。在比特率相同的情况下,编码的质量远高于 MP3。采样率在载荷中进行编码。 |
ConverseConfig
指定如何处理 ConverseRequest
消息。
字段 | |
---|---|
audio_in_config |
必需 - 指定如何处理后续传入音频。 |
audio_out_config |
必需字段。用于指定要返回的音频的格式。 |
converse_state |
必需:表示当前的对话框状态。 |
ConverseRequest
客户端发送的顶级消息。客户端必须至少发送两条 ConverseRequest
消息,通常数量较多。第一条消息必须包含 config
消息,且不得包含 audio_in
数据。所有后续消息都必须包含 audio_in
数据,且不得包含 config
消息。
字段 | ||
---|---|---|
联合字段 converse_request 。在每个 ConverseRequest 中,只能指定其中一个字段。converse_request 只能是下列其中一项: |
||
config |
|
|
audio_in |
要识别的音频数据。连续的音频数据块在连续的 |
ConverseResponse
客户端收到的顶级消息。将一系列一个或多个 ConverseResponse
消息流式传输回客户端。
字段 | ||
---|---|---|
联合字段 converse_response 。在每个 ConverseResponse 中,系统将仅填充其中一个字段。converse_response 只能是下列其中一项: |
||
error |
仅限输出:如果设置,则返回 |
|
event_type |
仅限输出:表示事件类型。 |
|
audio_out |
仅限输出:包含 Google 助理对询问的回复的音频。 |
|
result |
仅限输出:用户语音查询的语义结果。 |
EventType
指明事件的类型。
枚举 | |
---|---|
EVENT_TYPE_UNSPECIFIED |
未指定事件。 |
END_OF_UTTERANCE |
该事件表明服务器已经检测到用户所说话语结束,并且预计不会有额外的语音。因此,服务器不会处理额外的音频(尽管后续可能会返回额外的结果)。客户端应停止发送额外的音频数据,半关闭 gRPC 连接,并等待任何其他结果,直到服务器关闭 gRPC 连接为止。 |
ConverseResult
用户语音查询的语义结果。
字段 | |
---|---|
spoken_request_text |
仅限输出:系统可识别的用户所说内容的转写内容。 |
spoken_response_text |
仅限输出:Google 助理的语音回复文字。系统仅会针对 IFTTT 操作返回此值。 |
conversation_state |
后续 |
microphone_mode |
仅限输出,用于指定处理此 |
volume_percentage |
仅限输出:更新了音量。除非系统识别出“调高音量”或“将音量设为 4”等语音指令,否则该值将为 0 或省略(表示没有变化),在这种情况下,该值将介于 1 到 100 之间(对应于 1% 到 100% 的新音量级别)。通常,客户端在播放 |
MicrophoneMode
Converse
RPC 完成后麦克风可能的状态。
枚举 | |
---|---|
MICROPHONE_MODE_UNSPECIFIED |
未指定模式。 |
CLOSE_MICROPHONE |
服务不希望用户提出后续问题。麦克风应保持关闭状态,直到用户重新启用它。 |
DIALOG_FOLLOW_ON |
服务会期待用户提出后续问题。在 AudioOut 播放完成(通过启动新的 Converse RPC 调用以发送新音频)时,应重新打开麦克风。 |
ConverseState
提供有关当前对话框状态的信息。
字段 | |
---|---|
conversation_state |
必需元素。之前的 |