本页面包含 Google Cloud 术语表中的术语。如需查看所有术语,请点击此处。
A
加速器条状标签
一类专门的硬件组件,旨在执行深度学习算法所需的主要计算。
与通用 CPU 相比,加速器芯片(简称加速器)可以显著提高训练和推理任务的速度和效率。它们非常适合训练神经网络和执行类似的计算密集型任务。
加速器芯片的示例包括:
- Google 的张量处理单元 (TPU),具有专用于深度学习的硬件。
- NVIDIA 的 GPU 虽然最初是为图形处理而设计的,但旨在实现并行处理,从而显著提高处理速度。
B
批量推理
对分为较小子集(“批次”)的多个无标签示例进行推理预测的过程。
批量推理可以利用加速器芯片的并行化功能。也就是说,多个加速器可以同时对不同批次未标记的示例进行推理预测,从而大幅提高每秒的推理次数。
如需了解详情,请参阅机器学习速成课程中的生产环境中的机器学习系统:静态推理与动态推理。
C
Cloud TPU
一种专用硬件加速器,旨在加快 Google Cloud 上的机器学习工作负载的处理速度。
D
设备
一个多含义术语,具有以下两种可能的定义:
- 一类可运行 TensorFlow 会话的硬件,包括 CPU、GPU 和 TPU。
- 在 加速器芯片(GPU 或 TPU)上训练机器学习模型时,实际操控张量和嵌入的系统部分。设备在加速器芯片上运行。相比之下,主机通常在 CPU 上运行。
H
主机
在加速器芯片(GPU 或 TPU)上训练机器学习模型时,控制以下两方面的系统部分:
- 代码的整体流程。
- 输入流水线的提取和转换。
主机通常在 CPU 上运行,而不是在加速器芯片上运行;设备在加速器芯片上处理张量。
M
网格
在机器学习并行编程中,一个与将数据和模型分配给 TPU 芯片以及定义这些值将如何分片或复制相关的术语。
网格是一个多含义术语,可以理解为下列两种含义之一:
- TPU 芯片的物理布局。
- 一种用于将数据和模型映射到 TPU 芯片的抽象逻辑构造。
无论哪种情况,网格都被指定为形状。
S
分片
训练集或模型的逻辑划分。通常,某个进程会通过将示例或参数划分为(通常)大小相等的块来创建分片。然后,每个分片都会分配给不同的机器。
对模型进行分片称为模型并行处理;对数据进行分片称为数据并行处理。
T
张量处理单元 (TPU)
一种应用专用集成电路 (ASIC),用于优化机器学习工作负载的性能。这些 ASIC 作为 TPU 设备上的多个 TPU 芯片进行部署。
TPU
张量处理单元的缩写。
TPU 芯片
一种可编程的线性代数加速器,具有片上高带宽内存,针对机器学习工作负载进行了优化。多个 TPU 芯片部署在 TPU 设备上。
TPU 设备
一种印刷电路板 (PCB),包含多个 TPU 芯片、高带宽网络接口和系统冷却硬件。
TPU 节点
Google Cloud 上具有特定 TPU 类型的 TPU 资源。TPU 节点通过对等 VPC 网络连接到您的 VPC 网络。TPU 节点是 Cloud TPU API 中定义的一种资源。
TPU Pod
Google 数据中心内 TPU 设备的特定配置。TPU Pod 中的所有设备都通过专用高速网络相互连接。TPU Pod 是特定 TPU 版本可用的最大 TPU 设备配置。
TPU 资源
您在 Google Cloud 上创建、管理或使用的 TPU 实体。例如,TPU 节点和 TPU 类型是 TPU 资源。
TPU 切片
TPU 切片是 TPU Pod 中 TPU 设备的一部分。TPU 切片中的所有设备都通过专用高速网络相互连接。
TPU 类型
一种配置,包含一个或多个具有特定 TPU 硬件版本的 TPU 设备。在 Google Cloud 上创建 TPU 节点时,您需要选择 TPU 类型。例如,v2-8
TPU 类型是具有 8 个核心的单个 TPU v2 设备。v3-2048
TPU 类型具有 256 个联网的 TPU v3 设备,总共有 2048 个核心。TPU 类型是 Cloud TPU API 中定义的资源。
TPU 工作进程
在主机上运行并在 TPU 设备上执行机器学习程序的进程。