机器学习术语表:TensorFlow

本页包含 TensorFlow 术语表中的术语。如需查看所有术语表术语,请点击此处

B

批量推理

#TensorFlow
#GoogleCloud

对分为较小子集(“批次”)的多个未标记示例进行推理预测的过程。

批量推理可以利用加速器芯片的并行处理功能。也就是说,多个加速器可以同时对不同批量的未标记示例进行推理预测,从而显著提高每秒的推理次数。

如需了解详情,请参阅机器学习速成课程中的生产机器学习系统:静态推理与动态推理

C

Cloud TPU

#TensorFlow
#GoogleCloud

一种专用硬件加速器,旨在加速处理在 Google Cloud 上的机器学习工作负载。

D

Dataset API (tf.data)

#TensorFlow

一种高阶 TensorFlow API,用于读取数据并将其转换为机器学习算法所需的格式。tf.data.Dataset 对象表示一系列元素,其中每个元素都包含一个或多个张量tf.data.Iterator 对象可获取 Dataset 中的元素。

设备

#TensorFlow
#GoogleCloud

一个具有多重含义的术语,具有以下两种可能的定义:

  1. 一类可运行 TensorFlow 会话的硬件,包括 CPU、GPU 和 TPU
  2. 加速器芯片(GPU 或 TPU)上训练机器学习模型时,系统中实际操控张量嵌入的部分。该设备搭载加速器芯片。相比之下,主机通常在 CPU 上运行。

E

即刻执行

#TensorFlow

一种 TensorFlow 编程环境,操作可在其中立即运行。相比之下,在图执行中调用的操作在得到明确评估之前不会运行。即刻执行是一种命令式接口,就像大多数编程语言中的代码一样。相比图执行程序,调试即刻执行程序通常要容易得多。

Estimator

#TensorFlow

已废弃的 TensorFlow API。使用 tf.keras 而非 Estimator。

F

特征工程

#fundamentals
#TensorFlow

一个涉及以下步骤的过程:

  1. 确定哪些特征可能在训练模型方面非常有用。
  2. 将数据集中的原始数据转换为这些特征的高效版本。

例如,您可能会确定 temperature 可能是一项实用的功能。然后,您可以尝试使用分桶来优化模型可以从不同 temperature 范围中学习的内容。

特征工程有时称为特征提取特征化

如需了解详情,请参阅机器学习速成课程中的数值数据:模型如何使用特征向量提取数据

特征规范

#TensorFlow

介绍从 tf.Example 协议缓冲区中提取特征数据所需的信息。由于 tf.Example 协议缓冲区只是数据的容器,因此您必须指定以下内容:

  • 要提取的数据(即地图项的键)
  • 数据类型(例如 float 或 int)
  • 长度(固定或可变)

G

图表

#TensorFlow

TensorFlow 中的一种计算规范。图中的节点表示操作。边缘具有方向,表示将某项操作的结果(一个Tensor)作为一个操作数传递给另一项操作。使用 TensorBoard 可视化图。

图执行

#TensorFlow

一种 TensorFlow 编程环境,在该环境中,图执行程序会先构造一个,然后执行该图的所有部分或某些部分。图执行是 TensorFlow 1.x 中的默认执行模式。

即刻执行相对。

H

主机

#TensorFlow
#GoogleCloud

加速器芯片(GPU 或 TPU)上训练机器学习模型时,系统的以下部分会同时控制这两项:

  • 代码的整体流程。
  • 输入流水线的提取和转换。

主机通常在 CPU 上运行,而不是在加速器芯片上运行;设备在加速器芯片上操控张量

L

Layers API (tf.layers)

#TensorFlow

一种 TensorFlow API,用于以层组合的方式构建深度神经网络。借助 Layers API,您可以构建不同类型的,例如:

  • tf.layers.Dense(用于全连接层)。
  • tf.layers.Conv2D(适用于卷积层)。

Layers API 遵循 Keras Layers API 规范。也就是说,除了前缀不同之外,Layers API 中的所有函数与 Keras Layers API 中的同类函数具有相同的名称和签名。

M

网格

#TensorFlow
#GoogleCloud

在机器学习并行编程中,与将数据和模型分配给 TPU 芯片以及定义这些值的分片或复制方式相关的术语。

“网格”是一个多含义术语,可以理解为下列两种含义之一:

  • TPU 芯片的物理布局。
  • 用于将数据和模型映射到 TPU 芯片的抽象逻辑结构。

无论是哪种情况,网格都指定为形状

指标

#TensorFlow

您关注的统计信息。

目标是机器学习系统尝试优化的指标。

节点(TensorFlow 图)(node (TensorFlow graph))

#TensorFlow

TensorFlow 中的操作。

O

操作 (op)

#TensorFlow

在 TensorFlow 中,任何创建、操纵或销毁Tensor的过程都属于操作。例如,矩阵乘法是一种将两个张量作为输入并生成一个张量作为输出的操作。

P

参数服务器 (PS)

#TensorFlow

一种作业,负责在分布式环境中跟踪模型的参数

Q

队列

#TensorFlow

一种实现队列数据结构的 TensorFlow 操作。通常用于 I/O。

R

秩(张量)(rank (Tensor))

#TensorFlow

Tensor中的维数。例如,标量的秩为 0,向量的秩为 1,矩阵的秩为 2。

请勿与排序(序数)混淆。

根目录

#TensorFlow

您指定的目录,用于托管多个模型的 TensorFlow 检查点和事件文件的子目录。

S

SavedModel

#TensorFlow

保存和恢复 TensorFlow 模型时建议使用的格式。SavedModel 是一种独立于语言且可恢复的序列化格式,使较高级别的系统和工具可以创建、使用和转换 TensorFlow 模型。

如需完整的详细信息,请参阅《TensorFlow 编程人员指南》中的“保存和恢复”部分

实惠

#TensorFlow

一种 TensorFlow 对象,负责保存模型检查点。

分片

#TensorFlow
#GoogleCloud

训练集模型的逻辑划分。通常,某些进程会通过将示例参数划分为(通常)大小相同的块来创建分片。然后,每个分片都会分配到不同的机器。

对模型进行分片称为模型并行处理;对数据进行分片称为数据并行处理

摘要

#TensorFlow

在 TensorFlow 中的某一计算出的一个值或一组值,通常用于在训练期间跟踪模型指标。

T

张量

#TensorFlow

TensorFlow 程序中的主要数据结构。张量是 N 维(其中 N 可以非常大)的数据结构,最常见的是标量、矢量或矩阵。张量的元素可以包含整数值、浮点值或字符串值。

TensorBoard

#TensorFlow

一个信息中心,用于显示在执行一个或多个 TensorFlow 程序期间保存的总结信息。

TensorFlow

#TensorFlow

一个大型的分布式机器学习平台。该术语还指 TensorFlow 堆栈中的基准 API 层,该层支持对数据流图进行一般计算。

虽然 TensorFlow 主要用于机器学习,但您也可以将 TensorFlow 用于需要使用数据流图进行数值计算的非机器学习任务。

TensorFlow Playground

#TensorFlow

一款程序,用于可视化不同的超参数对模型(主要是神经网络)训练的影响。如需试用 TensorFlow Playground,请前往 http://playground.tensorflow.org

TensorFlow Serving

#TensorFlow

一个平台,用于将训练过的模型部署到生产环境。

张量处理单元 (TPU)

#TensorFlow
#GoogleCloud

一种应用专用集成电路 (ASIC),用于优化机器学习工作负载的性能。这些 ASIC 会作为多个 TPU 芯片部署在 TPU 设备上。

张量的阶

#TensorFlow

请参阅秩(张量)

张量形状

#TensorFlow

Tensor在各种维度中包含的元素数。例如,[5, 10] 张量在一个维度上的形状为 5,在另一个维度上的形状为 10。

张量大小

#TensorFlow

Tensor包含的标量总数。例如,[5, 10] 张量的大小为 50。

tf.Example

#TensorFlow

一种标准 协议缓冲区,旨在描述用于机器学习模型训练或推断的输入数据。

tf.keras

#TensorFlow

集成到 TensorFlow 中的 Keras 实现。

TPU

#TensorFlow
#GoogleCloud

张量处理单元的缩写。

TPU 芯片

#TensorFlow
#GoogleCloud

一种可编程的线性代数加速器,具有针对机器学习工作负载进行了优化的片上高带宽内存。多个 TPU 芯片部署在 TPU 设备上。

TPU 设备

#TensorFlow
#GoogleCloud

包含多个 TPU 芯片、高带宽网络接口和系统冷却硬件的印刷电路板 (PCB)。

TPU 主进程

#TensorFlow
#GoogleCloud

在主机上运行的中央协调进程,用于接收数据、结果、程序、性能和系统运行状况信息,并将其发送给 TPU 工作进程。TPU 主进程还管理 TPU 设备的设置和关闭。

TPU 节点

#TensorFlow
#GoogleCloud

Google Cloud 上具有特定 TPU 类型的 TPU 资源。TPU 节点从对等 VPC 网络连接到您的 VPC 网络。TPU 节点是 Cloud TPU API 中定义的资源。

TPU Pod

#TensorFlow
#GoogleCloud

Google 数据中心中 TPU 设备的特定配置。TPU Pod 中的所有设备都通过专用高速网络互相连接。TPU Pod 是特定 TPU 版本可用的 TPU 设备配置的最大值。

TPU 资源

#TensorFlow
#GoogleCloud

您在 Google Cloud 上创建、管理或使用的 TPU 实体。例如,TPU 节点TPU 类型是 TPU 资源。

TPU 切片

#TensorFlow
#GoogleCloud

TPU 切片是 TPU PodTPU 设备的一部分。TPU 切片中的所有设备都通过专用高速网络互相连接。

TPU 类型

#TensorFlow
#GoogleCloud

一个或多个具有特定 TPU 硬件版本的 TPU 设备的配置。您可以在 Google Cloud 上创建 TPU 节点时选择 TPU 类型。例如,v2-8 TPU 类型是具有 8 个核心的单个 TPU v2 设备。v3-2048 TPU 类型具有 256 个联网的 TPU v3 设备,总共 2048 个核心。TPU 类型是 Cloud TPU API 中定义的资源。

TPU 工作进程

#TensorFlow
#GoogleCloud

在宿主机上运行的进程,用于在 TPU 设备上执行机器学习程序。