机器学习术语表:TensorFlow

本页包含 TensorFlow 术语表术语。如需查看所有术语表术语,请点击此处

B

批量推理

#TensorFlow
#GoogleCloud

根据多个无标签样本推断预测结果的过程,该样本分为较小的子集(“批量”)。

批量推理可以利用加速器芯片的并行化功能。也就是说,多个加速器可以同时推断不同批次的无标签样本的预测,从而大大增加每秒推断次数。

C

Cloud TPU

#TensorFlow
#GoogleCloud

一种专门的硬件加速器,旨在加速 Google Cloud 上的机器学习工作负载。

D

Dataset API (tf.data)

#TensorFlow

一种高阶 TensorFlow API,用于读取数据并将其转换为机器学习算法所需的格式。tf.data.Dataset 对象表示一系列元素,其中每个元素都包含一个或多个张量tf.data.Iterator 对象提供对 Dataset 元素的访问权限。

如需详细了解 Dataset API,请参阅 TensorFlow 编程人员指南中的 tf.data:构建 TensorFlow 输入流水线

设备

#TensorFlow
#GoogleCloud

一个重载的术语,具有以下两种可能的定义:

  1. 一类可运行 TensorFlow 会话的硬件,包括 CPU、GPU 和 TPU
  2. 加速器芯片(GPU 或 TPU)上训练机器学习模型时,系统实际上操作张量嵌入的部分。该设备在加速器芯片上运行。相比之下,主机通常在 CPU 上运行。

E

即刻执行

#TensorFlow

一种 TensorFlow 编程环境,可在其中立即运行operations。相反,在图执行中调用的操作在得到明确评估之前不会运行。即刻执行是一种命令式接口,就像大多数编程语言中的代码一样。与图执行程序相比,Eager 执行程序通常更易于调试。

Estimator

#TensorFlow

已废弃的 TensorFlow API。使用 tf.keras 而非 Estimator。

F

特征工程

#fundamentals
#TensorFlow

包含以下步骤的流程:

  1. 确定哪些特征在训练模型时可能有用。
  2. 将数据集中的原始数据转换为这些特征的高效版本。

例如,您可以确定 temperature 可能是一项实用功能。然后,您可以尝试分桶,以优化模型可以从不同 temperature 范围中学到的内容。

特征工程有时称为特征提取特征化

特征规范

#TensorFlow

描述从 tf.Example 协议缓冲区提取特征数据所需的信息。由于 tf.Example 协议缓冲区只是数据的容器,因此您必须指定以下内容:

  • 要提取的数据(即特征的键)
  • 数据类型(例如 float 或 int)
  • 长度(固定或可变)

G

图表

#TensorFlow

TensorFlow 中的一种计算规范。图中的节点表示操作。边缘具有方向,表示将某项操作的结果(张量)作为一个操作数传递给另一项操作。可以使用 TensorBoard 直观呈现图。

图执行

#TensorFlow

一种 TensorFlow 编程环境,在该环境中,程序会先构建一个,然后执行该图的全部或部分内容。图执行是 TensorFlow 1.x 中的默认执行模式。

即刻执行相对。

H

主办方

#TensorFlow
#GoogleCloud

加速器芯片(GPU 或 TPU)上训练机器学习模型时:

  • 整个代码流程。
  • 输入流水线的提取和转换。

主机通常在 CPU 上运行,而不是在加速器芯片上运行;设备会操控加速器芯片上的张量

L

Layers API (tf.layers)

#TensorFlow

一种 TensorFlow API,用于以层组合的方式构建深度神经网络。通过 Layers API,您可以构建不同类型的图层,例如:

  • tf.layers.Dense,适用于全连接层
  • tf.layers.Conv2D 表示卷积层。

Layers API 遵循 Keras Layers API 规范。 也就是说,除了前缀不同之外,Layers API 中的所有函数都与 Keraslayers API 中的对应函数具有相同的名称和签名。

M

网格

#TensorFlow
#GoogleCloud

在机器学习并行编程中,与将数据和模型分配给 TPU 芯片以及定义这些值的分片或复制方式相关的术语。

网格是一个重载术语,可以理解为下列含义之一:

  • TPU 芯片的物理布局。
  • 用于将数据和模型映射到 TPU 芯片的抽象逻辑结构。

这两种情况都可以将网格指定为形状

指标

#TensorFlow

您关注的统计信息。

目标是机器学习系统尝试优化的指标。

节点(TensorFlow 图)

#TensorFlow

TensorFlow 中的操作。

O

操作 (op)

#TensorFlow

在 TensorFlow 中,任何创建、操纵或销毁张量的过程。例如,矩阵相乘就是一种运算,它会将两个张量作为输入,并生成一个张量作为输出。

P

参数服务器 (PS)

#TensorFlow

一种作业,负责在分布式设置中跟踪模型参数

Q

队列

#TensorFlow

一种实现队列数据结构的 TensorFlow 操作。通常用于 I/O。

R

秩(张量)

#TensorFlow

张量中的维度数。例如,标量的秩为 0,向量的秩为 1,矩阵的秩为 2。

请勿与排序(序数)混淆。

根目录

#TensorFlow

您指定的目录,用于托管多个模型的 TensorFlow 检查点和事件文件的子目录。

SavedModel

#TensorFlow

保存和恢复 TensorFlow 模型时建议使用的格式。SavedModel 是一种无关语言的可恢复序列化格式,可让较高级别的系统和工具创建、使用和转换 TensorFlow 模型。

如需了解完整详情,请参阅《TensorFlow 编程人员指南》中的保存和恢复一章。

实惠

#TensorFlow

一种 TensorFlow 对象,负责保存模型检查点。

分片

#TensorFlow
#GoogleCloud

训练集模型的逻辑除法。通常,某些进程通过将示例参数划分为(通常)大小相等的区块来创建分片。然后,系统会将每个分片分配给不同的机器。

将模型分片称为模型并行;数据分片称为数据并行

摘要

#TensorFlow

在 TensorFlow 中,在特定步骤计算出的一个或一组值,通常用于在训练期间跟踪模型指标。

T

张量

#TensorFlow

TensorFlow 程序中的主要数据结构。张量是 N 维(其中 N 可能非常大)数据结构,最常见的是标量、向量或矩阵。张量的元素可以包含整数、浮点值或字符串值。

TensorBoard

#TensorFlow

一个信息中心,用于显示在执行一个或多个 TensorFlow 程序期间保存的摘要。

TensorFlow

#TensorFlow

一个大型分布式机器学习平台。该术语还指 TensorFlow 堆栈中的基本 API 层,该层支持对数据流图进行一般计算。

虽然 TensorFlow 主要用于机器学习,但您也可以将 TensorFlow 用于需要使用数据流图进行数值计算的非机器学习任务。

TensorFlow Playground

#TensorFlow

一款程序,用于可视化不同的超参数对模型(主要是神经网络)训练的影响。 若要试用 TensorFlow Playground,请前往 http://playground.tensorflow.org

TensorFlow Serving

#TensorFlow

一个用于在生产环境中部署经过训练的模型的平台。

张量处理单元 (TPU)

#TensorFlow
#GoogleCloud

一种应用专用集成电路 (ASIC),可优化机器学习工作负载的性能。这些 ASIC 被部署为 TPU 设备上的多个 TPU 芯片

张量等级 (Tensor rank)

#TensorFlow

请参阅秩(张量)

张量形状

#TensorFlow

张量在各种维度中包含的元素数。例如,[5, 10] 张量在另一个维度中的形状为 5,在另一个维度中的形状为 10。

张量大小

#TensorFlow

张量包含的标量总数。例如,[5, 10] 张量的大小为 50。

tf.Example

#TensorFlow

一种标准 协议缓冲区,旨在描述用于机器学习模型训练或推断的输入数据。

tf.keras

#TensorFlow

集成到 TensorFlow 中的 Keras 实现。

TPU

#TensorFlow
#GoogleCloud

张量处理单元的缩写。

TPU 芯片

#TensorFlow
#GoogleCloud

一种具有针对机器学习工作负载优化的片上高带宽内存的可编程线性代数加速器。多个 TPU 芯片部署在 TPU 设备上。

TPU 设备

#TensorFlow
#GoogleCloud

具有多个 TPU 芯片、高带宽网络接口和系统冷却硬件的印刷电路板 (PCB)。

TPU 主进程

#TensorFlow
#GoogleCloud

在宿主机上运行的中央协调过程,用于向 TPU 工作器发送和接收数据、结果、程序、性能和系统运行状况信息。TPU 主实例还负责管理 TPU 设备的设置和关闭。

TPU 节点

#TensorFlow
#GoogleCloud

Google Cloud 上具有特定 TPU 类型的 TPU 资源。TPU 节点从对等 VPC 网络连接到您的 VPC 网络。TPU 节点是在 Cloud TPU API 中定义的资源。

TPU Pod

#TensorFlow
#GoogleCloud

Google 数据中心内的 TPU 设备的特定配置。TPU Pod 中的所有设备都通过专用高速网络相互连接。TPU Pod 是可用于特定 TPU 版本的最大 TPU 设备配置。

TPU 资源

#TensorFlow
#GoogleCloud

您在 Google Cloud 上创建、管理或使用的 TPU 实体。例如,TPU 节点TPU 类型是 TPU 资源。

TPU 切片

#TensorFlow
#GoogleCloud

TPU 切片是 TPU PodTPU 设备的一部分。TPU 切片中的所有设备都通过专用高速网络相互连接。

TPU 类型

#TensorFlow
#GoogleCloud

一个或多个具有特定 TPU 硬件版本的 TPU 设备的配置。在 Google Cloud 上创建 TPU 节点时,您可以选择 TPU 类型。例如,v2-8 TPU 类型是具有 8 个核心的单个 TPU v2 设备。v3-2048 TPU 类型有 256 个联网 TPU v3 设备,总共 2048 个核心。TPU 类型是在 Cloud TPU API 中定义的资源。

TPU 工作器

#TensorFlow
#GoogleCloud

在主机上运行并在 TPU 设备上执行机器学习程序的过程。