神经网络

预计单元时长：75 分钟

学习目标

• 说明构建神经网络的动机，以及它们解决的用例。
• 定义并说明深度神经网络架构的关键组件的功能：
  • 节点
  • 隐藏层
  • 激活函数
• 通过逐步演示推理过程，直观了解神经网络如何进行预测。
• 使用 反向传播算法。
• 解释如何使用神经网络来执行两种类型的 多类别分类：一对多和一对一。

前提条件：

本单元假定您熟悉 以下模块：

• 机器学习简介
• 线性回归
• 逻辑回归
• Classification
• 处理数值数据
• 使用分类数据
• 数据集、泛化和过拟合

您可能还记得“分类数据”模块中的特征交叉练习，其中指出以下分类问题是非线性的：

图 1. 非线性分类问题。线性函数无法将所有蓝点与橙点清晰地分开。

“非线性”这表示你无法准确预测 格式为 \(b + w_1x_1 + w_2x_2\)。换言之， “决策界面”不是一条线。

不过，如果我们对特征 $x_1$ 和 $x_2$ 执行特征交叉，则可以使用线性模型表示这两个特征之间的非线性关系：$b + w_1x_1 + w_2x_2 + w_3x_3$，其中 $x_3$ 是 $x_1$ 和 $x_2$ 之间的特征交叉：

图 2. 通过添加特征交叉项 x₁x₂，线性模型可以学习一个将蓝点与橙点分开的双曲线形状。

现在，请考虑以下数据集：

图 3. 更困难的非线性分类问题。

您可能还记得特征交叉练习，在确定正确的特征交叉以将线性模型拟合到这些数据时，需要付出更多努力并进行更多实验。

但如果您不必亲自进行所有这些实验，该怎么办？ 神经网络是一类模型架构，旨在发现数据中的非线性模式。在神经网络训练期间，模型会自动学习对输入数据执行的最佳特征交叉，以最大限度地减少损失。

在后面的部分中，我们将详细介绍神经网络的运作方式。

关键术语：

• 激活函数
• 隐藏层
• 线性模型
• 模型
• 神经网络
• 节点
• Nonlinear