稀疏性正则化

本单元重点介绍针对多维度特征向量学习的模型的特殊要求。

预计用时：2 分钟

学习目标

• 了解如何使信息缺乏的系数值正好为 0，以便节省 RAM。
• 了解 L₂ 正则化之外的其他类型的正则化。

稀疏性正则化

让我们返回到特征组合

• 注意：稀疏特征组合可能会显著增加特征空间
• 可能出现的问题：
• 模型大小 (RAM) 可能会变得庞大
• “噪声”系数（导致过拟合）

L₁ 正则化

• 会对权重的 L₀ 范数进行惩罚
• 非凸优化；NP 困难

L₁ 正则化

• 会对权重的 L₀ 范数进行惩罚
• 非凸优化；NP 困难
• 放松到 L₁ 正则化：
• 对绝对值（权重）之和进行惩罚
• 凸问题
• 与 L₂ 不同，L1 鼓励稀疏性

此视频讲座的配音是使用机器学习技术生成的。请帮助我们优化配音技术；点击上方的“发送反馈”即可提交错误报告和建议。

如需更改为英语音频，请从页面左下角的下拉列表中选择“English”（英语）。