机器学习笔记：正则化

创始人

2024-06-01 14:41:15

0次

1 Lp范数

$\|x\|_p=\left(\sum_i^n x_i^p\right)^{\frac{1}{p}}$

1.1 L0范数

表示向量中非零元素的个数
- $||X||_0=\#(i|x_i \ne 0)$
通过最小化 L0 范数，来寻找最少最优的稀疏特征项
但是L0范数的最优化问题是一个NP 难问题，同时L0范数是非凸的
- ——>实际应用中需要对L0范数进行凸松弛
从理论上来说，L1范数是L0范数的最优凸近似
- ——>常用L1范数来代替L0范数，以进行优化

1.2 L1范数

$||x||_1=\sum_{i}^n|x_i|$
L1 范数就是向量各元素的绝对值之和
L1范数也被称为是"稀疏规则算子"（Lasso regularization）

1.3 L2范数

机器学习笔记：岭回归（L2正则化）_岭回归正则化_UQI-LIUWJ的博客-CSDN博客

以 L2 范数作为正则项可以得到稠密解，即每个特征对应的参数 𝑤 都很小，接近于 0 但是不为 0
此外，L2 范数作为正则化项，可以防止模型为了迎合训练集而过于复杂造成过拟合的情况，从而提高模型的泛化能力。

1.3.1 L1范数和L2范数的区别（解范围的角度）

蓝色的圆圈表示问题可能的解范围，橘色的表示正则项可能的解范围
整个目标函数（原问题+正则项）有解当且仅当两个解范围相切
- 由于 L2 范数解范围是圆，所以相切的点有很大可能不在坐标轴上
  - ——>稠密解
- 由于 L1 范数是菱形（顶点是凸出来的），其相切的点更可能在坐标轴上
  - ——>稀疏解

1.3.2 L1范数和L2范数的区别（贝叶斯先验的角度）

从贝叶斯先验的角度看，当训练一个模型时，仅依靠当前的训练数据集是不够的，为了实现更好的泛化能力，往往需要加入先验项，而加入正则项相当于加入了一种先验。
- L1 范数相当于加入了一个 Laplacean 先验
  - $f(x|\mu,b)=\frac{1}{2b}exp(-\frac{|x-\mu|}{b})$
- L2 范数相当于加入了一个 Gaussian 先验。
  - $f(x|\mu,b)=\frac{1}{\sqrt{2\pi \sigma^2}}exp(-\frac{(x-\mu)^2}{2\sigma^2})$

2 Dropout

在 DNNs 训练的过程中以概率 𝑝 丢弃部分神经元，即使得被丢弃的神经元输出为 0

2.1 Dropout 正则化效果理解

在 Dropout 每一轮训练过程中随机丢失神经元的操作相当于多个 DNNs 进行取平均，因此用于预测时具有 vote 的效果。（伪*集成学习）
减少神经元之间复杂的共适应性。
- 当隐藏层神经元被随机删除之后，使得全连接网络具有了一定的稀疏化，从而有效地减轻了不同特征的协同效应。
- 也就是说，有些特征可能会依赖于固定关系的隐含节点的共同作用，而通过 Dropout 的话，就有效地阻止了某些特征在其他特征存在下才有效果的情况，增加了神经网络的鲁棒性。

词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：C++11异步编程

下一篇：C++学习记录——십삼 List

热门资讯

如何删除安卓系统信息,安卓系统... 手机里的信息越来越多，是不是感觉自己的隐私都快要被暴露无遗了？别担心，今天就来教你怎么轻松删除安卓系...

国产安卓系统哪个流畅,揭秘哪家... 你有没有想过，手机里的操作系统就像是我们的大脑，有时候它运行得快慢，直接影响我们的使用体验呢？今天，...

安卓怎么刷主机系统,掌握主机系... 你有没有想过，你的安卓手机或者平板，是不是也能像电脑一样，装上各种酷炫的系统呢？没错，今天就要来给你...

安卓系统桌面显示时间,见证日常... 你有没有发现，每次打开安卓手机，那桌面上的时间总是一闪一闪的，仿佛在告诉你：“时间不等人哦！”今天，...

os云刷安卓系统,畅享智能新体... 你有没有想过，你的安卓手机是不是也能像电脑一样，装上各种酷炫的系统呢？没错，今天就要来跟你聊聊这个神...

安卓系统如何装siri,安卓设... 你有没有想过，在安卓手机上也能享受到Siri的智能语音助手服务呢？没错，就是那个在iPhone上呼之...

电脑怎么安卓双系统,电脑安装安... 你有没有想过，一台电脑同时运行安卓和Windows系统，那得多酷啊！想象一边处理工作，一边刷刷抖音，...

linux操作系统与安卓系统,... 你有没有想过，为什么你的手机可以随时随地给你发送信息，而你的电脑却能帮你处理复杂的任务呢？这背后，就...

安卓大屏系统信息,功能与体验全... 你有没有发现，最近手机界的大屏风潮真是势不可挡啊！安卓大屏系统信息，这可是个热门话题呢！想象拿着一块...

苹果7转安卓系统,探索安卓系统... 你有没有想过，从苹果7转到安卓系统会是怎样的体验呢？想象你手中的那个曾经陪伴你度过无数美好时光的苹果...

安卓系统打卡手机推荐,高效便捷... 你有没有想过，每天早上起床后，第一件事就是拿出手机打卡签到？这已经成为现代生活中不可或缺的一部分了。...

安卓手机装了小米系统,小米系统... 你有没有想过，把安卓手机的灵魂换成小米的系统，会是怎样的体验呢？想象原本流畅的安卓系统，突然间被注入...

安卓汽车系统怎么升级,轻松实现... 亲爱的安卓车主们，你是否也像我一样，对汽车系统升级充满了好奇和期待呢？想象你的爱车就像一部智能手机，...

手机怎么变安卓系统,轻松实现系... 你有没有想过，你的手机居然可以变身成为安卓系统呢？没错，就是那个自由度极高的操作系统！今天，就让我来...

安卓仿ios系统横条,打造流畅... 你有没有发现，最近安卓手机上出现了一种特别的新花样——仿iOS系统的横条设计！这可不是简单的模仿，而...

谷歌汽车安卓系统下载,引领智能... 你有没有想过，未来的汽车可能会变成一个移动的智能中心？想象你的汽车不仅能够带你穿梭在城市的大街小巷，...

安卓系统硬件修复软件,全面解析... 手机里的安卓系统突然卡顿，是不是让你头疼不已？别急，今天就来给你揭秘那些神奇的安卓系统硬件修复软件，...

鸿蒙系统比安卓系统大么,体积对... 你有没有想过，手机里的操作系统，就像是手机的心脏，它的大小、性能，都直接影响到手机的使用体验。今天，...

安卓系统刷机模式,刷机模式操... 你有没有想过，你的安卓手机其实就像一个隐藏着无限可能的宝藏呢？没错，今天就要来跟你聊聊这个宝藏的秘密...

案卷制作系统下载安卓,高效便捷... 你有没有想过，在手机上也能轻松制作案卷呢？没错，现在就有这么一款神器——案卷制作系统，而且它还支持安...