机器学习笔记：正则化

创始人

2024-06-01 14:41:15

0次

1 Lp范数

$\|x\|_p=\left(\sum_i^n x_i^p\right)^{\frac{1}{p}}$

1.1 L0范数

表示向量中非零元素的个数
- $||X||_0=\#(i|x_i \ne 0)$
通过最小化 L0 范数，来寻找最少最优的稀疏特征项
但是L0范数的最优化问题是一个NP 难问题，同时L0范数是非凸的
- ——>实际应用中需要对L0范数进行凸松弛
从理论上来说，L1范数是L0范数的最优凸近似
- ——>常用L1范数来代替L0范数，以进行优化

1.2 L1范数

$||x||_1=\sum_{i}^n|x_i|$
L1 范数就是向量各元素的绝对值之和
L1范数也被称为是"稀疏规则算子"（Lasso regularization）

1.3 L2范数

机器学习笔记：岭回归（L2正则化）_岭回归正则化_UQI-LIUWJ的博客-CSDN博客

以 L2 范数作为正则项可以得到稠密解，即每个特征对应的参数 𝑤 都很小，接近于 0 但是不为 0
此外，L2 范数作为正则化项，可以防止模型为了迎合训练集而过于复杂造成过拟合的情况，从而提高模型的泛化能力。

1.3.1 L1范数和L2范数的区别（解范围的角度）

蓝色的圆圈表示问题可能的解范围，橘色的表示正则项可能的解范围
整个目标函数（原问题+正则项）有解当且仅当两个解范围相切
- 由于 L2 范数解范围是圆，所以相切的点有很大可能不在坐标轴上
  - ——>稠密解
- 由于 L1 范数是菱形（顶点是凸出来的），其相切的点更可能在坐标轴上
  - ——>稀疏解

1.3.2 L1范数和L2范数的区别（贝叶斯先验的角度）

从贝叶斯先验的角度看，当训练一个模型时，仅依靠当前的训练数据集是不够的，为了实现更好的泛化能力，往往需要加入先验项，而加入正则项相当于加入了一种先验。
- L1 范数相当于加入了一个 Laplacean 先验
  - $f(x|\mu,b)=\frac{1}{2b}exp(-\frac{|x-\mu|}{b})$
- L2 范数相当于加入了一个 Gaussian 先验。
  - $f(x|\mu,b)=\frac{1}{\sqrt{2\pi \sigma^2}}exp(-\frac{(x-\mu)^2}{2\sigma^2})$

2 Dropout

在 DNNs 训练的过程中以概率 𝑝 丢弃部分神经元，即使得被丢弃的神经元输出为 0

2.1 Dropout 正则化效果理解

在 Dropout 每一轮训练过程中随机丢失神经元的操作相当于多个 DNNs 进行取平均，因此用于预测时具有 vote 的效果。（伪*集成学习）
减少神经元之间复杂的共适应性。
- 当隐藏层神经元被随机删除之后，使得全连接网络具有了一定的稀疏化，从而有效地减轻了不同特征的协同效应。
- 也就是说，有些特征可能会依赖于固定关系的隐含节点的共同作用，而通过 Dropout 的话，就有效地阻止了某些特征在其他特征存在下才有效果的情况，增加了神经网络的鲁棒性。

词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：C++11异步编程

下一篇：C++学习记录——십삼 List

热门资讯

安卓系统用的华为应用,探索智能... 你知道吗？在安卓系统里，华为的应用可是个宝库呢！它们不仅功能强大，而且使用起来超级方便。今天，就让我...

安卓变ios系统魅蓝你知道吗？最近有个朋友突然告诉我，他要把自己的安卓手机换成iOS系统，而且还是魅蓝品牌的！这可真是让...

幻书启世录安卓系统,安卓世界中... 亲爱的读者们，你是否曾在某个夜晚，被一本神奇的书所吸引，仿佛它拥有着穿越时空的力量？今天，我要带你走...

电脑安装安卓系统进不去,安卓系... 电脑安装安卓系统后竟然进不去，这可真是让人头疼的问题啊！你是不是也遇到了这种情况，心里直呼“怎么办怎...

用键盘切换控制安卓系统,畅享安... 你有没有想过，用键盘来控制你的安卓手机？是的，你没听错，就是那个我们每天敲敲打打的小玩意儿——键盘。...

小米安卓镜像系统在哪,小米安卓... 你有没有想过，你的小米手机里有一个隐藏的宝藏——安卓镜像系统？没错，就是那个可以让你的手机瞬间变身成...

安卓手机下载排班系统,高效排班... 你有没有想过，每天忙碌的工作中，有没有什么好帮手能帮你轻松管理时间呢？今天，就让我来给你介绍一个超级...

桌面组件如何弄安卓系统,桌面组... 亲爱的桌面爱好者们，你是否曾梦想过将安卓系统搬到你的电脑桌面上？想象那些流畅的动画、丰富的应用，还有...

安卓13系统介绍视频,新功能与... 亲爱的读者们，你是否对安卓13系统充满好奇？想要一探究竟，却又苦于没有足够的时间去研究？别担心，今天...

车机安卓7.1系统,功能升级与... 你有没有发现，现在的车机系统越来越智能了？尤其是那些搭载了安卓7.1系统的车机，简直就像是个贴心的智...

安卓系统下如何读pdf,And... 你有没有遇到过这种情况：手机里存了一大堆PDF文件，可是怎么也找不到一个能顺畅阅读的工具？别急，今天...

安卓系统全国通用的吗,畅享智能... 你有没有想过，为什么你的手机里装的是安卓系统呢？安卓系统，这个名字听起来是不是有点神秘？今天，就让我...

假苹果手机8安卓系统,颠覆传统... 你有没有想过，如果苹果手机突然变成了安卓系统，会是怎样的景象呢？想象那熟悉的苹果外观，却运行着安卓的...

安卓12.0系统vivo有吗,... 你有没有听说最近安卓系统又升级啦？没错，就是那个让手机焕然一新的安卓12.0系统！那么，咱们国内的手...

核心芯片和安卓系统,探索核心芯... 你知道吗？在科技的世界里，有一对“黄金搭档”正悄悄改变着我们的生活。他们就是——核心芯片和安卓系统。...

如何调安卓系统屏幕颜色,安卓系... 亲爱的手机控们，你是否曾觉得安卓系统的屏幕颜色不够个性，或者是因为长时间盯着屏幕而感到眼睛疲劳？别担...

旧台式电脑安装安卓系统,轻松安... 你那台旧台式电脑是不是已经服役多年，性能逐渐力不从心，却又不忍心让它退役呢？别急，今天就来教你怎么给...

美国要求关闭安卓系统,科技霸权... 美国要求关闭安卓系统：一场技术革新还是政治博弈？在数字化时代，智能手机已经成为我们生活中不可或缺的一...

安卓系统日记本你有没有发现，手机里的安卓系统日记本，简直就是记录生活点滴的宝藏库呢？想象每天忙碌的生活中，有没有那...

安卓手机广告最少的系统,探索安... 你有没有发现，用安卓手机的时候，广告总是无处不在，让人烦得要命？不过别急，今天我要给你揭秘一个秘密—...