机器学习笔记：正则化

创始人

2024-06-01 14:41:15

0次

1 Lp范数

$\|x\|_p=\left(\sum_i^n x_i^p\right)^{\frac{1}{p}}$

1.1 L0范数

表示向量中非零元素的个数
- $||X||_0=\#(i|x_i \ne 0)$
通过最小化 L0 范数，来寻找最少最优的稀疏特征项
但是L0范数的最优化问题是一个NP 难问题，同时L0范数是非凸的
- ——>实际应用中需要对L0范数进行凸松弛
从理论上来说，L1范数是L0范数的最优凸近似
- ——>常用L1范数来代替L0范数，以进行优化

1.2 L1范数

$||x||_1=\sum_{i}^n|x_i|$
L1 范数就是向量各元素的绝对值之和
L1范数也被称为是"稀疏规则算子"（Lasso regularization）

1.3 L2范数

机器学习笔记：岭回归（L2正则化）_岭回归正则化_UQI-LIUWJ的博客-CSDN博客

以 L2 范数作为正则项可以得到稠密解，即每个特征对应的参数 𝑤 都很小，接近于 0 但是不为 0
此外，L2 范数作为正则化项，可以防止模型为了迎合训练集而过于复杂造成过拟合的情况，从而提高模型的泛化能力。

1.3.1 L1范数和L2范数的区别（解范围的角度）

蓝色的圆圈表示问题可能的解范围，橘色的表示正则项可能的解范围
整个目标函数（原问题+正则项）有解当且仅当两个解范围相切
- 由于 L2 范数解范围是圆，所以相切的点有很大可能不在坐标轴上
  - ——>稠密解
- 由于 L1 范数是菱形（顶点是凸出来的），其相切的点更可能在坐标轴上
  - ——>稀疏解

1.3.2 L1范数和L2范数的区别（贝叶斯先验的角度）

从贝叶斯先验的角度看，当训练一个模型时，仅依靠当前的训练数据集是不够的，为了实现更好的泛化能力，往往需要加入先验项，而加入正则项相当于加入了一种先验。
- L1 范数相当于加入了一个 Laplacean 先验
  - $f(x|\mu,b)=\frac{1}{2b}exp(-\frac{|x-\mu|}{b})$
- L2 范数相当于加入了一个 Gaussian 先验。
  - $f(x|\mu,b)=\frac{1}{\sqrt{2\pi \sigma^2}}exp(-\frac{(x-\mu)^2}{2\sigma^2})$

2 Dropout

在 DNNs 训练的过程中以概率 𝑝 丢弃部分神经元，即使得被丢弃的神经元输出为 0

2.1 Dropout 正则化效果理解

在 Dropout 每一轮训练过程中随机丢失神经元的操作相当于多个 DNNs 进行取平均，因此用于预测时具有 vote 的效果。（伪*集成学习）
减少神经元之间复杂的共适应性。
- 当隐藏层神经元被随机删除之后，使得全连接网络具有了一定的稀疏化，从而有效地减轻了不同特征的协同效应。
- 也就是说，有些特征可能会依赖于固定关系的隐含节点的共同作用，而通过 Dropout 的话，就有效地阻止了某些特征在其他特征存在下才有效果的情况，增加了神经网络的鲁棒性。

词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：C++11异步编程

下一篇：C++学习记录——십삼 List

热门资讯

安卓系统账号怎么改,轻松实现账... 你是不是也和我一样，在使用安卓手机的时候，突然觉得账号名字太老土了，想要来个焕然一新的改变呢？别急，...

离线语音系统安卓版下载,随时随... 你有没有想过，在手机上也能实现语音助手的功能，而且完全不需要联网？没错，就是那种离线语音系统，听起来...

华为os系统是基于安卓系统吗,... 你有没有想过，华为的手机里那个神秘的OS系统，它是不是就是安卓系统呢？别急，今天就来揭开这个谜底，让...

各品牌安卓系统多大,探索各大品... 你有没有想过，那些我们每天离不开的安卓手机，它们背后的系统到底有多大呢？这可不是一个小问题哦，因为系...

不是安卓系统电视机,探索非安卓... 你有没有想过，家里的电视是不是安卓系统呢？现在市面上，安卓系统电视机可是越来越流行了。但是，你知道吗...

谷歌安卓系统开源免费用,免费体... 你知道吗？在科技的世界里，有时候最让人惊喜的就是那些免费又好用的东西。今天，就让我来给你揭秘一个超级...

安卓电脑版怎么装系统,轻松实现... 你有没有想过，你的安卓电脑版突然间卡得像蜗牛一样，慢得让人抓狂？别急，今天就来教你怎么给它来个焕然一...

安卓系统有几种语音,揭秘多样化... 你知道吗？安卓系统里的语音功能可真是让人爱不释手呢！想象你只需要动动嘴，就能完成各种操作，是不是觉得...

扫码系统推荐安卓游戏,畅享指尖... 你有没有发现，最近手机里的游戏推荐越来越贴心了？没错，就是那个神奇的扫码系统！今天，就让我带你一探究...

手机系统安卓做的最好,探索最佳... 你有没有发现，现在手机市场上，安卓系统简直是要风得风，要雨得雨，简直是手机系统中的佼佼者！不信？那就...

安卓系统越拉越难用,越拉越难用... 你有没有发现，最近安卓系统越来越难用了？是不是每次打开手机，都感觉卡得要命，各种广告弹窗让人头疼不已...

卓安系统创始人,引领科技浪潮的... 你有没有想过，在这个信息爆炸的时代，谁才是那个站在风口浪尖，引领科技潮流的先锋？今天，我要带你认识一...

安卓10系统经常断网,安卓10... 最近是不是你也遇到了安卓10系统经常断网的问题？这可真是让人头疼啊！手机断网，就像失去了方向感的指南...

开发安卓系统用什么,从工具到实... 你有没有想过，为什么你的手机里装了那么多应用，却还是觉得不够用呢？其实，这一切都离不开一个强大的操作...

安卓系统如何双开抖音,安卓系统... 如何在安卓系统上双开抖音：让你的娱乐生活更加丰富多彩在数字化时代，手机已经成为我们生活中不可或缺的一...

安卓8.0系统内测地址,探索系... 你有没有听说最近安卓8.0系统内测的消息？这可是科技圈的大事啊！作为一个紧跟潮流的数码爱好者，我可是...

安卓系统可以账号同步吗,安卓系... 你有没有想过，你的安卓手机里的各种账户信息，比如微信、QQ、支付宝，能不能像变魔术一样，一键同步到另...

安卓系统的平板怎么下载,畅享应... 你有没有想过，拥有一款安卓系统的平板电脑，那感觉简直就像拥有了整个世界？想象随时随地都能畅游网络海洋...

win平板上装安卓系统咋样,开... 亲爱的读者们，你是否曾想过在Windows平板上体验安卓系统的魅力？想象那双熟悉的Windows界面...

给安卓车机写系统,安卓车机系统... 你有没有想过，你的安卓车机系统其实可以焕然一新？想象当你驾驶着爱车，车机界面流畅得像丝滑的巧克力，功...