机器学习笔记：正则化

创始人

2024-06-01 14:41:15

0次

1 Lp范数

$\|x\|_p=\left(\sum_i^n x_i^p\right)^{\frac{1}{p}}$

1.1 L0范数

表示向量中非零元素的个数
- $||X||_0=\#(i|x_i \ne 0)$
通过最小化 L0 范数，来寻找最少最优的稀疏特征项
但是L0范数的最优化问题是一个NP 难问题，同时L0范数是非凸的
- ——>实际应用中需要对L0范数进行凸松弛
从理论上来说，L1范数是L0范数的最优凸近似
- ——>常用L1范数来代替L0范数，以进行优化

1.2 L1范数

$||x||_1=\sum_{i}^n|x_i|$
L1 范数就是向量各元素的绝对值之和
L1范数也被称为是"稀疏规则算子"（Lasso regularization）

1.3 L2范数

机器学习笔记：岭回归（L2正则化）_岭回归正则化_UQI-LIUWJ的博客-CSDN博客

以 L2 范数作为正则项可以得到稠密解，即每个特征对应的参数 𝑤 都很小，接近于 0 但是不为 0
此外，L2 范数作为正则化项，可以防止模型为了迎合训练集而过于复杂造成过拟合的情况，从而提高模型的泛化能力。

1.3.1 L1范数和L2范数的区别（解范围的角度）

蓝色的圆圈表示问题可能的解范围，橘色的表示正则项可能的解范围
整个目标函数（原问题+正则项）有解当且仅当两个解范围相切
- 由于 L2 范数解范围是圆，所以相切的点有很大可能不在坐标轴上
  - ——>稠密解
- 由于 L1 范数是菱形（顶点是凸出来的），其相切的点更可能在坐标轴上
  - ——>稀疏解

1.3.2 L1范数和L2范数的区别（贝叶斯先验的角度）

从贝叶斯先验的角度看，当训练一个模型时，仅依靠当前的训练数据集是不够的，为了实现更好的泛化能力，往往需要加入先验项，而加入正则项相当于加入了一种先验。
- L1 范数相当于加入了一个 Laplacean 先验
  - $f(x|\mu,b)=\frac{1}{2b}exp(-\frac{|x-\mu|}{b})$
- L2 范数相当于加入了一个 Gaussian 先验。
  - $f(x|\mu,b)=\frac{1}{\sqrt{2\pi \sigma^2}}exp(-\frac{(x-\mu)^2}{2\sigma^2})$

2 Dropout

在 DNNs 训练的过程中以概率 𝑝 丢弃部分神经元，即使得被丢弃的神经元输出为 0

2.1 Dropout 正则化效果理解

在 Dropout 每一轮训练过程中随机丢失神经元的操作相当于多个 DNNs 进行取平均，因此用于预测时具有 vote 的效果。（伪*集成学习）
减少神经元之间复杂的共适应性。
- 当隐藏层神经元被随机删除之后，使得全连接网络具有了一定的稀疏化，从而有效地减轻了不同特征的协同效应。
- 也就是说，有些特征可能会依赖于固定关系的隐含节点的共同作用，而通过 Dropout 的话，就有效地阻止了某些特征在其他特征存在下才有效果的情况，增加了神经网络的鲁棒性。

词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：C++11异步编程

下一篇：C++学习记录——십삼 List

热门资讯

热点推荐“非非互娱到底有没有透... 热点推荐“非非互娱到底有没有透视挂吗”原来真的有挂1、让任何用户在无需AI插件第三方神器的情况下就能...

热点推荐“丫丫古诗到底有没有透... 热点推荐“丫丫古诗到底有没有透视挂吗”原来真的有挂1、让任何用户在无需AI插件第三方神器的情况下就能...

热点推荐“朋友圈到底有没有透视... 热点推荐“朋友圈到底有没有透视挂吗”原来真的有挂1、让任何用户在无需AI插件第三方神器的情况下就能够...

热点推荐“祥运斗地主到底有没有... 热点推荐“祥运斗地主到底有没有透视挂吗”原来真的有挂一、祥运斗地主AI软件牌型概率发牌机制”必胜“技...

热点推荐“比奇堡到底有没有透视... 您好，比奇堡这款游戏可以开挂的，确实是有挂的，需要了解加微{7198902}很多玩家在这款游戏中打牌...

热点推荐“四方麻将到底有没有透... 热点推荐“四方麻将到底有没有透视挂吗”原来真的有挂1、让任何用户在无需AI插件第三方神器的情况下就能...

热点推荐“游乐潮玩到底有没有透... 热点推荐“游乐潮玩到底有没有透视挂吗”原来真的有挂是一款可以让一直输的玩家，快速成为一个“必胜”的a...

热点推荐“亚博棋牌到底有没有透... 热点推荐“亚博棋牌到底有没有透视挂吗”原来真的有挂1、让任何用户在无需AI插件第三方神器的情况下就能...

热点推荐“丫丫诗词到底有没有透... 热点推荐“丫丫诗词到底有没有透视挂吗”原来真的有挂是一款可以让一直输的玩家，快速成为一个“必胜”的a...

热点推荐“湖北通山打拱到底有没... 热点推荐“湖北通山打拱到底有没有透视挂吗”原来真的有挂一、湖北通山打拱AI软件牌型概率发牌机制”必胜...

热点推荐“大掼蛋到底有没有透视... 热点推荐“大掼蛋到底有没有透视挂吗”原来真的有挂1、让任何用户在无需AI插件第三方神器的情况下就能够...

热点推荐“闲来玩游戏到底有没有... 闲来玩游戏这个游戏其实有挂的，确实是有挂的，需要了解加客服微信:【7198902】，很多玩家在这款...

热点推荐“西兵互娱到底有没有透... 亲，西兵互娱这款游戏可以开挂的，确实是有挂的，。但是开挂要下载第三方辅助软件，西兵互娱的开挂软件，名...

热点推荐“天天卡五星到底有没有... 天天卡五星这个游戏其实有挂的，确实是有挂的，需要了解加客服微信:【7198902】，很多玩家在这款...

热点推荐“姚记扯旋到底有没有透... 亲，姚记扯旋这款游戏可以开挂的，确实是有挂的，。但是开挂要下载第三方辅助软件，姚记扯旋的开挂软件，名...

热点推荐“微信群炸金花到底有没... 微信群炸金花这个游戏其实有挂的，确实是有挂的，需要了解加客服微信:【7198902】，很多玩家在这...

热点推荐“皮卡丘到底有没有透视... 热点推荐“皮卡丘到底有没有透视挂吗”原来真的有挂；原来确实真的有挂（需添加指定薇7198902获取下...

热点推荐“功夫小熊到底有没有透... 热点推荐“功夫小熊到底有没有透视挂吗”原来真的有挂是一款可以让一直输的玩家，快速成为一个“必胜”的a...

热点推荐“追梦到底有没有透视挂... 您好，追梦这款游戏可以开挂的，确实是有挂的，需要了解加微{7198902}很多玩家在这款游戏中打牌都...

热点推荐“台北快三到底有没有透... 台北快三这个游戏其实有挂的，确实是有挂的，需要了解加客服微信:【7198902】，很多玩家在这款游...