机器学习笔记：正则化

创始人

2024-06-01 14:41:15

0次

1 Lp范数

$\|x\|_p=\left(\sum_i^n x_i^p\right)^{\frac{1}{p}}$

1.1 L0范数

表示向量中非零元素的个数
- $||X||_0=\#(i|x_i \ne 0)$
通过最小化 L0 范数，来寻找最少最优的稀疏特征项
但是L0范数的最优化问题是一个NP 难问题，同时L0范数是非凸的
- ——>实际应用中需要对L0范数进行凸松弛
从理论上来说，L1范数是L0范数的最优凸近似
- ——>常用L1范数来代替L0范数，以进行优化

1.2 L1范数

$||x||_1=\sum_{i}^n|x_i|$
L1 范数就是向量各元素的绝对值之和
L1范数也被称为是"稀疏规则算子"（Lasso regularization）

1.3 L2范数

机器学习笔记：岭回归（L2正则化）_岭回归正则化_UQI-LIUWJ的博客-CSDN博客

以 L2 范数作为正则项可以得到稠密解，即每个特征对应的参数 𝑤 都很小，接近于 0 但是不为 0
此外，L2 范数作为正则化项，可以防止模型为了迎合训练集而过于复杂造成过拟合的情况，从而提高模型的泛化能力。

1.3.1 L1范数和L2范数的区别（解范围的角度）

蓝色的圆圈表示问题可能的解范围，橘色的表示正则项可能的解范围
整个目标函数（原问题+正则项）有解当且仅当两个解范围相切
- 由于 L2 范数解范围是圆，所以相切的点有很大可能不在坐标轴上
  - ——>稠密解
- 由于 L1 范数是菱形（顶点是凸出来的），其相切的点更可能在坐标轴上
  - ——>稀疏解

1.3.2 L1范数和L2范数的区别（贝叶斯先验的角度）

从贝叶斯先验的角度看，当训练一个模型时，仅依靠当前的训练数据集是不够的，为了实现更好的泛化能力，往往需要加入先验项，而加入正则项相当于加入了一种先验。
- L1 范数相当于加入了一个 Laplacean 先验
  - $f(x|\mu,b)=\frac{1}{2b}exp(-\frac{|x-\mu|}{b})$
- L2 范数相当于加入了一个 Gaussian 先验。
  - $f(x|\mu,b)=\frac{1}{\sqrt{2\pi \sigma^2}}exp(-\frac{(x-\mu)^2}{2\sigma^2})$

2 Dropout

在 DNNs 训练的过程中以概率 𝑝 丢弃部分神经元，即使得被丢弃的神经元输出为 0

2.1 Dropout 正则化效果理解

在 Dropout 每一轮训练过程中随机丢失神经元的操作相当于多个 DNNs 进行取平均，因此用于预测时具有 vote 的效果。（伪*集成学习）
减少神经元之间复杂的共适应性。
- 当隐藏层神经元被随机删除之后，使得全连接网络具有了一定的稀疏化，从而有效地减轻了不同特征的协同效应。
- 也就是说，有些特征可能会依赖于固定关系的隐含节点的共同作用，而通过 Dropout 的话，就有效地阻止了某些特征在其他特征存在下才有效果的情况，增加了神经网络的鲁棒性。

词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：C++11异步编程

下一篇：C++学习记录——십삼 List

相关内容

热门资讯

122.（leaflet篇）l... 听老人家说：多看美女会长寿地图之家总目录（订阅之前建议先查看该博客）文章末尾处提供保证可运行...

育碧GDC2018程序化大世界... 1.传统手动绘制森林的问题采用手动绘制的方法的话，每次迭代地形都要手动再绘制森林。这...

育碧GDC2018程序化大世界... 1.传统手动绘制森林的问题采用手动绘制的方法的话，每次迭代地形都要手动再绘制森林。这...

Vue使用pdf-lib为文件... 之前也写过两篇预览pdf的，但是没有加水印，这是链接：Vu...

PyQt5数据库开发1 4.1... 文章目录前言步骤/方法 1 使用windows身份登录 2 启用混合登录模式 3 允许远程连接服...

Android studio ... 解决 Android studio 出现“The emulator process for AVD ...

Linux基础命令大全（上） ♥️作者：小刘在C站 ♥️个人主页：小刘主页 ♥️每天分享云计算网络运维...

再谈解决“因为文件包含病毒或潜... 前面出了一篇博文专门来解决“因为文件包含病毒或潜在的垃圾软件”的问题，其中第二种方法有...

南京邮电大学通达学院2023c... 题目展示一.问题描述实验题目1 定义一个学生类，其中包括如下内容：（1）私有数据成员 ①年龄 ...

PageObject 六大原则 PageObject六大原则： 1.封装服务的方法 2.不要暴露页面的细节 3.通过r...

【Linux网络编程】01：S... Socket多进程 OVERVIEWSocket多进程1.Server2.Client3.bug&...

数据结构刷题（二十五）：122... 1.122. 买卖股票的最佳时机 II思路：贪心。把利润分解为每天为单位的维度,然后收...

浏览器事件循环事件循环浏览器的进程模型何为进程？程序运行需要有它自己专属的内存空间࿰...

8个免费图片/照片压缩工具帮您... 继续查看一些最好的图像压缩工具，以提升用户体验和存储空间以及网站使用支持。无数图像压...

计算机二级Python备考（2... 目录一、选择题 1.在Python语言中： 2.知识点二、基本操作题 1. j...

端电压相电压线电压记得刚接触矢量控制的时候，拿到板子，就赶紧去测各种波形，结...

如何使用Python检测和识别... 车牌检测与识别技术用途广泛，可以用于道路系统、无票停车场、车辆门禁等。这项技术结合了计...

带环链表详解目录一、什么是环形链表二、判断是否为环形链表 2.1 具体题目 2.2 具体思路 2.3 思路的...

【C语言进阶：刨根究底字符串函... 本节重点内容：深入理解strcpy函数的使用学会strcpy函数的模拟实现⚡strc...

Django web开发(一)... 文章目录前端开发1.快速开发网站2.标签2.1 编码2.2 title2.3 标题2.4 div和s...