机器学习笔记：正则化
创始人
2024-06-01 14:41:15
0次

1 Lp范数

\|x\|_p=\left(\sum_i^n x_i^p\right)^{\frac{1}{p}}

1.1 L0范数

  • 表示向量中非零元素的个数
    • ||X||_0=\#(i|x_i \ne 0)
  • 通过最小化 L0 范数，来寻找最少最优的稀疏特征项
  • 但是L0范数的最优化问题是一个NP 难问题，同时L0范数是非凸的
    • ——>实际应用中需要对L0范数进行凸松弛
  • 从理论上来说，L1范数是L0范数的最优凸近似
    • ——>常用L1范数来代替L0范数，以进行优化

1.2 L1范数

  • ||x||_1=\sum_{i}^n|x_i|
  • L1 范数就是向量各元素的绝对值之和
  • L1范数也被称为是"稀疏规则算子"（Lasso regularization）

1.3 L2范数

机器学习笔记：岭回归（L2正则化）_岭回归 正则化_UQI-LIUWJ的博客-CSDN博客

  • 以 L2 范数作为正则项可以得到稠密解，即每个特征对应的参数 𝑤 都很小，接近于 0 但是不为 0
  • 此外，L2 范数作为正则化项，可以防止模型为了迎合训练集而过于复杂造成过拟合的情况，从而提高模型的泛化能力。

1.3.1 L1范数和L2范数的区别（解范围的角度）

  •  蓝色的圆圈表示问题可能的解范围，橘色的表示正则项可能的解范围
  •  整个目标函数（原问题+正则项）有解当且仅当两个解范围相切
    • 由于 L2 范数解范围是圆，所以相切的点有很大可能不在坐标轴上
      • ——>稠密解
    • 由于 L1 范数是菱形（顶点是凸出来的），其相切的点更可能在坐标轴上
      • ——>稀疏解

1.3.2 L1范数和L2范数的区别（贝叶斯先验的角度）

  • 从贝叶斯先验的角度看，当训练一个模型时，仅依靠当前的训练数据集是不够的，为了实现更好的泛化能力，往往需要加入先验项，而加入正则项相当于加入了一种先验。
    • L1 范数相当于加入了一个 Laplacean 先验
      • f(x|\mu,b)=\frac{1}{2b}exp(-\frac{|x-\mu|}{b})
    • L2 范数相当于加入了一个 Gaussian 先验。
      • f(x|\mu,b)=\frac{1}{\sqrt{2\pi \sigma^2}}exp(-\frac{(x-\mu)^2}{2\sigma^2})

 2 Dropout

  • 在 DNNs 训练的过程中以概率 𝑝 丢弃部分神经元，即使得被丢弃的神经元输出为 0
    •  

2.1 Dropout 正则化效果理解

  • 在 Dropout 每一轮训练过程中随机丢失神经元的操作相当于多个 DNNs 进行取平均，因此用于预测时具有 vote 的效果。（伪*集成学习）
  • 减少神经元之间复杂的共适应性。
    • 当隐藏层神经元被随机删除之后，使得全连接网络具有了一定的稀疏化，从而有效地减轻了不同特征的协同效应。
    • 也就是说，有些特征可能会依赖于固定关系的隐含节点的共同作用，而通过 Dropout 的话，就有效地阻止了某些特征在其他特征存在下才有效果的情况，增加了神经网络的鲁棒性。
词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：C++11异步编程

下一篇：C++学习记录——십삼 List

相关内容

热门资讯

电视安卓系统哪个品牌好,哪家品... 你有没有想过，家里的电视是不是该升级换代了呢？现在市面上电视品牌琳琅满目，各种操作系统也是让人眼花缭...
安卓会员管理系统怎么用,提升服... 你有没有想过，手机里那些你爱不释手的APP，背后其实有个强大的会员管理系统在默默支持呢？没错，就是那...
安卓系统软件使用技巧,解锁软件... 你有没有发现，用安卓手机的时候，总有一些小技巧能让你玩得更溜？别小看了这些小细节，它们可是能让你的手...
安卓系统提示音替换 你知道吗？手机里那个时不时响起的提示音，有时候真的能让人心情大好，有时候又让人抓狂不已。今天，就让我...
安卓开机不了系统更新 手机突然开不了机，系统更新还卡在那里，这可真是让人头疼的问题啊！你是不是也遇到了这种情况？别急，今天...
安卓系统中微信视频,安卓系统下... 你有没有发现，现在用手机聊天，视频通话简直成了标配！尤其是咱们安卓系统的小伙伴们，微信视频功能更是用...
安卓系统是服务器,服务器端的智... 你知道吗？在科技的世界里，安卓系统可是个超级明星呢！它不仅仅是个手机操作系统，竟然还能成为服务器的得...
pc电脑安卓系统下载软件,轻松... 你有没有想过，你的PC电脑上安装了安卓系统，是不是瞬间觉得世界都大不一样了呢？没错，就是那种“一机在...
电影院购票系统安卓,便捷观影新... 你有没有想过，在繁忙的生活中，一部好电影就像是一剂强心针，能瞬间让你放松心情？而我今天要和你分享的，...
安卓系统可以写程序? 你有没有想过，安卓系统竟然也能写程序呢？没错，你没听错！这个我们日常使用的智能手机操作系统，竟然有着...
安卓系统架构书籍推荐,权威书籍... 你有没有想过，想要深入了解安卓系统架构，却不知道从何下手？别急，今天我就要给你推荐几本超级实用的书籍...
安卓系统看到的炸弹,技术解析与... 安卓系统看到的炸弹——揭秘手机中的隐形威胁在数字化时代，智能手机已经成为我们生活中不可或缺的一部分。...
鸿蒙系统有安卓文件,畅享多平台... 你知道吗？最近在科技圈里，有个大新闻可是闹得沸沸扬扬的，那就是鸿蒙系统竟然有了安卓文件！是不是觉得有...
宝马安卓车机系统切换,驾驭未来... 你有没有发现，现在的汽车越来越智能了？尤其是那些豪华品牌，比如宝马，它们的内饰里那个大屏幕，简直就像...
p30退回安卓系统 你有没有听说最近P30的用户们都在忙活一件大事？没错，就是他们的手机要退回安卓系统啦！这可不是一个简...
oppoa57安卓原生系统,原... 你有没有发现，最近OPPO A57这款手机在安卓原生系统上的表现真是让人眼前一亮呢？今天，就让我带你...
安卓系统输入法联想,安卓系统输... 你有没有发现，手机上的输入法真的是个神奇的小助手呢？尤其是安卓系统的输入法，简直就是智能生活的点睛之...
怎么进入安卓刷机系统,安卓刷机... 亲爱的手机控们，你是否曾对安卓手机的刷机系统充满好奇？想要解锁手机潜能，体验全新的系统魅力？别急，今...
安卓系统程序有病毒 你知道吗？在这个数字化时代，手机已经成了我们生活中不可或缺的好伙伴。但是，你知道吗？即使是安卓系统，...
奥迪中控安卓系统下载,畅享智能... 你有没有发现，现在汽车的中控系统越来越智能了？尤其是奥迪这种豪华品牌，他们的中控系统简直就是科技与艺...