机器学习笔记:正则化
创始人
2024-06-01 14:41:15
0次

1 Lp范数

\|x\|_p=\left(\sum_i^n x_i^p\right)^{\frac{1}{p}}

1.1 L0范数

  • 表示向量中非零元素的个数
    • ||X||_0=\#(i|x_i \ne 0)
  • 通过最小化 L0 范数,来寻找最少最优的稀疏特征项
  • 但是L0范数的最优化问题是一个NP 难问题,同时L0范数是非凸的
    • ——>实际应用中需要对L0范数进行凸松弛
  • 从理论上来说,L1范数是L0范数的最优凸近似
    • ——>常用L1范数来代替L0范数,以进行优化

1.2 L1范数

  • ||x||_1=\sum_{i}^n|x_i|
  • L1 范数就是向量各元素的绝对值之和
  • L1范数也被称为是"稀疏规则算子"(Lasso regularization)

1.3 L2范数

机器学习笔记:岭回归(L2正则化)_岭回归 正则化_UQI-LIUWJ的博客-CSDN博客

  • 以 L2 范数作为正则项可以得到稠密解,即每个特征对应的参数 𝑤 都很小,接近于 0 但是不为 0
  • 此外,L2 范数作为正则化项,可以防止模型为了迎合训练集而过于复杂造成过拟合的情况,从而提高模型的泛化能力。

1.3.1 L1范数和L2范数的区别(解范围的角度)

  •  蓝色的圆圈表示问题可能的解范围,橘色的表示正则项可能的解范围
  •  整个目标函数(原问题+正则项)有解当且仅当两个解范围相切
    • 由于 L2 范数解范围是圆,所以相切的点有很大可能不在坐标轴上
      • ——>稠密解
    • 由于 L1 范数是菱形(顶点是凸出来的),其相切的点更可能在坐标轴上
      • ——>稀疏解

1.3.2 L1范数和L2范数的区别(贝叶斯先验的角度)

  • 从贝叶斯先验的角度看,当训练一个模型时,仅依靠当前的训练数据集是不够的,为了实现更好的泛化能力,往往需要加入先验项,而加入正则项相当于加入了一种先验。
    • L1 范数相当于加入了一个 Laplacean 先验
      • f(x|\mu,b)=\frac{1}{2b}exp(-\frac{|x-\mu|}{b})
    • L2 范数相当于加入了一个 Gaussian 先验。
      • f(x|\mu,b)=\frac{1}{\sqrt{2\pi \sigma^2}}exp(-\frac{(x-\mu)^2}{2\sigma^2})

 2 Dropout

  • 在 DNNs 训练的过程中以概率 𝑝 丢弃部分神经元,即使得被丢弃的神经元输出为 0
    •  

2.1 Dropout 正则化效果理解

  • 在 Dropout 每一轮训练过程中随机丢失神经元的操作相当于多个 DNNs 进行取平均,因此用于预测时具有 vote 的效果。(伪*集成学习)
  • 减少神经元之间复杂的共适应性。
    • 当隐藏层神经元被随机删除之后,使得全连接网络具有了一定的稀疏化,从而有效地减轻了不同特征的协同效应。
    • 也就是说,有些特征可能会依赖于固定关系的隐含节点的共同作用,而通过 Dropout 的话,就有效地阻止了某些特征在其他特征存在下才有效果的情况,增加了神经网络的鲁棒性。

相关内容

热门资讯

2028年黄金重返5600美元... 最近高盛预测金价将在2028年底回到每盎司5600美元,这引发了人们的关注。与其质疑这一预测的准确性...
台湾服务业生意雪崩哀鸿遍野 股... 台股近期连续大跌,加权指数从10月6日的近5万点下挫至目前跌了1万多点,跌幅约22%,近4天内就崩掉...
ANT上市 7位创始人身家破百... AI企业Anthropic将于今晚在美国纳斯达克上市,股票代码为“ANT”。发行价定为83美元,高于...
高志凯:世界需要深圳APEC ... 深圳APEC会议即将开幕,全球目光将聚焦这座因改革开放而闻名的城市。著名国际关系学者、全球化智库副主...
深圳值得被世界看见的远不止创新... 金秋11月,全球科技创新与经贸合作聚焦深圳。人工智能已融入深圳的方方面面:机场刷脸秒过、公园无人机送...
白小纯竞燃之夜造型 暖心护送旅... 白小纯竞燃之夜造型 暖心护送旅客出站!11月18日,上饶站接到重点旅客预约工单,提前与旅客沟通出行信...
中方回应中日领导人APEC是否... 中国外交部发言人郭嘉昆19日主持例行记者会。有记者问及APEC会议期间中日领导人是否会举行会晤。郭嘉...
黄牛炒茅台近乎无利可图,酒厂逐... 持续近十年的茅台渠道价差生意正在走向终局。继11月11日i茅台将精品、生肖等16款非标产品由抢购改为...
四川平武通报“游客称1600元... 近日,四川绵阳一游客称花1600元在平武县一民宿预订烤全羊,上桌发现几乎全是骨架,剥离下来的羊肉重量...
40万装修婚房业主说下水口成喷... 於女士在杭州杨家春晓南苑有套位于二楼的房子,一楼是商铺。她说花了40多万重新装修,给儿子当婚房,前段...
小区交房3年多暖气没通 物业:... 漯河市临颍县华寓精英名都小区宣传时是"双气学区房",但交房3年多,暖气主管道仍在小区直线距离约一公里...
房卡刷开一层楼涉事前台被开除 ... 11月18日,网友称在四川九寨沟入住一家酒店,发现自己的房卡能刷开同层多间客房房门。视频中,拍摄者拿...
11名孩子爬山迷路爬丢9个 孩... 11月19日(发布),天津蓟州,11名孩子爬山时迷路,爬“丢”9个,其中2个先下了山。消防员边找人边...
张雪两张“挡泥板票”均50万成... 11月18日晚,张雪在直播中拍卖两张11月22日张雪机车WSBK嘉年华活动的挡泥板票,其中一张是张雪...
中方回应日媒称高市早苗接机仪式... 11月19日,外交部发言人郭嘉昆主持例行记者会。会上,日本朝日新闻记者提问,关于APEC峰会期间对访...
1991年出生的人被小学生试题... 最近,一些小学语文试卷中的细节引发了80后家长的共鸣。家长们在辅导孩子作业时发现,习题和阅读理解中出...
正式供暖后您家室温达标了吗 暖... 从11月15日起,海淀区正式达标供热,规定要求供热单位保证居民住宅卧室、起居室的室内温度不低于18℃...
田栩宁不栩此行 武夷山采风之旅 田栩宁不栩此行 武夷山采风之旅!11月17日,田栩宁发布了《Madame Figaro》中文版202...
巨头集体入局具身大脑 物理AI被视为人工智能的下一波浪潮。国内外巨头接连发布物理AI新品,且尤为集中在具身大脑领域。英伟达...
APEC强劲发力激活亚太经贸新... 亚太经合组织第三十三次领导人非正式会议将于11月18日至19日在深圳举行,这是中国第三次担任APEC...