学习率衰减、局部最优、Batch归一化、Softmax回归

创始人

2024-05-16 11:42:31

0次

1.学习率衰减(Learning rate decay)

在训练初期，梯度下降的步伐大一点，开始收敛的时候，小一些的学习率能让步伐小一些。

1 epoch = 遍历一遍训练集

学习率衰减公式： $\text{[math]}$

例：假设衰减率decayrate = 1， $\text{[math]}$ =0.2

epochNum	α
1	0.1
2	0.067
3	0.05
4	0.04

其它学习率衰减公式：α=0. $\text{[math]}$ (指数衰减)。。。等等

2. 局部最优(local optima)的问题

梯度下降的时候可能会困在一个局部最优中，而不会抵达全局最优。

3.Batch归一化(Batch Normalization)

我们知道，训练一个模型，比如logistic回归，归一化输入特征可加速学习过程。

对于更深一点的模型，也可以归一化隐藏层的输出，比如归一化 $\text{[math]}$ ( $\text{[math]}$ 代入激活函数就是 $\text{[math]}$ )，以便更有效率地训练 $\text{[math]}$ , $\text{[math]}$ 。

4.Softmax回归(Softmax regression)

不同于logistic回归，解决的是二分类问题，Softmax回归能解决多分类问题，即识别多种分类中的一个。

假设要区分3个类别(A,B,C)，那么神经网络的输出层要有4个神经单元(分别输出"A,B,C,其它"这四类的识别概率)。

最后一层layer L的神经元执行操作如下:

$\text{[math]}$ ， $\text{[math]}$ ， $\text{[math]}$ ， $\text{[math]}$ 是上一层的输出。

举例:

训练一个Softmax分类器：

正向传播：从输入层到输出层，依次计算并存储模型的参数。

反向传播：从输出层到输入层，依次计算参数的梯度，来更新参数。

词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：k8s安装kuboard面板

下一篇：Python初学者看过来啊，老油条来复习

热门资讯

安卓子系统windows11,... 你知道吗？最近科技圈可是炸开了锅，因为安卓子系统在Windows 11上的兼容性成了大家热议的话题。...

电脑里怎么下载安卓系统,电脑端... 你有没有想过，你的电脑里也能装上安卓系统呢？没错，就是那个让你手机不离手的安卓！今天，就让我来带你一...

索尼相机魔改安卓系统,魔改系统... 你知道吗？最近在摄影圈里掀起了一股热潮，那就是索尼相机魔改安卓系统。这可不是一般的改装，而是让这些专...

安卓系统哪家的最流畅,安卓系统... 你有没有想过，为什么你的手机有时候像蜗牛一样慢吞吞的，而别人的手机却能像风一样快？这背后，其实就是安...

安卓最新系统4.42,深度解析... 你有没有发现，你的安卓手机最近是不是有点儿不一样了？没错，就是那个一直在默默更新的安卓最新系统4.4...

android和安卓什么系统最... 你有没有想过，你的安卓手机到底是用的是什么系统呢？是不是有时候觉得手机卡顿，运行缓慢，其实跟这个系统...

平板装安卓xp系统好,探索复古... 你有没有想过，把安卓系统装到平板上，再配上XP系统，这会是怎样一番景象呢？想象一边享受着安卓的便捷，...

投影仪装安卓系统,开启智能投影... 你有没有想过，家里的老式投影仪也能焕发第二春呢？没错，就是那个曾经陪你熬夜看电影的“老伙计”，现在它...

安卓系统无线车载carplay... 你有没有想过，开车的时候也能享受到苹果设备的便利呢？没错，就是那个让你在日常生活中离不开的iOS系统...

谷歌安卓8系统包,系统包解析与... 你有没有发现，手机更新换代的速度简直就像坐上了火箭呢？这不，最近谷歌又发布了安卓8系统包，听说这个新...

微软平板下软件安卓系统,开启全... 你有没有想过，在微软平板上也能畅享安卓系统的乐趣呢？没错，这就是今天我要跟你分享的神奇故事。想象你手...

coloros是基于安卓系统吗... 你有没有想过，手机里的那个色彩斑斓的界面，背后其实有着一个有趣的故事呢？没错，我要说的就是Color...

安卓神盾系统应用市场,一站式智... 你有没有发现，手机里的安卓神盾系统应用市场最近可是火得一塌糊涂啊！这不，我就来给你好好扒一扒，看看这...

黑莓平板安卓系统升级,解锁无限... 亲爱的读者们，你是否还记得那个曾经风靡一时的黑莓手机？那个标志性的全键盘，那个独特的黑莓体验，如今它...

安卓文件系统采用华为,探索高效... 你知道吗？最近安卓系统在文件管理上可是有了大动作呢！华为这个科技巨头，竟然悄悄地给安卓文件系统来了个...

深度系统能用安卓app,探索智... 你知道吗？现在科技的发展真是让人惊叹不已！今天，我要给你揭秘一个超级酷炫的话题——深度系统能用安卓a...

安卓系统的分区类型,深度解析存... 你有没有发现，你的安卓手机里藏着不少秘密？没错，就是那些神秘的分区类型。今天，就让我带你一探究竟，揭...

安卓系统铠无法兑换,揭秘无法兑... 最近是不是有很多小伙伴在玩安卓系统的游戏，突然发现了一个让人头疼的问题——铠无法兑换！别急，今天就来...

汽车安卓系统崩溃怎么刷,一键刷... 亲爱的车主朋友们，你是否曾遇到过汽车安卓系统崩溃的尴尬时刻？手机系统崩溃还能重启，但汽车系统崩溃了，...

miui系统可以刷安卓p系统吗... 亲爱的手机控们，你是否对MIUI系统情有独钟，同时又对安卓P系统的新鲜功能垂涎欲滴？今天，就让我带你...