【torch.nn.init】初始化参数方法解读
admin
2024-03-16 14:58:25
0

文章目录

  • torch.nn.init
    • 均匀分布
    • 正态分布
    • 常数分布
    • 全1分布
    • 全0分布
    • 对角分布
    • dirac 分布
    • xavier_uniform 分布
    • xavier_normal 分布
    • kaiming_uniform 分布
    • kaiming_normal 分布
    • 正交矩阵
    • 稀疏矩阵
  • 参考

torch.nn.init

均匀分布

  • 格式

    torch.nn.init.uniform_(tensor, a=0.0, b=1.0)

  • 作用

    从均匀分布U(a,b)U(a,b)U(a,b)中生成值,填充输入的张量或变量。

  • 参数

    • tensor n 维的torch.Tensor
    • a 均匀分布的下界
    • b均匀分布的上界
  • 例子

w = torch.empty(3, 5)
nn.init.uniform_(w)

正态分布

  • 格式

    **torch.nn.init.normal_(tensor, mean=0.0, std=1.0)**

  • 作用

    从给定均值和标准差的正态分布N(mean,std)N(mean,std)N(mean,std)中生成值,填充输入的张量或变量。

  • 参数

    • tensorn维的torch.Tensor
    • mean 正态分布的均值
    • std 正态分布的标准差
w = torch.empty(3, 5)
nn.init.normal_(w)

常数分布

  • 格式

    torch.nn.init.constant_(tensor, val)

  • 作用

    val的值填充输入的张量或变量

  • 参数

    • tensor n维的torch.Tensor 或 autograd.Variable
    • val 用来填充张量的值
w = torch.empty(3, 5)
nn.init.constant_(w, 0.3)

全1分布

  • 格式

    torch.nn.init.ones_(tensor)

  • 作用

    用全0填充张量

  • 参数

    • tensor n维的torch.Tensor
  • 例子

w = torch.empty(3, 5)
nn.init.ones_(w)

全0分布

  • 格式

    torch.nn.init.zeros_(tensor)

  • 作用

    用全1填充张量

  • 参数

    • tensor n维的torch.Tensor
  • 例子

w = torch.empty(3, 5)
nn.init.zeros_(w)

对角分布

  • 格式

    torch.nn.init.eye_(tensor)

  • 作用

    用单位矩阵来填充2维输入张量或变量

  • 参数

    • tensor 2维的torch.Tensor 或 autograd.Variable
w = torch.empty(3, 5)
nn.init.eye_(w)

dirac 分布

  • 格式

    torch.nn.init.dirac_(tensor, groups=1)

  • 作用

    用Dirac δ函数来填充{3, 4, 5}维输入张量或变量。在卷积层尽可能多的保存输入通道特性

  • 参数

    • tensor {3, 4, 5}维的torch.Tensor 或 autograd.Variable
  • 例子

    w = torch.empty(3, 16, 5, 5)
    nn.init.dirac_(w)
    w = torch.empty(3, 24, 5, 5)
    nn.init.dirac_(w, 3)
    

xavier_uniform 分布

  • 格式

    torch.nn.init.xavier_uniform_(tensor, gain=1.0)

  • 作用

    用一个均匀分布生成值,填充输入的张量或变量。

  • 参数

    • tensor n维的torch.Tensor
    • gain 可选的缩放因子
w = torch.empty(3, 5)
nn.init.xavier_uniform_(w, gain=nn.init.calculate_gain('relu'))

xavier_normal 分布

  • 格式

    torch.nn.init.xavier_normal_(tensor, gain=1.0)

  • 作用

    用一个正态分布生成值,填充输入的张量或变量。

  • 参数

    • tensor n维的torch.Tensor
    • gain 可选的缩放因子
w = torch.empty(3, 5)
nn.init.xavier_normal_(w)

kaiming_uniform 分布

  • 格式

    torch.nn.init.kaiming_uniform_(tensor, a=0, mode='fan_in', nonlinearity='leaky_relu')

  • 作用

    用一个均匀分布生成值,填充输入的张量或变量。

  • 参数

    • tensor n维的torch.Tensor或autograd.Variable
    • a 这层之后使用的rectifier的斜率系数(ReLU的默认值为0)
    • mode 可以为“fan_in”(默认)或 “fan_out
      fan_in”保留前向传播时权值方差的量级
      fan_out”保留反向传播时的量级
    • nonlinearity=‘leaky_relu’非线性函数 建议“relu”或“leaky_relu”(默认值)使用。

    w = torch.empty(3, 5)
    nn.init.xavier_normal_(w)

w = torch.empty(3, 5)
nn.init.kaiming_uniform_(w, mode='fan_in', nonlinearity='relu')

kaiming_normal 分布

  • 格式

    torch.nn.init.kaiming_normal_(tensor, a=0, mode='fan_in', nonlinearity='leaky_relu')

  • 作用

    用一个正态分布生成值,填充输入的张量或变量。

  • 参数

    • tensor n维的torch.Tensor或 autograd.Variable
    • a 这层之后使用的rectifier的斜率系数(ReLU的默认值为0)
    • mode 可以为“fan_in”(默认)或 “fan_outfan_in保留前向传播时权值方差的量级fan_out保留反向传播时的量级
w = torch.empty(3, 5)
nn.init.kaiming_normal_(w, mode='fan_out', nonlinearity='relu')

正交矩阵

  • 格式

    torch.nn.init.orthogonal_(tensor, gain=1)

  • 作用

    用一个(半)正交矩阵填充输入张量。

  • 参数

    • tensor 一个n维的tensor,其中 n≥2
    • gain 可选比例系数
w = torch.empty(3, 5)
nn.init.orthogonal_(w)

稀疏矩阵

  • 格式

    torch.nn.init.sparse_(tensor, sparsity, std=0.01)

  • 作用

    将2D输入张量填充为稀疏矩阵,其中非零元素将从正态分布N(0,0.01)N(0,0.01)N(0,0.01)中提取。

  • 参数

    • **tensor** 一个n维的torch.tensor张量
    • sparsity 每一列中元素的比例设置为零
    • std 用于产生非零值的正态分布的标准差
w = torch.empty(3, 5)
nn.init.sparse_(w, sparsity=0.1)

参考

torch.nn.init - PyTorch 1.13 documentation

【细聊】torch.nn.init 初始化_ViatorSun的博客-CSDN博客_nn.init.constant

相关内容

热门资讯

怎么解除订阅安卓系统,安卓系统... 你是不是也和我一样,手机里订阅了好多服务,结果现在想解除订阅,却一头雾水?别急,今天就来手把手教你如...
安卓系统停用怎么开启,轻松恢复... 亲爱的手机控们,你是否曾经遇到过安卓系统突然停用的情况,让你手忙脚乱,不知所措?别担心,今天就来教你...
安卓系统电池健康度,电池健康度... 你有没有发现,你的安卓手机最近是不是有点儿不给力了?电池续航能力大不如前,充电速度也慢了不少?别急,...
安卓系统按键怎么截图,安卓系统... 你是不是也和我一样,有时候想截个图分享给朋友,却发现安卓手机的截图功能有点神秘呢?别急,今天就来手把...
购票系统安卓源代码,架构设计与... 你有没有想过,那些我们每天离不开的购票系统,它们背后的秘密是什么呢?今天,就让我带你一探究竟,揭开购...
安卓手机系统后台测试,深度解析... 你有没有发现,你的安卓手机后台总是悄悄地忙碌着?别小看了这些后台程序,它们可是手机系统稳定运行的关键...
安卓系统重启的图标,解锁设备新... 手机突然重启,是不是心里有点慌?别急,今天就来和你聊聊安卓系统重启的图标,让你一眼就能认出它,再也不...
车载智慧屏安卓系统,智能出行新... 你有没有发现,现在的车载智慧屏越来越智能了?尤其是那些搭载了安卓系统的,简直就像是个移动的小电脑,不...
安卓系统连上网权限,解锁设备无... 你有没有发现,你的安卓手机里有些应用总是偷偷连上网?别小看这个小小的网络权限,它可是能影响你隐私、消...
安卓谷歌操作系统,探索安卓谷歌... 你知道吗?在智能手机的世界里,有一个操作系统可是无人不知、无人不晓,那就是安卓谷歌操作系统。它就像一...
安卓系统手写%怎样调出,具体实... 你有没有遇到过这种情况:在使用安卓手机的时候,突然想用手写输入法来记录一些灵感或者重要信息,可是怎么...
安卓手机重置 系统设置,轻松恢... 手机用久了是不是感觉卡顿得厉害?别急,今天就来教你怎么给安卓手机来个大变身——重置系统设置!想象你的...
win如何安装安卓系统,Win... 哇,你有没有想过,让你的Win系统也能玩转安卓应用?没错,就是那种在手机上轻松自如的安卓系统,现在也...
苹果qq和安卓系统,跨平台体验... 你有没有发现,现在手机市场上,苹果和安卓的较量可是越来越激烈了呢!咱们就来聊聊这个话题,看看苹果QQ...
显示最好的安卓系统,探索最新旗... 你有没有想过,为什么安卓系统那么受欢迎呢?它就像一个魔法盒子,里面装满了各种神奇的魔法。今天,就让我...
安卓app怎么降级系统,系统版... 你有没有发现,有时候安卓手机的系统更新后,新功能虽然炫酷,但老系统用起来更顺手呢?别急,今天就来教你...
雷军脱离安卓系统,引领科技变革... 你知道吗?最近科技圈可是炸开了锅,因为我们的雷军大大竟然宣布要脱离安卓系统,这可真是让人大跌眼镜啊!...
安卓系统自动开网络,安卓系统自... 你有没有发现,手机里的安卓系统有时候会自动开启网络连接,这可真是让人又爱又恨啊!有时候,你正专心致志...
安卓系统怎样控制后台,因为服务... 手机里的安卓系统是不是感觉越来越卡了?后台程序太多,不仅耗电还影响性能。别急,今天就来教你怎么巧妙地...
安卓系统打游戏推荐,一触即达! 你有没有发现,现在手机游戏越来越好玩了?不管是休闲小游戏还是大型MMORPG,都能在手机上畅玩。但是...