结构重参数化
admin
2024-04-17 00:55:50
0

结构重参数化:利用参数转换解耦训练和推理结构

结构重参数化(structural re-parameterization)指的是首先构造一系列结构(一般用于训练),并将其参数等价转换为另一组参数(一般用于推理),从而将这一系列结构等价转换为另一系列结构。

训练时的结构较大,具备好的某种性质(更高的精度或其他有用的性质,如稀疏性),转换得到的推理时结构较小且保留这种性质(相同的精度或其他有用的性质)。

“结构重参数化”这个词的本意就是:用一个结构的一组参数转换为另一组参数,并用转换得到的参数来参数化(parameterize)另一个结构。只要参数的转换是等价的,这两个结构的替换就是等价的。
https://zhuanlan.zhihu.com/p/361090497

清华大学丁霄汉:深度网络重参数化——让你的模型更快更强
https://blog.csdn.net/duxinshuxiaobian/article/details/107873144

transformer 与 MLP 的区别是什么 ?

使用 self-attention 做全局感知比使用 MLP 做全局感知有更小的参数和计算量,但显然它们是不同的全局感知,MLP 比 self-attention 更有全局性。
目前视觉 transformer 模型中 self-attention 后面都会接 MLP。

Vision Tranformer 中分为 attention 计算 和 MLP 两部分。
https://www.zhihu.com/question/530310807

FullyConnected(FC) Layer = 一层layer

MLP = 多层FC layer 构成的NN

DNN = MLP 和 CNN的集合相并,通常包括多个卷积layer和FC layer
https://www.zhihu.com/question/349854200

2021-arXiv-中科大&MSRA-A Battle of Network Structures: An Empirical Study of CNN, Transformer, and MLP
https://zhuanlan.zhihu.com/p/411145994

结构重参数化技术综述
https://mp.weixin.qq.com/s/FwITC1JEG1vr2Y1ePzSvuw

“结构重参数化”是清华大学丁霄汉博士近年来提出的一种通用深度学习模型设计方法论。
https://blog.csdn.net/BAAIBeijing/article/details/122227896?spm=1001.2101.3001.6650.4&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-4-122227896-blog-123826917.pc_relevant_3mothn_strategy_recovery&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-4-122227896-blog-123826917.pc_relevant_3mothn_strategy_recovery&utm_relevant_index=7
 

FLOPS:
注意全大写,是floating point operations per second的缩写,意指每秒浮点运算次数,理解为计算速度。是一个衡量硬件性能的指标。

FLOPs:
注意s小写,是floating point operations的缩写(s表复数),意指浮点运算数,理解为计算量。可以用来衡量算法/模型的复杂度。
https://zhuanlan.zhihu.com/p/144938518
 

ACNet

2019-ICCV-清华大学-ACNet: Strengthening the Kernel Skeletons for Powerful CNN via Asymmetric
https://blog.csdn.net/u014380165/article/details/103916114

结构重参数化之一:ACNet
https://blog.csdn.net/ooooocj/article/details/123655581
 

RepVGG

2021-CVPR-清华大学-RepVGG: Making VGG-style ConvNets Great Again

RepVGG网络就是在VGG的基础上面进行改进,主要的改进思路包括:
(1)在VGG网络的Block块中加入了Identity和残差分支,相当于把ResNet网络中的特性应用到VGG网络中;
(2)模型推理阶段,通过Op融合策略将所有的网络层都转换为Conv3*3,便于网络的部署和加速。

网络训练和网络推理阶段使用不同的网络架构,训练阶段更关注精度,推理阶段更关注速度。
 
https://bbs.huaweicloud.com/blogs/detail/259238

结构重参数化之二:RepVGG
https://blog.csdn.net/ooooocj/article/details/123761769?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-1-123761769-blog-123655581.pc_relevant_3mothn_strategy_and_data_recovery&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-1-123761769-blog-123655581.pc_relevant_3mothn_strategy_and_data_recovery&utm_relevant_index=2
 

DBB

2021-CVPR-清华大学-Diverse Branch Block: Building a Convolution as an Inception-like Unit

本文是清华大学&旷视科技的丁霄汉博士在“过参数化”卷积方面继ACNet、RepVGG之后的又一次探索,它创造性的将Inception的多分支、多尺度思想与过参数化思想进行了一次组合,得到了本文所提出的DBB。
https://jishuin.proginn.com/p/763bfbd5141b

结构重参数化之三:Diverse Branch Block
https://blog.csdn.net/ooooocj/article/details/123826917
 

ResRep

2021-ICCV-清华大学-ResRep: Lossless CNN Pruning via Decoupling Remembering and Forgetting

ResRep:剪枝 SOTA!用结构重参数化实现 CNN 无损压缩(ICCV)

https://www.cvmart.net/community/detail/5612
 

RepMLP

2022-CVPR-清华大学-RepMLP: Re-parameterizing Convolutions into Fully-connected Layers for Image Recognition

本文是清华大学&旷视科技在结构重参数领域继ACNet、RepVGG、DBB之后又一突破:RepMLP,它将重参数卷积与全连接层进行了巧妙地衔接,同时利用了全连接层的全局建模、位置感知特性与卷积的局部结构提取能力。
https://aijishu.com/a/1060000000203655

MLP,RepMLP,全连接与“内卷”
https://zhuanlan.zhihu.com/p/375422742
 

RepLKNet

2022-CVPR-清华大学-Scaling Up Your Kernels to 31x31: Revisiting Large Kernel Design in CNNs

CVPR2022 | RepLKNet: 大核卷积+结构重参数让CNN再次伟大
https://aijishu.com/a/1060000000309144

RepLKNet:不是大卷积不好,而是卷积不够大,31x31卷积了解一下 | CVPR 2022
https://www.yanxishe.com/columnDetail/28958
 

相关内容

热门资讯

安卓系统音乐软件推荐,五大热门... 你有没有发现,手机里音乐软件那么多,挑一款适合自己的真心不容易啊!安卓系统上的音乐软件更是五花八门,...
安卓系统刷三星系统,轻松刷入最... 你有没有想过,你的安卓手机其实可以变身成三星的旗舰机呢?没错,就是那种屏幕大、性能强、系统流畅的旗舰...
塞班系统可以转为安卓,跨越时代... 你知道吗?现在科技的发展真是让人眼花缭乱,连我们曾经熟悉的塞班系统也能华丽转身,变成安卓系统呢!是不...
安卓系统如何录像剪辑,录像剪辑... 亲爱的手机控们,你是否有过这样的经历:在某个瞬间,你捕捉到了一段令人难忘的画面,却因为没来得及记录而...
安卓系统强行提高配置,配置提升... 最近你的安卓手机是不是感觉有点儿“发烧”了?没错,就是那种配置突然“升级”的感觉。你是不是也觉得,手...
安卓系统能做设计吗,探索安卓系... 你有没有想过,安卓系统竟然也能做设计?是的,你没听错,这个我们日常使用的手机操作系统,竟然也能成为设...
安卓系统几年后使用,探索多年使... 你有没有想过,那些陪伴我们多年的安卓手机,它们现在过得怎么样了呢?安卓系统,这个曾经让我们爱恨交加的...
平板安卓苹果双系统,安卓与苹果... 你有没有想过,拥有一台既能运行安卓系统,又能使用苹果系统的平板电脑,那该是多么酷炫的事情啊!想象一边...
嘉和病历系统安卓,便捷医疗信息... 你有没有听说过嘉和病历系统安卓版?这可是医疗行业的一大神器呢!想象医生们拿着手机就能轻松管理病历,患...
安卓10更改系统号,揭秘系统编... 你知道吗?最近安卓系统又来了一次大更新,安卓10正式上线了!这次更新可是带来了不少新功能,其中最引人...
小米墨水屏 安卓系统,融合科技... 你知道吗?在科技日新月异的今天,电子阅读器市场也迎来了新的活力。而小米,这个我们熟悉的品牌,最近推出...
系统软件最少的安卓系统,基于最... 你有没有想过,手机系统就像是我们生活的操作系统,有时候太复杂了,让人感觉头都大了。今天,我要给你介绍...
安卓系统关闭应用推荐,安卓系统... 你有没有发现,手机里的安卓系统最近有点儿“小情绪”,总是给你推荐一些你根本不感兴趣的应用?别急,今天...
车载安卓系统如何用,智能驾驶体... 你有没有想过,你的车载安卓系统其实是个隐藏的宝库呢?没错,就是那个你每天开车时几乎不离手的那个屏幕,...
安卓系统更新如何取消,```p... 你有没有遇到过这种情况:安卓手机的系统更新推送得让人有点头疼,有时候更新后的系统还各种不适应。别急,...
安卓系统源码修改练习,从零开始... 亲爱的技术爱好者,你是否曾梦想过深入安卓系统的内核,亲手修改源码,让手机变得更加个性化?那就让我们一...
安卓考勤系统论文,基于安卓平台... 你有没有想过,每天打卡上班,是不是也能变得有趣起来呢?没错,就是那个我们每天都要面对的安卓考勤系统。...
安卓系统哪家流畅度,安卓系统流... 手机里的安卓系统,就像是每个人的小世界,各有各的风采。但说到流畅度,这可是大家最关心的问题了。今天,...
安卓开不了定位系统,安卓设备定... 最近是不是发现你的安卓手机定位系统突然罢工了?别急,别慌,今天就来给你详细解析一下这个问题,让你轻松...
安卓系统怎么设置airpod,... 你有没有发现,自从AirPods问世以来,它就成为了科技界的宠儿?这款无线耳机不仅音质出众,而且连接...