68、4K-NeRF:高分辨率重建
创始人
2024-04-25 00:50:30
0

简介

官网:https://github.com/frozoul/4K-NeRF

基于nerf方法的渲染过程通常依赖于一种像素方式,在这种方式中,射线(或像素)在训练和推断阶段都是独立处理的,这限制了其描述微妙细节的表示能力,特别是当提升到极高分辨率时。为了更好地探索射线相关性来解决这个问题,以增强受益于几何感知局部上下文的高频细节。使用view-consistent编码器在低分辨率空间中有效地建模几何信息,并通过view-consistent解码器恢复精细细节,条件是编码器估计的射线特征深度

基于补丁抽样的联合训练将基于感知的正则化监督纳入到像素损失之外
在这里插入图片描述

方法

在这里插入图片描述
该方法旨在通过融合观察中学习到的3d感知局部特征来增强基于nerf的模型对高频细节恢复的表征能力。

View Consistent Encoder

编码器基于DVGO实现(使用体素网格搭建显示隐私结合的NeRF,其包括一个密度体素网格、一个特征体素网格),如下图。
在这里插入图片描述
基本表达公式如下:
在这里插入图片描述
NcN_cNc​为通道数(密度网格中NcN_cNc​ =1),对于每个采样点,密度由配备softplus激活的三线性插值估计,公式为:σ = δ (interp (x, Vd))

颜色由特征网格的输出经过一个小MLP后得到
在这里插入图片描述
gθ(⋅)g_θ(·)gθ​(⋅)提取颜色信息的体特征,fRGBf_{RGB}fRGB​表示从特征到RGB图像的映射(具有一个或多个层)

论文中使用了DVGO的g(θ; x, d)部分作为VC-Encoder输出g = g(θ; x, d),其编码了视角方向为d的3D点X的体特征,然后,累加沿着射线r的采样点的特征来得到每条射线(或像素)的描述子
在这里插入图片描述
假设空间维度为H ’ ×W ',形成的特征图Fen∈RC′×H′×W′F_{en}∈R^{C ' ×H ' ×W '}Fen​∈RC′×H′×W′输入VC-Decoder进行精细细节的高保真重构。

View Consistent Decoder

为了更好使用vc -编码器中嵌入的几何属性,引入了深度图M∈RH′×W′M \in R^{H' \times W'}M∈RH′×W′
在这里插入图片描述
tit_iti​表示采样点 i 到相机中心的距离,估计的深度图为理解场景的3D结构提供了有力的指导

VC-Decoder使用特征图Fen∈RC′×H′×W′F_{en} \in R^{C' \times H' \times W'}Fen​∈RC′×H′×W′和深度图M∈RH′×W′M \in R^{H' \times W'}M∈RH′×W′,经过特制卷积上采样网络 ψ:(Fen,M)→P\psi:(F_{en},M) \to Pψ:(Fen​,M)→P(P∈R3×H×W,H=sH′,W=sW′P \in R^{3 \times H \times W},H=sH',W=sW'P∈R3×H×W,H=sH′,W=sW′是s表示上采样尺度)得到更高空间维度输出

VC-Decoder堆叠几个卷积块(既没有非参数归一化,也没有下采样操作)与上采样操作交错构建的,不是简单地连接特征FenF_{en}Fen​和深度图M,而是分别考虑深度信号,并通过学习的变换将其注入到每个块中,以调制块激活。

FkF_kFk​表示信道维度为CkC_kCk​的中间块的激活,深度图M经过变换(如1 × 1卷积),得到具有相同信道维数CkC_kCk​的预测标度和偏置值,用于根据以下条件调制FkF_kFk​:
在这里插入图片描述
⋅◯\textcircled{\cdot}⋅◯ 表示元素乘积,i j 为空间位置

Discussion

在单幅图像超分辨率重建中,融合相邻像素的局部信息是恢复高频细节的有效方法。VC-Encoder需要追求视点一致的高质量超分辨率

Training

Patch-based Ray Sampling

使用基于块的射线采样训练策略,以促进捕捉射线特征之间的空间依赖关系。
首先将图片以每块大小Np×NpN_p \times N_pNp​×Np​划分为p块,如果图片不能刚好划分为p块,则在边缘停止划分。

Loss Functions

仅使用distortion oriented损失(如MSE、L1和Huber loss)作为目标,往往会在细节上产生模糊或过度平滑的视觉效果。为此,加入了对抗损失(adversarial loss)和感知损失(adversarial loss)来正则化精细细节合成。

通过可学习的判别器对训练图像块计算对抗损失,旨在区分训练数据和预测数据的分布

预训练的19层VGG网络φ估计预测块p^\hat{p}p^​和特征空间中的真实块p之间的相似性
在这里插入图片描述
使用L1L_1L1​损失代替MSE来监督高频细节的重建
在这里插入图片描述
添加一个辅助的MSE损失,以促进VC-Encoder的训练,使用训练视图的降比例图像

VC-Encoder产生的光线特征被馈送到一个额外的全连接层,以回归低分辨率图像中的RGB值
在这里插入图片描述
λh\lambda_hλh​ = 1.0 λa\lambda_aλa​ = 0.5,λp\lambda_pλp​ = 0.02,λl\lambda_lλl​ = 1.0

联合训练还可以通过深度图和射线特征的路径来辅助编码器中的3D几何建模,实现在平滑变化的视点上的高质量视图一致合成。

评估指标

NeRF方法将PSNR作为失真评价的默认指标,而该指标对过度平滑或模糊细节等伪影不敏感,为此加入LPIPS和NIQE指标

Datasets

实验使用LLFF数据集,原始分辨率为4032 × 3024,而现有的基于nerf的方法使用4×缩小图像(1008 × 756)进行训练和推理。在实验中,使用原始4K图像作为groundtruth进行主要实验的训练和评估。

网络结构

在这里插入图片描述

效果

在这里插入图片描述
在这里插入图片描述

相关内容

热门资讯

安卓系统焦点变化事件,Andr... 你知道吗?在安卓系统的世界里,最近发生了一件超级有趣的事情——焦点变化事件。这可不是什么小打小闹,它...
一加系统安卓降级,轻松还原经典... 你有没有想过,你的手机系统升级后,突然发现某些功能变得不那么顺心了?别急,今天就来聊聊一加系统安卓降...
日本最好的安卓系统,体验非凡 亲爱的读者们,你是否曾想过,在遥远的东方,有一个国家,他们的智能手机系统独具特色,让人眼前一亮?没错...
荣耀安卓11 系统证书,保障安... 你知道吗?最近手机圈里可是炸开了锅,荣耀安卓11系统证书成了大家热议的话题。这不,我就迫不及待地来和...
安卓手机开机升级系统,体验流畅... 你有没有发现,每次你的安卓手机开机,总会有那么一刹那,屏幕上跳出一个升级系统的提示?是不是觉得这就像...
真正的安卓系统手机,安卓系统手... 你有没有想过,为什么有些人对安卓系统手机情有独钟?是不是觉得市面上的安卓手机千篇一律,缺乏个性?别急...
安卓怎么用定位系统,轻松实现精... 你有没有想过,手机里的定位系统竟然这么神奇?它不仅能帮你找到回家的路,还能在茫茫人海中找到你的好友。...
安卓的哪个系统流畅,探索新一代... 你有没有想过,为什么你的安卓手机有时候像蜗牛一样慢吞吞的,而别人的手机却像风一样快?今天,就让我带你...
安卓系统解锁工具下载,畅享自由 你是不是也和我一样,对安卓系统的解锁工具感兴趣呢?想象你的手机被锁住了,无论是忘记密码还是想尝试新的...
谷歌退出安卓系统停用,停用背后... 你知道吗?最近有个大新闻在科技圈里炸开了锅!谷歌竟然宣布要退出安卓系统,这可真是让人大跌眼镜啊!想象...
安卓系统卡顿修复,轻松提升手机... 手机用久了是不是感觉有点卡卡的呢?别急,今天就来给你支几招,让你的安卓手机重焕生机,告别卡顿的烦恼!...
安卓系统停用怎么解除,轻松恢复... 你是不是也遇到了安卓系统停用的问题,急得像热锅上的蚂蚁?别急,今天就来给你详细解析怎么解除这个让人头...
最初始的安卓系统,技术演进与产... 亲爱的读者,你是否曾好奇过,那个如今无处不在的安卓系统,它的诞生之初是怎样的呢?今天,就让我们一起穿...
patchwall系统和安卓系... 你有没有发现,手机上的界面越来越个性化了?没错,这就是科技的魅力所在。今天,咱们就来聊聊两个在个性化...
汽车安卓系统换主题,焕新视觉体... 你有没有发现,汽车里的安卓系统换主题,简直就像给爱车换了个新衣裳,瞬间感觉焕然一新呢!想象当你驾驶着...
掌柜智囊收银系统安卓,高效便捷... 你有没有想过,在繁忙的店铺里,如何让收银工作既高效又轻松呢?今天,就让我带你一探究竟,看看这款掌柜智...
怎么控制安卓系统内存,安卓系统... 手机用久了是不是感觉越来越卡?别急,今天就来教你怎么控制安卓系统的内存,让你的手机重新焕发活力!一、...
电视机系统安卓系统吗,探索智能... 亲爱的读者,你是不是也和我一样,对家里的电视机系统充满了好奇?尤其是当它运行的是安卓系统时,那种探索...
魅族系统flyme安卓,魅族安... 你有没有发现,手机的世界里,总有一些品牌能让人眼前一亮?今天,咱们就来聊聊魅族旗下的Flyme系统,...
安卓仿ios系统链接,带你领略... 你有没有发现,最近安卓手机界掀起了一股仿iOS系统链接的热潮?这可不是什么小打小闹,而是各大厂商纷纷...