简介

官网：https://github.com/frozoul/4K-NeRF

基于nerf方法的渲染过程通常依赖于一种像素方式，在这种方式中，射线(或像素)在训练和推断阶段都是独立处理的，这限制了其描述微妙细节的表示能力，特别是当提升到极高分辨率时。为了更好地探索射线相关性来解决这个问题，以增强受益于几何感知局部上下文的高频细节。使用view-consistent编码器在低分辨率空间中有效地建模几何信息，并通过view-consistent解码器恢复精细细节，条件是编码器估计的射线特征和深度。

基于补丁抽样的联合训练将基于感知的正则化监督纳入到像素损失之外
在这里插入图片描述

方法

在这里插入图片描述
该方法旨在通过融合观察中学习到的3d感知局部特征来增强基于nerf的模型对高频细节恢复的表征能力。

View Consistent Encoder

编码器基于DVGO实现（使用体素网格搭建显示隐私结合的NeRF，其包括一个密度体素网格、一个特征体素网格），如下图。
在这里插入图片描述
基本表达公式如下：

NcN_cNc为通道数（密度网格中NcN_cNc =1），对于每个采样点，密度由配备softplus激活的三线性插值估计，公式为：σ = δ (interp (x, Vd))

颜色由特征网格的输出经过一个小MLP后得到
在这里插入图片描述
gθ(⋅)g_θ(·)gθ(⋅)提取颜色信息的体特征，fRGBf_{RGB}fRGB表示从特征到RGB图像的映射(具有一个或多个层)

论文中使用了DVGO的g(θ; x, d)部分作为VC-Encoder输出g = g(θ; x, d)，其编码了视角方向为d的3D点X的体特征，然后，累加沿着射线r的采样点的特征来得到每条射线(或像素)的描述子
在这里插入图片描述
假设空间维度为H ’ ×W '，形成的特征图Fen∈RC′×H′×W′F_{en}∈R^{C ' ×H ' ×W '}Fen∈RC′×H′×W′输入VC-Decoder进行精细细节的高保真重构。

View Consistent Decoder

为了更好使用vc -编码器中嵌入的几何属性，引入了深度图M∈RH′×W′M \in R^{H' \times W'}M∈RH′×W′
在这里插入图片描述
tit_iti表示采样点 i 到相机中心的距离，估计的深度图为理解场景的3D结构提供了有力的指导

VC-Decoder使用特征图Fen∈RC′×H′×W′F_{en} \in R^{C' \times H' \times W'}Fen∈RC′×H′×W′和深度图M∈RH′×W′M \in R^{H' \times W'}M∈RH′×W′，经过特制卷积上采样网络 ψ:(Fen,M)→P\psi:(F_{en},M) \to Pψ:(Fen,M)→P（P∈R3×H×W，H=sH′，W=sW′P \in R^{3 \times H \times W}，H=sH'，W=sW'P∈R3×H×W，H=sH′，W=sW′是s表示上采样尺度）得到更高空间维度输出

VC-Decoder堆叠几个卷积块(既没有非参数归一化，也没有下采样操作)与上采样操作交错构建的，不是简单地连接特征FenF_{en}Fen和深度图M，而是分别考虑深度信号，并通过学习的变换将其注入到每个块中，以调制块激活。

FkF_kFk表示信道维度为CkC_kCk的中间块的激活，深度图M经过变换(如1 × 1卷积)，得到具有相同信道维数CkC_kCk的预测标度和偏置值，用于根据以下条件调制FkF_kFk:
在这里插入图片描述
⋅◯\textcircled{\cdot}⋅◯ 表示元素乘积，i j 为空间位置