NeRF in the Wild
创始人
2024-06-02 00:01:51
0次

NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections:无约束照片收集的神经辐射场
摘要:提出了一种基于学习的方法,用于仅使用野外照片的非结构化集合来合成复杂场景的新颖视图。针对NeRF无法在非受控图像中模拟许多普遍存在的真实世界现象,例如可变照明或瞬态变化(行人车辆),进行了扩展。

NeRF的局限:场景都是在一小段时间内进行拍摄,光照影响都保持不变,并且所有场景的内容都保持不变。但是野外场景中的大规模场景,其中输入图像可能相隔数小时或数年拍摄,并且可能包含行人和车辆在其中穿行。解决思路:NeRF 假设场景是在几何、材质和摄影角度上,都是静态的,即场景的密度和辐射场都是静态的。因此,NeRF 需要让两个在相同位置和朝向上,拍摄出的照片必须完全一致,NeRF-wild放宽了限制,主要解决光照变换以及移动遮挡问题。
创新点:
1、在学习到的低维隐空间中,建模图像外观的变化,如曝光、光照、天气和后处理,根据生成潜在优化的框架,优化每个输入图像的外观嵌入,从而赋予NeRF-W通过学习整个照片集合中的共享外观表示来解释图像之间的光度和环境变化的灵活性。学习的潜在空间提供了输出渲染外观的控制。
2、将场景建模为共享元素和图像相关元素的结合,从而使场景内容能够无监督地分解为“静态”和“瞬态”组件。使用二次体积辐射场和数据相关不确定性场对瞬态元素进行建模,其中数据相关不确定场捕获可变观测噪声,并进一步减少瞬态对象对静态场景表示的影响。

背景知识
论文中介绍了NeRF的离散公式,只不过进行了表示上的小变化
在这里插入图片描述
R(r,c,σ)\mathcal{R}(\mathbf{r}, \mathbf{c}, \sigma)R(r,c,σ)表示体渲染
α(x)=1−exp⁡(−x)\alpha(x)=1-\exp (-x)α(x)=1−exp(−x)
δk=tk+1−tk\delta_{k}=t_{k+1}-t_{k}δk​=tk+1​−tk​
ReLU MLP 来表示体积密度 σ(t)\sigma(t)σ(t) c(t)\mathbf{c}(t)c(t)
在这里插入图片描述

1、 Latent Appearance Modeling

为了使 NeRF 能够适应不同光照和摄影后处理,采用了 生成潜在优化,每张图像 Ii都会赋给一个对应的实值外观嵌入向量ℓi(a)\boldsymbol{\ell}_{i}^{(a)}ℓi(a)​,长度为n(a)n^{(a)}n(a),这类似于学习到的外观特征。如下公式中,强调了颜色c对每张图的依赖性。论文认为NeRF的c和图片标号没有关系,这里ci介入了一种像素对应图片的依赖性,每张图的外观特征由于光照时间等因素都是不一样的。在这里插入图片描述
z(t)\mathbf{z}(t)z(t)表示的是将位置输入MLP中得到的输出,将中间输出,外观特征,观看方向编码 输入MLP2中,就能得到每张照片的颜色值,C^i\hat{\mathbf{C}}_{i}C^i​表示对每张图片的依赖。

2、Transient Objects

使用两种设计来解决动态现象
1、把原始NeRF中的MLP当作静态的MLP来预估地标建筑的颜色和密度,记作静态头(head),然后再加一个瞬态头(transient head),该头部发射自己的颜色和密度,其中允许密度在训练图像中变化,这个方法的好处是能够让网络在重建后面的静态场景时不会把遮挡物的伪影加到建筑上。
2、并不假设所有观测像素颜色都是同样可靠的,允许瞬态部分发射出不确定性( uncertatinty)场(类似于颜色和密度),可以让模型调整重构损失,让网络通过损失函数忽略那些离群点(不可靠的像素和 3D 位置,这些位置很可能包含遮挡物)。
将每个像素的颜色建模为各向同性正态分布,其可能性将最大化,并使用NeRF使用的相同体积渲染方法“渲染”该分布的方差。这两个模型组件允许NeRF-W在没有明确监督的情况下解开静态和瞬态现象。
各向同性正态分布
用瞬态部分的σi(τ)(t)\sigma_{i}^{(\tau)}(t)σi(τ)​(t)和ci(τ)(t)\mathbf{c}_{i}^{(\tau)}(t)ci(τ)​(t) 来增强静态密度和亮度,下面的公式是最终的渲染公式,静态与动态相加在进行累加计算。在这里插入图片描述
优化
为了让场景的瞬态分量在不同的图像上变化,我们给每个训练图像Ii指定第二个嵌入ℓi(τ)∈Rn(τ)\ell_{i}^{(\tau)} \in \mathbb{R}^{n^{(\tau)}}ℓi(τ)​∈Rn(τ),作为瞬态 MLP 的输入,下面公式中,第三个MLP得到的输出为瞬态(前面遮挡)的密度,颜色,不确定性,不确定性经过第二行公式进行了一个变化,

在这里插入图片描述
图像 i上射线 r对真值颜色 Ci(r)的损失是,这是一个最大似然函数以及后验估计的估计(不确定性服从正态分布的情况下)
在这里插入图片描述
在这里插入图片描述
对于这里的推导可以看这个视频

下图是整体架构图在这里插入图片描述

损失函数
类似于 NeRF,我们同时优化 Fθ的两个网络:精细模型使用上述的模型和损失;粗糙模型只使用隐外观的建模分量。和参数 θ一起,我们优化每张图像的外观嵌入{ℓi(a)}i=1N\left\{\boldsymbol{\ell}_{i}^{(a)}\right\}_{i=1}^{N}{ℓi(a)​}i=1N​和瞬态嵌入{ℓi(τ)}i=1N\left\{\ell_{i}^{(\tau)}\right\}_{i=1}^{N}{ℓi(τ)​}i=1N​
,NeRF-W 的损失函数为
在这里插入图片描述

相关内容

热门资讯

存储芯片巨头的好日子何时结束 ... 摩根士丹利最新报告指出,旧存储芯片行业的前景被低估。曾经因供需失衡而获得高额利润的旧存储芯片现在正处...
国足开场2分钟落后 邵佳一眉头... 点击加载图片直播吧11月17日讯 国足开场2分钟丢球,0-1落后巴林,镜头给到眉头紧锁的邵佳一。国字...
小米:相关内容纯属虚构,警惕虚... 小米旗下微博账号“小米辟谣”于11月17日发布声明,指出近期有不法分子冒充“小米汽车”发送诈骗短信,...
最差密码榜单公布 123456... 网络安全公司 NordPass 发布了《2026 年最常用密码 Top 200》报告,指出“1234...
2岁孩子生命最后11天依然努力... 25岁的妈妈将患有罕见病的儿子兜兜送进了长沙的“雏菊之家”安宁病房。她陪伴儿子度过了最后11天,并每...
13岁少年被控杀害5岁男童案 ... 一名13岁少年因妹妹被邻居5岁男童撒沙而心生怨恨,将男童带至桥上推下水致其溺亡。此案引起了媒体的广泛...
全球顶尖科学家加速回流中国 风... 全球顶尖科学家纷纷选择离开美国,转向中国任职。2026年初,莱斯大学90后斯隆奖得主汪淏田全职加盟同...
APEC工商领导人峰会今天聚焦... 11月17日,来自亚太经合组织21个经济体及英国、法国、德国、瑞士等13个域外经济体的2000多位政...
雷军APEC发言 具身智能潜力... 11月17日,小米CEO雷军在2026年APEC工商领导人峰会上表示,具身智能机器人的潜力超过汽车,...
俄罗斯记者惊呼在深圳谁还用现金... 11月17日,今日俄罗斯国际通讯社记者德米特里·加夫里洛夫在接受采访时分享了他的深圳体验。他提到,刚...
雷军:智能机器人产业潜力超汽车... 11月17日,在2026年亚太经合组织工商领导人峰会上,小米CEO雷军介绍了公司在AI、智能制造和机...
保研举报成风,这不只是“坏人变... 保研举报成风,这不只是“坏人变小了” 制度留操作空间。高校保研季举报成风:这不是学生坏,是制度留了太...
广东01年医护女孩为00年闺蜜... 据河南广播电视台小莉帮忙,广东一位01年的女孩,亲自为自己00年的闺蜜接生。她们的缘分有多深?女孩称...
广东网友为迎接APEC会议周有... 11月14日,2026年APEC领导人会议周新闻中心举办了广东省、深圳市专场中外媒体吹风会。这是20...
动车插座在头顶被吐槽像在打吊瓶... 近日,有网友在社交平台发帖分享自己的乘车经历:乘坐D2928次动车组时,发现车厢内的充电插座安装在顶...
万斯称与特朗普无分歧 一致反对... JD·万斯周一表示,他与总统唐纳德·特朗普在伊朗战争问题上完全一致。此前,他曾将共和党在中期选举中的...
痛风人群这4种饮品要少喝 咖啡... 很多尿酸高、痛风人群都知道啤酒、果汁会升高尿酸,那么有没有什么饮料对尿酸“很友好”,甚至还能降低痛风...
医生辟谣左侧睡根本不伤心:正常... 11月17日,经常朝左睡对心脏的影响引发关注。从解剖学角度看,心脏虽然位于胸腔偏左,但它并非孤零零地...
96岁奶奶扒着车窗含泪送孙女返... 近日,湖南,假期快要结束,孙女准备返程。96岁的奶奶扒着车窗,眼里满是不舍。一句有空常回家看看,戳中...
人民日报:从《持械入宋》火爆看... 有能够让行业内外普遍认可的作品出现,是一种新文艺类型成熟的重要标志。正是因为“家里家外”系列、《盛夏...