CV - 计算机视觉 |  ML - 机器学习 |  RL - 强化学习 | NLP 自然语言处理  

Subjects: cs.CV

1.PAC-NeRF: Physics Augmented Continuum Neural Radiance Fields for Geometry-Agnostic System Identification（ICLR 2023）

标题：PAC-NeRF：用于几何不可知系统识别的物理增强连续体神经辐射场

作者：Xuan Li, Yi-Ling Qiao, Peter Yichen Chen, Krishna Murthy Jatavallabhula, Ming Lin

文章链接：https://arxiv.org/abs/2303.05512

项目代码：https://sites.google.com/view/PAC-NeRF

摘要：

        现有的视频系统识别方法（估计物体的物理参数）假设已知物体的几何形状。这排除了它们在对象几何形状复杂或未知的绝大多数场景中的适用性。在这项工作中，我们的目标是从一组多视图视频中识别表征物理系统的参数，而无需对对象几何或拓扑进行任何假设。为此，我们提出了“物理增强连续体神经辐射场”(PAC-NeRF)，以从多视图视频中估计高度动态对象的未知几何形状和物理参数。我们将 PAC-NeRF 设计为仅通过强制神经辐射场遵循连续介质力学守恒定律来产生物理上合理的状态。为此，我们设计了神经辐射场的混合欧拉-拉格朗日表示，即，我们对 NeRF 密度和颜色场使用欧拉网格表示，同时通过拉格朗日粒子对流神经辐射场。这种混合欧拉-拉格朗日表示法将高效的神经渲染与材料点法 (MPM) 无缝融合，以实现稳健的可微分物理模拟。我们验证了我们提出的框架在各种材料（包括弹性体、橡皮泥、沙子、牛顿和非牛顿流体）上的几何和物理参数估计的有效性，并在大多数任务中展示了显着的性能提升。

2.Open-world Instance Segmentation: Top-down Learning with Bottom-up Supervision

标题：开放世界实例分割：自下而上监督的自上而下学习

作者：Tarun Kalluri, Weiyao Wang, Heng Wang, Manmohan Chandraker, Lorenzo Torresani, Du Tran

文章链接：https://arxiv.org/abs/2303.05503

项目代码：https://tarun005.github.io/UDOS/

摘要：

        许多自上而下的架构（例如分割）在预定义的封闭世界分类法上进行训练和测试时取得了显着的成功。然而，当部署在开放世界中时，它们表现出对可见类的显着偏见并且性能显着下降。在这项工作中，我们提出了一种用于开放世界实例分割的新方法，称为自下而上和自上而下的开放世界分割 (UDOS)，它在自上而下的学习框架内结合了经典的自下而上分割算法。UDOS 首先使用受自下而上分割的弱监督训练的自上而下网络预测部分对象。自下而上的分割是类别不可知的，不会过度适应特定的分类法。然后将部分掩码送入基于亲和力的分组和细化模块，以预测稳健的实例级分割。UDOS 既享有自上而下架构的速度和效率，又享有自下而上监督对不可见类别的泛化能力。我们从 5 个具有挑战性的数据集（包括 MS-COCO、LVIS、ADE20k、UVO 和 OpenImages）验证了 UDOS 在多个跨类别和跨数据集传输任务上的优势，全面实现了对最先进技术的显着改进.

3.3D Video Loops from Asynchronous Input

标题：来自异步输入的 3D 视频循环

作者：Ioannis Siglidis, Nicolas Gonthier, Julien Gaubil, Tom Monnier, Mathieu Aubry

文章链接：https://arxiv.org/abs/2302.01660v2

项目代码：https://github.com/ysig/learnable-typewriter

摘要：

        循环视频是可以无限循环播放的短视频剪辑，没有明显的接缝或瑕疵。它们提供了一种非常有吸引力的方式来捕捉自然场景的动态。现有方法主要限于二维表示。在本文中，我们向前迈进了一步，提出了一种实用的解决方案，可以在动态 3D 循环场景上实现身临其境的体验。关键挑战是考虑来自异步输入的每个视图循环条件，同时保持 3D 表示的视图一致性。我们提出了一种新颖的稀疏 3D 视频表示，即 Multi-Tile Video (MTV)，它不仅提供了视图一致的先验，而且大大减少了内存使用，使 4D 体积的优化变得易于处理。然后，我们引入了一个两阶段流水线来从完全异步的多视图视频构建 3D 循环 MTV，没有时间重叠。在优化过程中采用了一种基于视频时间重定向算法的新型循环损失来循环 3D 场景。我们框架的实验表明，即使在移动设备上也能实时成功生成和渲染逼真的 3D 循环视频。

更多Ai资讯：公主号AiCharm