本文同步于微信公众号：3D视觉前沿，欢迎大家关注。
本期带来上周在arXiv公开的相关论文共6篇，其中涉及形状补全、新视角生成、三维重建、点云对称性检测等，这里只是给出大致简介，详细了解可阅读原文。
一、三维重建：
1. [arXiv] KAPLAN: A 3D Point Descriptor for Shape Completion
- 作者机构：Audrey Richard, et al. ETH Zurich & Microsoft Zurich
- 论文地址：https://arxiv.org/pdf/2008.00096.pdf
- 简介：作者提出了一种新颖的3D形状补全方法，可直接作用在非结构化的点云上，避免了使用像体素网格这样耗资源的数据结构。具体地，作者提出了KAPLAN 3D点描述符，它通过一系列2D卷积来聚合局部形状信息。核心思想是将局部邻域中的点投影到具有不同方向的多个平面上，在每个平面，点属性（如法线或点到平面的距离）都聚合到2D网格中，并通过有效的2D卷积编码器抽象为特征表示。由于所有平面都是联合编码的，因此最终的表示形式可以捕获它们的相关性，并保留有关基础3D形状的知识，而无需进行昂贵的3D卷积。在公共数据集上进行的实验表明，KAPLAN在3D形状补全方面达到了最先进的性能。
2. [arXiv] NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections
- 作者机构：Ricardo Martin-Brualla, et al. Google Research & Google Brain, Berlin
- 论文地址：https://arxiv.org/pdf/2008.02268.pdf
- 项目地址：https://nerf-w.github.io/
- 简介：作者提出一种基于学习的方法，能够仅使用非结构化室外照片的集合来合成复杂室外场景的新颖视图。提出的方法建立在神经辐射场（neural radiance fields，NeRF）之上，该神经辐射场使用多层感知器的权重来隐式地对场景的体积密度和颜色建模。虽然NeRF可以很好地处理在限定场景下捕获的静态物体的图像，但它无法处理在非限定图像建模中普遍存在的许多真实现象，例如变化的光线或者瞬间出现的遮挡物。在这项工作中，作者提出了一系列对NeRF的扩展来解决这些问题，从而可以对从互联网上获取的非结构化的图像集合进行精确的重建。作者将名为NeRF-W的系统应用于著名地标的互联网照片集，尽管照片集中存在一些未知和混杂因素，但系统仍能产生逼真的、空间上一致的场景表示，从而大大改善了现有技术。
3. [ECCV] PatchNets: Patch-Based Generalizable Deep Implicit 3D Shape Representations
- 作者机构：Edgar Tretschk, et al. Max Planck Institute for Informatics & Facebook Reality Labs
- 论文地址：https://arxiv.org/pdf/2008.01639.pdf
- 简介：隐式曲面表示（例如，符号距离函数SDF）与深度学习相结合，已经产生了令人印象深刻的模型，不仅能够表示具有任意拓扑的细致形状，还可以以任意分辨率提取重建的结果。但是，训练这样的模型需要一个大量的数据集（如ShapeNet）。在本文中，作者提出了一个中级别的基于块 (patch) 的曲面表示。在块级别下，不同类别的对象仍具有相似性，这可以产生泛化性更好的模型。因此，作者提出了一种新颖的方法来学习正则空间中的这种基于块的表示形式，从而使其尽可能地与对象无关。作者证明，在ShapeNet的一类物体上训练的表示形式也可以很好地表示任何其他类别的细致形状。此外，与现有方法相比，可以使用少得多的形状进行训练。作者展示了新表示形式的几种应用，包括形状插值和部分点云补全。由于对块的位置、方向和比例进行了显式地控制，因此与物体级别的表示相比，作者的表示也更可控，也能够允许对编码的形状进行非刚性的变形。
4. [arXiv] Point Cloud Completion by Learning Shape Priors
- 作者机构：Xiaogang Wang, et al. NUS
- 论文地址：https://arxiv.org/pdf/2008.00394.pdf
- 简介：鉴于在点云补全中难以重建物体细节的问题，作者提出了一种用于物体补全的形状先验学习方法。形状先验包括完整和部分点云中的几何信息。作者设计了一种特征对齐策略以从完整的点云中学习形状的先验，并设计了由粗到细的策略以在精细重建阶段结合部分点云的先验。为了得到完整物体的先验，作者首先训练了一个点云自动编码器，以从完整的点云中提取潜在的嵌入。然后，作者学习了一种映射，通过优化特征对齐损失，将点特征从部分点云转移到完整点云。特征对齐损失包括一个L2距离和一个通过最大平均差异生成对抗网络（MMDGAN）获得的对抗损失。L2距离优化了特征空间中的部分特征，使其朝向完整特征，而MMDGAN减小了再生核希尔伯特空间中两个点特征的统计距离。作者在点云补全任务上实现了最先进的性能。
5. [arXiv] Robust Uncertainty-Aware Multiview Triangulation
- 作者机构：Seong Hun Lee & Javier Civera. University of Zaragoza
- 论文地址：https://arxiv.org/pdf/2008.01258.pdf
- 简介：作者为多视图三角剖分和不确定性估计提出了一种鲁棒而有效的方法。作者的贡献有三方面：首先，提出了一种使用中点方法的两视图RANSAC的离群值抑制方案。通过在三角剖分之前预先筛选两个视图的样本，可以获得当前最优的效率。其次，比较了不同的局部优化方法，以细化初始解和内点集合。通过对内点集合进行迭代更新，作者表明优化可以显着提高准确性和鲁棒性。 第三，作者将一个三角化点的不确定性建模为三个因素的函数：相机数量、平均重投影误差和最大视差角。学习此模型可以使测试时快速插值不确定性。 作者进行了广泛的评估来验证提出的方法。
6. [TOG] SymmetryNet: Learning to Predict Reflectional and Rotational Symmetries of 3D Shapes from Single-View RGB-D Images
- 作者机构：Yifei Shi, et al. NUDT & Princeton University
- 论文地址：https://arxiv.org/pdf/2008.00485.pdf
- 简介：作者研究了从单视图RGB-D图像中对3D形状进行对称性检测的问题，其中严重的数据缺失往往使几何检测方法不可用。作者提出了一种端到端的深度神经网络，该网络能够预测输入RGB-D图像中存在的3D物体的轴对称和旋转对称特性。然而，直接训练一个用于对称性预测的深层模型可能会很快遇到过拟合的问题。因此，作者采用了一种多任务学习方法，提出的网络不仅能够预测对称轴，还可以预测对称对应关系。具体来说，给定RGB-D图像中存在的3D点，提出的网络会为每个3D点输出预测对称性下的对应对称点。另外，提出的网络能够检测出给定形状的多种不同类型的对称性。作者还为基于单视图RGB-D图像的3D对称性检测提供了基准数据集。在基准上进行的广泛评估表明作者的方法，在对称轴预测和对应估计上都取得了高精度，具有很强的泛化能力。特别的是，提出的方法具有很强的鲁棒性，能够处理形状差异大且具有多个对称组合的未见过的物体实例，以及未见过的物体类别。
