PointNet 论文阅读笔记

叁歲伎倆 2022-10-05 14:54 267阅读 0赞

## 摘要 ##

点云是几何数据结构的一种重要类型。 由于格式不规则，大多数研究人员将此类数据转换为规则的3D voxel网格或图像集合。 但是，这使数据变得不必要地庞大，并导致了问题。 在本文中，我们设计了一种直接消耗(consume)点云的新型神经网络，该网络很好地考虑了输入中点的排列不变性。 我们的网络名为PointNet，为从目标分类，分割，到场景语义解析的应用程序提供了统一的体系结构。 虽然很简单，但PointNet高效且高效。 从经验上讲，它表现出同等甚至优于现有技术的强大性能。 从理论上讲，我们提供分析以了解网络学到的知识，以及为什么网络在输入扰动和破坏方面具有鲁棒性。

## 1，引言 ##

在本文中，我们探索了能够推理3D几何数据（例如点云或网格）的深度学习架构。 典型的卷积架构需要高度规则的输入数据格式，例如图像网格或3D voxel，以执行权重共享和其他内核优化。 由于点云或网格的格式不是常规格式，因此大多数研究人员通常先将此类数据转换为常规3D voxel网格或图像集合（例如views），然后再将其提供给深层网络体系结构。 但是，这种数据表示形式的转换使生成的数据变得不必要地庞大，同时还引入了量化物体，这些引入的物体会掩盖数据的自然不变性（会改变点云的不变性）。

因此，我们专注于使用简单的点云来表示3D几何的不同输入表示形式，并将其命名为深度网络PointNets。 点云是简单统一的结构，避免了网格的组合不规则性和复杂性，因此更易于学习。 但是，PointNet仍然必须尊重这样一个事实，即点云只是一组点，因此其成员的排列是不变的，因此在网络计算中必须具有一定的对称性。 还需要考虑刚性运动的其他不变性。

我们的PointNet是一个统一的体系结构，直接将点云作为输入，并输出整个输入的类标签或输入的每个点的每个点段/部件（segment/part）标签。 我们网络的基本架构非常简单，因为在初始阶段，每个点都被相同且独立地处理。 在基本设置中，每个点仅由其三个坐标（x， y， z）表示。 可以通过计算法线(normals)和其他局部或全局特征来添加其他dimensions。

我们方法的关键是使用单个**对称函数**，**即最大池化(max pooling)**。 有效地，网络学习了一组优化功能/标准，这些功能/标准选择了点云的有趣点或信息点，并对选择它们的原因进行了编码。 网络的最后的全连接层将这些学习的最优值汇总到整个描述符的全局描述符中（如上所述）（形状分类），或用于预测每个点的标签（形状分割）。

我们的输入格式易于应用刚性或仿射变换，因为每个点都是独立变换的。 因此，我们可以添加一个依赖于数据的空间转换器网络，该网络尝试在PointNet处理数据之前对数据进行规范化，以进一步改善结果。

我们提供了方法的理论分析和实验评估。 我们证明了我们的网络可以近似（拟合）任何连续的设定函数。 更有趣的是，事实证明，我们的网络学会了通过稀疏的一组关键点来总结输入点云，根据可视化，这些关键点大致对应于对象的骨架。 理论分析提供了一个理解，为什么我们的PointNet对输入点的小扰动以及通过点插入（异常值）或删除（丢失数据）而造成的损坏具有很高的鲁棒性。

在许多基准数据集上, 从shape分类，part分割到场景分割，我们通过实验将我们的PointNet与基于多视图(multi-view)和体积表示的最新方法进行了比较。 在统一的体系结构下，我们的PointNet不仅速度更快，而且表现出同等的性能，甚至比最先进的技术还要好。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70][] 图1所示 PointNet的应用程序。我们提出了一种新的深度网络架构，它不需要体素化或渲染就可以消耗原始点云(点集)。它是一个统一的体系结构，可以学习全局和局部点特征，为许多三维识别任务提供了一个简单、高效和有效的方法。

我们工作的关键酶贡献如下：

•我们设计了一种新颖的深层网络架构，适合使用3D形式的无序点集。  
•我们展示了如何训练这样的网络来执行3D shape分类，shape部分分割和场景语义解析任务；  
•我们对方法的稳定性和效率进行了详尽的经验和理论分析；  
•我们举例说明了网络中选定神经元计算出的3D特征，并对其性能进行了直观的解释。

用神经网络处理无序集的问题是一个非常普遍和根本的问题–我们希望我们的思想也可以迁移到其他领域。

## 2， 相关工作 ##

**点云特征：**点云的大多数现有feature都是针对特定任务而手工制作的。 点features通常会编码点的某些统计属性，并被设计为对于某些转换是不变的(点云具有不变性)，这些转换通常分为固有的\[2、24、3\]或外部的\[20、19、14、10、5\]。 它们也可以分为本地特征和全局特征。 对于特定任务，找到最佳特征组合并非易事。

**3D数据的深度学习：** 3D数据具有多种流行的表示形式，从而导致了多种学习方法。Volumetric CNN：\[28、17、18\]是在体素化shape上应用3D卷积神经网络的先驱。但是，由于**数据稀疏性(**点云具有稀疏性)和3D卷积的计算成本，体积表示受到其分辨率的限制。 FPNN \[13\]和Vote3D \[26\]提出了处理稀疏性问题的特殊方法。但是，他们的业务仍处于稀疏状态，这对他们处理非常大的点云来说是一个挑战。Multiview CNN：\[23，18\]尝试将3D点云或形状渲染为2D图像，然后应用2D卷积网络对它们进行分类。有了精心设计的图像CNN，这一系列方法在shape分类和检索任务上已经取得了主导的性能\[21\]。但是，将它们扩展到场景理解或其他3D任务（例如点分类和形状完成）并非易事。Spectral CNN：一些最新著作\[4，16\]在网格上使用specrtal （频谱）CNN。但是，这些方法目前仅限于多种网格物体（例如有机物体）上，如何将其扩展到非等距形状（例如家具）尚不清楚。基于特征的DNN：\[6，8\]首先通过提取传统的形状特征将3D数据转换为矢量(vector)，然后使用全连接网络对形(shape)状进行分类。我们认为它们受到提取特征的表示能力的限制。

**无序集的深度学习：**从数据结构的角度来看，**点云是无序的向量（vector）集**。 虽然大多数深度学习工作都集中在常规输入表示形式上，例如序列（语音和语言处理），图像和volumes（视频或3D数据），但在深度学习上对点集的工作却很少。

Oriol Vinyals等人\[25\]的最新著作探讨了这个问题。 他们使用具有注意力机制的读过程写网络来处理无序输入集，并表明他们的网络具有对数字进行排序的能力。 但是，由于他们的工作集中在通用集合和NLP应用上，因此在集合中缺少几何的任务。

## 3，问题陈述 ##

我们设计了一个深度学习框架，该框架直接使用无序点集作为输入。 点云表示为一组3D点![2021060920002166.png][]，其中每个点Pi 是（x， y， z）的坐标向量，外加额外的特征通道，例如颜色，法线等。为简单起见，除非另有说明，否则我们仅使用（x，y， z） 坐标作为点的channels。

对于目标分类任务，输入点云要么直接从shape中采样，要么从场景点云中预先分割。我们提出的深度网络为所有的 k 个候选类输出 k 个分数。对于语义分割，输入可以是用于部分区域分割的单个对象，也可以是用于对象区域分割的3D场景的一个子体。 我们的模型将为 n 个点和 m 个语义子类别输出 nxm 个scores。

## 4，点集上的深度学 ##

我们的网络体系结构(第4.2节)是由![20210609200228781.png][](第4.1节)中的点集的性质启发而来的。

## 4.1，![20210609200233194.png][]中点集的性质 ##

我们的输入是来自欧氏空间的点的子集。它有三个主要属性:

**•无序性：**与图像中的像素阵列或体素网格中的体素阵列不同，点云是一组没有特定顺序的点。换句话说，一个处理N个3D点集的网络需要对按序送入的输入集以 N! 不变排列。  
 **•点的相互作用性：** 这些点来自一个有距离度量的空间。这意味着点不是孤立的，相邻的点形成一个有意义的子集。因此，模型需要能够从附近的点获取局部结构，以及局部结构之间的组合相互作用.  
 **•转移不变性：** 作为一个几何对象，学习到的点集表示对于某些变换应该是不变的。例如，旋转和平移点不应改变全局点云类别，也不应改变点云的分割。

## 4.2，PointNet结构 ##

我们的整个网络架构如图2所示，其中分类网络和分割网络共享了很大一部分的结构。请阅读图2对pipeline的说明。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 1][]

**图2 PointNet结构** 分类网络以n个点作为输入，进行输入和特征变换，然后通过max pooling聚合点feature。输出是k个类的分类scrore。分割网络是分类网络的延伸。它连接全局和局部feature，并按score输出结果。“mlp”代表多层感知器，括号中的数字是层的size。Batchnorm与ReLU用于所有层。在分类网的最后一个mlp中使用Dropout层。

我们的网络有三个关键模块:max pooling层作为一个对称函数来聚合所有点的信息，一个局部和全局的信息组合结构，以及两个联合对齐网络来对齐输入点和点的feature。

我们将在下面的单独段落中讨论这些设计选择背后的原因。

无序输入的对称函数。为了使模型对输入排列具有不变性，存在三种策略：1)将输入按规范顺序排序; 2)将输入作为一个序列来训练RNN，但通过各种排列来增加训练数据；3)使用一个简单的对称函数来聚合每个点的信息。这里，一个对称函数取 n 个向量作为输入，然后输出一个新的向量，这个向量对输入顺序不变。例如，+和∗运算符是对称的二元函数。

虽然排序听起来像一个简单的解决方案，但在高维空间中，实际上并不存在一种排序，即一般意义上稳定的 w.r.t .点扰动。这很容易通过矛盾来证明。如果存在这样的排序策略，它定义了高维空间和一维实线之间的双射映射。不难看出，要求 w.r.t 点扰动的有序是稳定的，就等于要求该映射在维数降低时保持空间邻近性，这是一般情况下无法实现的任务。因此，排序并不能完全解决有序问题，而且当排序问题持续存在时，网络很难学会从输入到输出的一致映射。如图5所示，我们发现直接在排序的点集上应用MLP的性能较差，但略好于直接处理未排序的输入。

使用RNN的思想认为点集是一个序列信号，并希望通过用随机排列的序列训练RNN, RNN将成为输入顺序不变。然而，在“OrderMatters”\[25\]中，作者已经证明了顺序是重要的，不能被完全忽略。RNN对小长度序列(几十个)的输入排序具有较好的鲁棒性，但难以伸缩到数千个输入元素，这是点集的常见规模。根据经验，我们也证明了基于RNN的模型不如我们提出的方法(图5)。

我们的想法是**通过在点集的变换元素上应用一个对称函数**来近似定义在点集上的一般函数:

![20210609201137429.png][]

![20210609201239512.png][]

根据经验，我们的基本模块非常简单：我们用多层感知器网络近似 h，用单变量函数和最大池化函数的组合近似 g。实验证明这是有效的。通过一个集合h，我们可以学习若干个 f's 来捕捉集合的不同性质。

虽然我们的 key 模块看起来很简单，但它具有有趣的属性(见章节5.3)，并且可以在一些不同的应用中实现强大的性能(见章节5.1)。由于我们的模块很简单，我们也可以像4.3节那样提供理论分析。

**局部和全局信息聚合。** 上节的输出形成一个向量![20210609201325877.png][]，它是输入集的全局签名。我们可以很容易地训练一个SVM或多层感知器分类器对shape的全局特征进行分类。然而，点分割需要结合局部信息和全局信息。我们可以通过一种简单而高效的方式来实现这一目标。

我们的解决方案如图2 (Segmentation Network)所示。**在计算出全局点云特征向量后，通过将全局特征与每个点云特征concate起来，将其反馈到每个点云特征。**然后在此基础上提取新的单点特征，这一次单点特征同时具有局部信息和全局信息。

通过这种修改，我们的网络能够预测依赖于局部几何和全局语义的每个点的数量。例如，我们可以准确地预测每个点的法线(图在补充材料中)，验证网络能够从点的局部邻域总结信息。实验结果表明，该模型在形状分割和场景分割方面具有较好的性能。

**联合对齐网络。**如果点云经过一定的几何变换(如刚性变换)，则点云的语义标签(label)必须是不变的。因此，我们期望我们的点集所学习的表示对于这些变换是不变的。

一个自然的解决方案是在特征提取之前将所有的输入集对齐到一个规范空间。Jaderberg等人的\[9\]引入了空间变换的思想，通过采样和插值来对齐2D图像，通过在GPU上实现专门定制的层来实现。

我们的点云输入形式允许我们以比\[9\]简单得多的方式实现这一目标。我们不需要创造任何新的图层，也不需要像图片那样引入别名。**我们通过一个mini network(图2中的T-net)预测一个仿射变换矩阵，并直接将这个变换应用到输入点的坐标上。**mini network本身类似于大网络，由点独立特征提取、max pooling和全连接层等基本模块组成。更多关于T-net的细节在补充材料中。

该思想也可以进一步扩展到**特征空间的对齐**。我们可以在点特征上插入另一个对齐网络，然后预测一个特征变换矩阵，对不同输入点云的特征进行对齐。然而，特征空间中的变换矩阵比空间变换矩阵的维数要高得多，大大增加了优化的难度。因此，我们在我们的softmax训练损失中增加了一个正则化项。我们将特征变换矩阵约束为接近正交矩阵:

![20210609201651944.png][]

其中 A 为mini network 预测的**特征对齐矩阵**。正交变换不会丢失输入中的信息，因此我们希望如此。我们发现，通过增加正则化项，优化变得更稳定，我们的模型达到更好的性能。

## 4.3，理论分析 ##

通用逼近性。 我们首先证明了我们的神经网络对连续集函数的普遍逼近能力。由于集合函数的连续性，直观上，对输入点集的一个小扰动应该不会使函数值发生很大的变化，如分类score或分割score。

形式上，令![20210609201752902.png][],![20210609201811520.png][]![20210609201826712.png][]是X 上w.r.t到Hausdorff距离![20210609201917737.png][]的一个连续集函数表示，即：![20210609202020540.png][]![20210609202042597.png][] 我们的定理说明，f 可以由我们的网络任意近似，只要在max pooling层有足够的神经元，也就是说，(1) 中的K足够大。

**定理1：** 假设 ![20210609202148552.png][]是连续集函数 w.r.t Hausdorff距离![20210609202211333.png][]。![20210609202229668.png][]0， 存在一个连续函数 h 和一个对称函数g ![20210609202347225.png][]这样对于任何![2021060920241060.png][]，

![20210609202433767.png][]

其中 ![20210609202503587.png][] 是 S 任意顺序的完整元素列表，![20210609202529980.png][] 是一个连续函数，MAX是一个向量的最大算子，它以 n 个向量作为输入，返回一个新的元素最大向量。

这个定理的证明可以在我们的补充材料中找到。其关键思想是，在最坏的情况下，网络可以通过将空间划分为等大小的体素，学习将点云转换为体积表示。然而，在实践中，正如我们将在点函数可视化中看到的那样，网络学会了一种更聪明的策略来探测空间。

Bottleneck dimension 和稳定性。从理论上和实验上我们发现，我们的网络的表达性受到max pooling层的dimensions强烈地影响，即(1)中的K。在这里，我们提供了一个分析，这也揭示了与我们的模型的稳定性相关的特性。

我们定义![20210609202637925.png][]为 f 的子网络，它把一个![20210609202706699.png][]的点集映射成一个k 维向量。下面的定理告诉我们，输入集中的小错误或额外的噪声点不太可能改变我们的网络输出:

**定理2：**假设![20210609202740494.png][] 有 ![20210609202758602.png][]![20210609202822634.png][] 那么 ：

![20210609202849120.png][]

我们解释了该定理的含义。 （a）表示，如果保留![20210609202937685.png][] 中的所有点，则 ![20210609202957257.png][] 直到输入破坏为止都不会改变； 它也不会变化，额外加上高达![20210609203024627.png][]的额外噪声点，他也不会改变。 （b）表示![20210609202937685.png][]仅包含由（1）中的 K 确定的点的有界数。 换句话说，![20210609202957257.png][]实际上完全由小于或等于K个元素的有限子集![20210609203105562.png][]决定。 因此，我们称![20210609202937685.png][]为 S 的临界点集， K为 f 的bottleneck dimension。

结合 h 的连续性，这解释了我们的模型的 w.r.t 点扰动，破坏和额外噪声点的鲁棒性。 类似于机器学习模型中的稀疏性原理，获得了鲁棒性。 直观地，我们的网络学习通过稀疏的关键点来总结形状。 在实验部分，我们看到关键点形成了目标的骨架。

## 5，实验 ##

实验分为四个部分。首先，我们展示了PointNets可以应用于多个3D识别任务(第5.1节)。其次，我们提供了详细的实验来验证我们的网络设计(第5.2节)。最后我们将网络学习的内容可视化(5.3节)，并分析时间和空间复杂性(5.4节)。

### 5.1，应用 ###

在本节中，我们将展示如何训练我们的网络来执行3D目标分类、目标部分分割和语义场景分割。即使我们正在研究一个全新的数据表示(点集)，我们也能够在几个任务的基准测试上实现类似甚至更好的性能。

**3D 目标分类。**我们的网络学习全局点云特征，可以用于目标分类。我们 ModelNet40\[28\] shape分类基准上评估我们的模型。共有来自40个人造物体类别的12311个CAD模型，其中9843个用于训练，2468个用于测试。虽然以前的方法专注于体积和多视图（multi-view）图像表示，我但是们是第一个直接处理原始点云。

我们根据face面积在网格面上统一抽样1024个点，并将它们**归一化到单位球**。在训练过程中，我们通过沿上轴随机旋转物体和用零均值和0.02标准差的高斯噪声抖动每个点的位置来实时增强点云。

在表1中，我们将我们的模型与以前的工作以及我们使用MLP 从点云提取的传统特征(点密度，D2，形状轮廓等) 的baseline进行了比较。我们的模型在基于三维输入(体积和点云)的方法中取得了最先进的性能。由于只有全连接层和最大池化，我们的网络在推理速度上获得了强大的领先优势，并且可以很容易地在CPU中并行化。我们的方法与基于多视图的方法(MVCNN\[23\])之间仍有一个小差距，我们认为这是由于渲染图像丢失了可以捕捉到的精细几何细节。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 2][] 表1 ModelNet40的分类结果。我们的深度网络在3D输入上实现了最先进的结果。

3D 目标部分分割。部分分割是一项具有挑战性的细粒度三维识别任务。给定一个3D扫描或网格模型，任务是为每个点或面分配部分类别标签(如椅子腿，杯柄)。

我们对来自\[29\]的ShapeNet part数据集进行评估，该数据集包含16个类别的16881个形状，总共标注了50个part。大多数目标类别都有2到5个part。ground truth annotations标记在形状上的采样点上。

我们将部分分割表述为逐点分类问题。评价指标是mIoU。对于C类的每个shape S，计算形状的mIoU：对于C类中的每个part类型，计算groundtruth和prediction之间的IoU。如果groundtruth和预测点的并集为空，则将part IoU计数为1。然后我们将所有C类part类型的IoU平均得到该shape的mIoU。为了计算类别的mIoU，我们取该类别中所有shape的mIoU的平均值。

在本节中，我们比较了我们的分割版本PointNet(图2，分割网络的一个修改版本)和两种传统方法\[27\]和\[29\]，这两种方法都利用点方向的几何特征和shape之间的响应，以及我们自己的3D CNN baseline。3D CNN的详细修改及网络架构见补充材料。

在表2中，我们报告了每个类别和平均IoU(%)得分。我们观察到，改善了2.3%的mean IoU，并且在大多数类别中，我们的mean IoU比baseline方法要好。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 3][] 表2 ShapeNet part数据集分割结果。单位是mIoU(%)。我们比较了\[27\]和\[29\]两种传统方法以及我们提出的3D全卷积网络baseline。我们的PointNet方法在mIoU中达到了最先进的水平。

我们还对模拟Kinect扫描进行实验，以测试这些方法的鲁棒性。对于ShapeNet part数据集中的每个CAD模型，我们使用Blensor Kinect Simulator\[7\]从六个随机视点生成不完整的点云。我们用相同的网络架构和训练设置训练我们的PointNet的完整形状和部分扫描。结果表明，我们只损失了5.3%的mean IoU。在图3中，我们给出了完整数据和part数据的定性结果。可以看出，虽然part数据相当具有挑战性，但我们的预测是合理的。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 4][] 图3 部分分割的定量结果。我们将所有16个目标类别的CAD部分分割结果可视化。我们展示了部分模拟Kinect扫描(左块)和完整的ShapeNet CAD模型(右块)的结果。

场景中的语义分割。我们的part分割网络可以很容易地扩展到语义场景分割，其中点标签成为语义目标类，而不是目标part标签。

我们在斯坦福三维语义分析数据集\[1\]上进行了实验。数据集包含Matterport扫描仪在6个区域的3D扫描，包括271个房间。扫描中的每个点都有来自13个类别的语义标签(椅子、桌子、地板、墙壁等以及杂物)中的一个。

为了准备训练数据，我们首先按房间划分点，然后将房间采样成面积为1m × 1m的块。我们训练PointNet的分割版本来预测每个块中的每个点类。每个点都由一个9-dim向量XYZ, RGB和房间的归一化位置表示(从0到1)。在训练时间，我们在每个块中随机抽样4096个点。在测试时，我们测试所有的点。我们遵循与\[1\]相同的协议，使用k-fold策略进行训练和测试。

我们使用手工制作的点特征将我们的方法与baseline进行比较。baseline提取相同的9- dim局部特征和三个附加特征：局部点密度，局部曲率和法线。我们使用标准MLP作为分类器。结果如表3所示，其中我们的PointNet方法明显优于baseline方法。在图4中，我们展示了定性分割结果。我们的网络能够输出平滑的预测，并对缺失点和遮挡具有鲁棒性。

![20210609203918278.png][] 表3 场景语义分割结果。指标是13类的average IoU(结构和家具元素加上杂物)和点的分类精度计算。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 5][] 图4 语义分割的定性结果。最上面一行是彩色的输入点云。底部一行是输出的语义分割结果(点)显示在相同的摄像机视角作为输入。

基于我们的网络输出的语义分割，我们进一步构建了一个三维目标检测系统，对目标proposals(详见补充)使用连接组件。我们将与表4中先前最先进的方法进行比较。该方法基于基于滑动形状法体素网格的局部几何特征和全局房间上下文特征的SVM的(带CRF后处理)。在报告的家具类别中，我们的方法远远超过了它。

![20210609204053945.png][] 表4 场景中3D目标检测结果。度量是average precision，阈值IoU 0.5在3D体积中计算。

### 5.2，结构设计分析 ###

在本节中，我们通过控制实验来验证我们的设计选择。我们还展示了网络超参数的影响。

与顺序不变方法的比较。与第4.2节中提到的顺序不变方法(Alternative Order-invariant MethodsaAs)相比，至少有三种选择可以使用无序集输入。我们使用ModelNet40 形状分类问题作为比较这些选项的测试平台，下面的两个控制实验也将使用这个任务。

我们比较的baseline(如图5所示)包括未排序点和已排序点的多层感知机 ，其输入点视为 n×3 array ，RNN模型把点作为一个序列输出，以及基于对称函数的模型。我们实验的对称操作包括最大池化、平均池化和基于注意力的加权和。注意方法类似于\[25\]，其中从每个点特征预测一个标量得分，然后通过计算一个softmax跨点归一化得分。然后在归一化评分和点特征上计算加权和。如图5所示，maxpooling操作在很大程度上获得了最佳性能，验证了我们的选择。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 6][] 图5 三种实现order不变性的方法。多层感知器(MLP)应用于点上由5个隐藏层组成，神经元大小分别为64、64、64、128、1024，所有点共享一个MLP副本。靠近输出的MLP由两层组成，大小为512,256。

输入和特征变化的有效性。在表5中，我们演示了输入和特征变换(为了对齐)的正向效果。有趣的是，最基本的架构已经获得了相当合理的结果。使用输入变换可以提高0.8%的性能。正则化损失是实现高维变换的必要条件。通过结合变换和正则化项，我们获得了最好的性能。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 7][] 表5 输入特征变换的有效性。指标是在ModelNet40  
测试集上的总体分类accuracy。

鲁棒性测试。我们展示了我们的PointNet，虽然简单和有效，但对于各种输入错误是健壮的。我们使用与图5中最大池化网络相同的架构。输入点被归一化为单位球。结果如图6所示。

![20210609204513543.png][] 图6 PointNet 鲁棒性测试。该指标是ModelNet40测试集上的总体分类精度。左: 缺失点。Furthest意味着原始1024个点采用最远采样。中间:插入(插入异常点)。异常值均匀地散布在单位球中。右:扰动。每个点单独添加高斯噪声。

在缺失点方面，当缺失点达到50%时，在随机输入抽样下，最大程度上，准确率只下降了2.4%和3.8%。我们的网络对离群点也很稳健，如果它在训练期间看到过这些离群点的话。我们评估了两个模型: 一个是针对(x, y, z)坐标点的训练;另一个是(x, y, z)加上点密度。即使有20%的点是异常值，该网络的准确率也超过80%。图6右侧显示了网络对点扰动的鲁棒性。

### 5.3 可视化PointNet ###

在图7中，我们为一些样本形状S可视化临界点集CS和上界形状NS(如Thm 2中讨论的)。两个形状之间的点集将给出完全相同的全局形状特征![20210609204641715.png][]。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 8][] 图7 临界点和上界形状。当临界点共同决定一个给定形状的全局形状特征时，任何落在临界点集合和上界形状之间的点云给出完全相同的特征。我们用颜色编码所有的数字来显示深度信息。

从图7中我们可以清楚地看到，构成最大聚合特征的临界点集![20210609205016184.png][]概括了形状的骨架。![2021060920500943.png][]和![20210609204953971.png][]反映了PointNet的鲁棒性，这意味着失去一些非临界点并不会改变全局形状特征![20210609205037372.png][]

![20210609204946345.png][]是通过将边长为 2 的立方体中的所有点通过网络转发，并选择点 p 的点函数值![20210609205120168.png][]不大于全局形状描述符。

### 5.4，时间和空间复杂度分析。 ###

表6总结了我们的分类PointNet的空间(网络中的参数数量)和时间(浮点操作/示例)复杂性。我们还比较了PointNet和以前作品中基于体积和多视图架构的代表性集合。

![20210609205159208.png][] 表6 3D数据分类深度架构的时间和空间复杂度。PointNet(vanilla)是没有输入和特征变换的分类PointNet。FLOP表示浮点操作。" M "代表百万。Subvolume和MVCNN对多个旋转或视图的输入数据使用池化，没有池化它们的性能要差得多。

当MVCNN\[23\]和Subvolume (3D CNN)\[18\]实现高性能时，PointNet在计算成本上的效率更高(以FLOPs/sample计算，分别是141x和8x)。此外，在网络中的\#param参数方面，PointNet比MVCNN的空间效率高得多(参数少17x)。此外，PointNet的可扩展性更强——它的空间和时间复杂度是O(N)——在输入点的数量上是线性的。然而，由于卷积控制了计算时间，多视点方法的时间复杂度直接随图像分辨率的增大而增大，而基于体积卷积的方法则随体积大小的增大而增大。

根据经验，PointNet能够在TensorFlow上使用1080X GPU每秒处理超过100万个点进行点云分类(大约1K个目标/秒)或语义分割(大约2个房间/秒)，显示出了巨大的实时应用潜力。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70]: /images/20221005/713f0be2d61f4a3391fcce9f50df288d.png
[2021060920002166.png]: /images/20221005/70a93b08011d4177980cc636e9c4b4ec.png
[20210609200228781.png]: /images/20221005/5044d97076824e7bada4d3e6142cddfb.png
[20210609200233194.png]: /images/20221005/ee189d3963d741f79a346a3127f13cf1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 1]: /images/20221005/23cc15cfca2549a282cebe6701b16ae3.png
[20210609201137429.png]: /images/20221005/3e2b67238b13498cb31cf55c3575ef4a.png
[20210609201239512.png]: /images/20221005/d49acb61172a40cbb5c8e32646111150.png
[20210609201325877.png]: /images/20221005/9f1e1a49d69d4368af2898f44ec61028.png
[20210609201651944.png]: /images/20221005/fb590b681294443c85f73324d01b165a.png
[20210609201752902.png]: https://img-blog.csdnimg.cn/20210609201752902.png
[20210609201811520.png]: https://img-blog.csdnimg.cn/20210609201811520.png
[20210609201826712.png]: https://img-blog.csdnimg.cn/20210609201826712.png
[20210609201917737.png]: https://img-blog.csdnimg.cn/20210609201917737.png
[20210609202020540.png]: https://img-blog.csdnimg.cn/20210609202020540.png
[20210609202042597.png]: /images/20221005/df90bc277aea41c1a7c5ed88788ec958.png
[20210609202148552.png]: https://img-blog.csdnimg.cn/20210609202148552.png
[20210609202211333.png]: https://img-blog.csdnimg.cn/20210609202211333.png
[20210609202229668.png]: https://img-blog.csdnimg.cn/20210609202229668.png
[20210609202347225.png]: https://img-blog.csdnimg.cn/20210609202347225.png
[2021060920241060.png]: /images/20221005/22c4d60b36c646e180f0dd799f2a4832.png
[20210609202433767.png]: /images/20221005/b3b1b141e668477f8a19b15b320ed162.png
[20210609202503587.png]: https://img-blog.csdnimg.cn/20210609202503587.png
[20210609202529980.png]: /images/20221005/1ac824ab275747cc9ecdd570d9290beb.png
[20210609202637925.png]: https://img-blog.csdnimg.cn/20210609202637925.png
[20210609202706699.png]: /images/20221005/d0e6f48199a341739b66568c5fedc08a.png
[20210609202740494.png]: https://img-blog.csdnimg.cn/20210609202740494.png
[20210609202758602.png]: https://img-blog.csdnimg.cn/20210609202758602.png
[20210609202822634.png]: /images/20221005/e10954f8e6244d06a9a5af14efac01e8.png
[20210609202849120.png]: /images/20221005/e3a8ab45e764466bacd48c44bbfe141f.png
[20210609202937685.png]: /images/20221005/90897e6126424bb6a0f9afce04aed8de.png
[20210609202957257.png]: https://img-blog.csdnimg.cn/20210609202957257.png
[20210609203024627.png]: https://img-blog.csdnimg.cn/20210609203024627.png
[20210609203105562.png]: https://img-blog.csdnimg.cn/20210609203105562.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 2]: /images/20221005/ab27c1f4f6ff4979bca0544635a2ddb8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 3]: /images/20221005/d7cd9730e5dd4325b7a8fde062109109.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 4]: /images/20221005/393e9939b8aa45fdb3bf065d20a42071.png
[20210609203918278.png]: /images/20221005/683377a995134e309d4207a09918fb33.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 5]: /images/20221005/956a43c4c82e441c9239104df5f55732.png
[20210609204053945.png]: /images/20221005/7ad16c7e7b0c429dbc267bb5840d769f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 6]: /images/20221005/418ef0e22c904eed9bee7f26bde3f687.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 7]: /images/20221005/a8cb14af55284c3eb2aced474fa8bd76.png
[20210609204513543.png]: /images/20221005/6b1c378206ef4b41b9248f43b6838be6.png
[20210609204641715.png]: /images/20221005/40359b79e4794f92bd4bc6ed06568b2d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 8]: /images/20221005/637a22497ccd44879a354e7d02f5d8f2.png
[20210609205016184.png]: https://img-blog.csdnimg.cn/20210609205016184.png
[2021060920500943.png]: https://img-blog.csdnimg.cn/2021060920500943.png
[20210609204953971.png]: https://img-blog.csdnimg.cn/20210609204953971.png
[20210609205037372.png]: /images/20221005/4b7e483a011b4cce8c3c99c2f2a0bc79.png
[20210609204946345.png]: https://img-blog.csdnimg.cn/20210609204946345.png
[20210609205120168.png]: /images/20221005/2a1f099d403a4fdaa4b63411d3668e79.png
[20210609205159208.png]: /images/20221005/ccd4d4d1db07446fb4a420bb69a012a4.png