引用本文

单铉洋, 孙战里, 曾志刚. RFNet: 用于三维点云分类的卷积神经网络. 自动化学报, 2023, 49(11): 2350−2359 doi: 10.16383/j.aas.c210532

Shan Xuan-Yang, Sun Zhan-Li, Zeng Zhi-Gang. RFNet: Convolutional neural network for 3D point cloud classification. Acta Automatica Sinica, 2023, 49(11): 2350−2359 doi: 10.16383/j.aas.c210532

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210532

关键词

深度学习，三维点云，点云分类，注意力机制，损失函数 

摘要

由于点云的非结构性和无序性, 目前已有的点云分类网络在精度上仍然需要进一步提高. 通过考虑局部结构的构建、全局特征聚合和损失函数改进三个方面, 构造一个有效的点云分类网络. 首先, 针对点云的非结构性, 通过学习中心点特征与近邻点特征之间的关系, 为不规则的近邻点分配不同的权重, 以此构建局部结构; 然后, 使用注意力思想, 提出加权平均池化(Weighted average pooling, WAP), 通过自注意力方式, 学习每个高维特征的注意力分数, 在应对点云无序性的同时, 可以有效地聚合冗余的高维特征; 最后, 利用交叉熵损失与中心损失之间的互补关系, 提出联合损失函数(Joint loss function, JL), 在增大类间距离的同时, 减小类内距离, 进一步提高了网络的分类能力. 在合成数据集ModelNet40、ShapeNetCore和真实世界数据集ScanObjectNN上进行实验, 与目前性能最好的多个网络相比较, 验证了该整体网络结构的优越性.

文章导读

近年来, 随着自动驾驶仪、高精度地图、智慧城市等新概念的出现, 许多应用场景都需要基于点云的3D环境感知和交互. 三维扫描技术和深度摄像机的快速发展, 使得点云的获取更加简单方便, 在三维数据深度学习领域, 点云逐渐成为一种流行的三维数据表达方式[1]. 但与二维图像不同, 由于采样不均匀、传感器精度等因素, 点云在空间上是高度稀疏无序的. 因此, 如何用深度学习的方式处理点云数据, 成为一个关键的问题[2].

由于卷积神经网络(Convolutional neural network, CNN)方法在图片处理上有着广泛且成熟的应用, 而点云并不是像图片一样规则排列的, 因此许多工作都是先对点云进行预处理, 将点云数据转化为规则的数据, 然后再使用传统的CNN方法[3]. 根据神经网络输入数据类型的不同, 现有的点云分类方法可以分为多视图法、体素法和基于点的方法3种[4]. 多视图法是将三维点云数据从不同角度投影到二维平面上, 然后再对二维平面图做二维卷积[5-7]. 但由于存在遮挡问题, 在三维向二维投影的过程中, 会导致三维点云中固有信息的大量丢失. 体素法是通过将点云转化为规则的三维网格, 在三维网格上使用卷积神经网络[8-9]. 但这种方法受到分辨率的限制, 低分辨率训练速度快, 但会造成点云信息的大量丢失; 高分辨率形状描述能力强, 但同时也会让空间复杂度大幅度提高.

基于点的方法是将直接点云的三维坐标(x,y,z)作为输入, 对坐标进行卷积. PointNet[3]是这条路线的先驱. 为克服点云无序性而直接处理点云数据, PointNet首先对输入点云使用多个共享的多层感知器(Multi-layer perceptron, MLP), 从而将低维的坐标信息映射为高维特征, 然后使用对称聚合函数来提取最终的全局特征, 最后使用全连接层(Fully connected layer, FC)进行最终分类[3]. 然而在这种设计中, 每个点的特征都是独立学习的, 忽略了点与点之间的结构关系. 为此, PointNet++[10]把点云划分为多个局部, 在每个局部中使用PointNet提取局部特征, 然后对提取到的局部特征进行局部划分并使用PointNet, 通过多次叠加, 最终获取全局特征. PointNet++ 在一定程度上解决了PointNet缺少局部特征的问题, 但这种方法只是简单地划分局部, 并没有进一步说明局部点之间的关系. 谱图卷积(Spectral graph convolution, Spec-GCN)[11]使用递归聚类和池化策略替换标准的最大池化过程, 用于聚合来自其谱坐标中彼此接近的节点簇内信息, 从而产生更丰富的整体特征描述符. 但这种方法需要将三维点坐标转换到谱坐标中, 增大了网络的复杂度. 动态图卷积神经网络(Dynamic graph convolutional neural network, DGCNN)[12]是一种边缘卷积方法, 通过与近邻点构建局部图结构, 然后使用共享的MLP层, 对图的每一个边缘进行卷积获取邻边特征, 最后使用最大池化方式对每一个邻边特征进行聚合, 获取局部特征, 并在网络的每一层后进行动态更新. 这种方法增强了局部结构中点与点之间的关联, 但由于点云并不是均匀分布的, 近邻点对于中心点的影响也是不同的, 而边缘卷积平等地处理每一个邻边, 这种提取方式是不准确的. RSCNN (Relation-shape convolutional neural network)[13]通过从三维点云之间的几何关系, 学习隐含的形状信息, 从而构建局部. 这种利用局部结构三维几何特征的方法可以方便地提取低维特征, 但对高维特征的提取有局限性.

近年来, 注意力网络在神经网络学习领域已成为一个重要概念, 并在不同领域有着广泛应用. 注意力机制通过加权方式来提高有用信息, 抑制无用信息. 在点云分析上注意力网络也有了一些应用. 例如图注意力卷积网络可以根据动态学习的特征, 有选择地关注其中最相关部分[14]. 基于点网络的图卷积[15]通过学习每个点的注意力特征, 然后利用多头机制获取特征, 最后利用注意力池化层来捕捉重要信号. 点云变压器(Point cloud transformer, PCT)[16]网络的主要思想是通过使用Transformer固有的顺序不变性避免定义点云数据的顺序和通过注意力机制进行特征学习. 但是, 相较于卷积神经网络, 注意力模块有更多的参数, 大量使用注意力模块会使整体网络的训练难度增加.

为了更好地应对不规则点云带来的问题和现有网络存在的问题, 本文提出基于特征关系的神经网络(Network based on relationships between features, RFNet). 在构建点云局部结构上, RFNet使用基于特征关系的卷积(Convolution based on relationships between features, RFConv)方法, 来增强局部结构中近邻点特征与中心点特征之间的联系. 首先, 通过描述局部结构中近邻点与中心点之间的多种关系学习近邻点权重; 然后, 将加权后的近邻点与中心点进行组合构成局部; 最后, 再对组合后的局部进行学习聚合为高维的局部特征. 另外, 本文针对对称函数和联合损失函数(Joint loss function, JL)提出改进方法. 在现有的网络中, 对称函数多是使用最大池化和平均池化这样硬性的聚合高维特征方法, 会导致信息的损失, 为此, 本文基于注意力思想, 提出加权平均池化(Weighted average pooling, WAP). 另外, 本文利用交叉熵损失函数和中心损失函数的互补优势, 组成联合损失函数, 在增大类间距离的同时, 减小类内距离, 从而增强网络的分类性能[17].本文主要贡献如下:

1)提出一个全新的CNN模块, 可以有效聚合点云局部和全局特征;

2)引入联合损失函数, 在减小点云类内距离的同时, 增大点云类间距离, 增强网络分类性能;

3)在合成数据集和真实世界数据集上的实验结果表明, 本文网络与现有网络相比, 有着更为明显的优势.

图 1  整体网络结构图

图 2  中心点和近邻点的局部结构图

图 3  局部特征提取结构图

本文提出一种用于点云分类的卷积神经网络. 首先, 该网络通过卷积模块提取近邻点与中心点之间的局部特征; 然后, 通过使用加权平均池化, 从冗余的高维特征中聚合全局特征; 最后, 使用联合损失函数增强整体网络的分类能力. 从合成数据集和真实世界数据集上的实验结果可以看出, 该网络比现有网络更具优势. 同时, 本文还进行了消融实验、采样密度的鲁棒性实验、高斯噪声鲁棒性实验和网络复杂度实验, 实验结果验证了本文网络模块的有效性和整体网络的稳定性.本文提出一种用于点云分类的卷积神经网络. 首先, 该网络通过卷积模块提取近邻点与中心点之间的局部特征; 然后, 通过使用加权平均池化, 从冗余的高维特征中聚合全局特征; 最后, 使用联合损失函数增强整体网络的分类能力. 从合成数据集和真实世界数据集上的实验结果可以看出, 该网络比现有网络更具优势. 同时, 本文还进行了消融实验、采样密度的鲁棒性实验、高斯噪声鲁棒性实验和网络复杂度实验, 实验结果验证了本文网络模块的有效性和整体网络的稳定性.

作者简介

单铉洋

安徽大学电气工程与自动化学院硕士研究生. 主要研究方向为模式识别, 计算机视觉和深度学习. E-mail: shanxy128@163.com

孙战里

安徽大学人工智能学院教授. 主要研究方向为模式识别, 机器学习和图像信号处理. 本文通信作者. E-mail: zhlsun2006@126.com

曾志刚

华中科技大学人工智能与自动化学院教授. 主要研究方向为神经网络, 智能计算和模式识别. E-mail: zgzeng@hust.edu.cn