语义信息用于闭环检测

（一）SLAM闭环检测方法

• 传统特征点方法：

利用SIFT 等视觉特征进行对比闭环检测。受环境影响较大，往往会产生假阳性检测，且计算量大、效率低,在实际应用上存在较大的阻碍.

• 深层特征方法：

深度学习与 SLAM相结合,利用深层网络提取更加鲁棒的图像特征,提高闭环检测的可靠性和准确率.

1. Gao 等 [8] 利用常规的图像特征选取图像块,再采用堆叠式去噪自编码器(SDA)进行深层特征提取,其闭环检测的效果优于传统的 FAB-MAP(fast appearance basedmapping) [9] 方法.
2. Cascianelli 等 [10] 利用 Edge Box-es [11] 分割算法划分图像,在图像块中利用训练好的深层网络进行特征提取,从而实现“半语义”闭环检测.
3. 其主要思路都是利用提前训练好的网络对图像特征进行提取.与传统视觉特征相比,深层特征在闭环检测中的表现更佳,是获得广泛认可的闭环检测手段之一.
4. 深层特征的一项缺点是计算量较大,对计算设备的要求较高,而且难以构建合适的模型来存储维数较高的特征向量.

• 语义方法：

上一方法虽然用了神经网络但是也还是基于几何信息。与单纯依赖几何信息的方式相比,将语义信息引入闭环检测,可以产生更具辨识度的判别依据,有利于形成更准确的闭环检测.同时,与视觉特征和深层特征相比,利用语义信息对环境进行描述,可以有效简化环境信息的保存和对比的过程。目前语义信息主要通过目标检测和语义分割来提取。

1. 目标检测优秀方案：Faster R-CNN(faster region-based convolutional neural net-work) [16] 、YOLO(you look only once) [17-18] 、SSD(single shot multibox detector) [19] 等
2. Bowman等 [20] 利用 DPM(deformable parts model)目标检测算法 [21] 获取关键物体的语义信息,将视觉特征、惯性信息和语义信息共同作为隐变量,利用 EM(expectation maximization)算法实现语义估计的概率更新,同时使用语义信息进行辅助性的闭环检测,实现了鲁棒的稀疏语义建图.
3. Mu 等 [22] 基于Faster R-CNN 算法 [16] 进行目标检测,并在相机运动的过程中,利用目标检测结果对分类信息进行约束,实现了闭环检测,在一定程度上消除了轨迹误差.
4. Nicholson 等 [23] 改良了目标检测结果的框选,利用双重二次曲面进行目标的 3 维空间位置表达,能更好地反映出目标的大小、位置和方向.该研究同样采用了独立目标的语义信息作为闭环检测的判据,其中的语义信息提供了比仅包含类别的语义信息更为丰富的判别依据,取得了较好的效果
5. 点云匹配方法：闭环检测主要研究局部场景,可以对局部场景中的典型地标构建子图,通过分析子图进行闭环的判断.将语义信息融入子图,可以形成更加鲁棒的闭环判据。
6. Bernuy 等 [27] 将语义信息与局部场景子图相结合,通过对当前帧进行语义分割,构建语义信息之间的拓扑关系,形成面向单一场景的语义拓扑图,解决大规模户外环境的语义建图问题.

（二）本文方法

• 结构及创新点

1. 对 RGB-D 传感器获取的环境图像，利用 YOLOv3 目标检测算法 [17] 检测环境中的典型目标；
2. 将检测结果复原到空间之中,
3. 引入 DBSCAN 密度聚类算法 [28] 对目标检测结果进行处理,构建了目标检测结果置信度评分的有效机制,在尽可能保留全部检测结果的同时,有效地消除了错误检测和遗漏检测的影响;
4. 经过密度聚类之后构建目标之间的语义拓扑关系,构建空间中语义节点之间的联系,
5. 利用传统视觉特征辅助语义节点匹配,使用语义节点之间连线的变换关系描述关键帧的相似度,与传统视觉特征相比具有更强的辨识度;
6. 最后通过连续关键帧的相似度变化判断闭环.

•  语义节点构建

1. 目标检测结果的空间位置复原：对于某图像内的目标检测结果 s,该目标检测结果包含的信息为目标的编号、类别和检测框.根据目标检测框,又可以确定目标中心在图像中的位置 l = (x, y)，结合深度图获得检测结果的空间点；
2. 基于 DBSCAN 聚类的语义节点构建：多副图像检测结果中，利用 DBSCAN 密度聚类算法,根据环境范围的大小和目标之间的距离,选取距离阈值 ε 和最小聚类点数 P,并定义 在 聚 类 的 过 程 中, 能够成功聚类的同目标即为在不同图像中的同一目标；
3. 局部语义拓扑图的构建：局部语义拓扑图是对单一关键帧 F 中语义节点之间相对位置关系的描述。用节点全连接向量来表示边。

• 相似度计算与闭环判断

1. 不同关键帧先用特征点匹配语义节点（SURF特征点）；
2. 相似度计算：计算各个对应边之间的缩放比例、旋转、平移的欧式范数，并设定阈值进行比较。
3. 连续关键帧相似度对比。