一篇比较全面的slam博客
一、VR+AR
1、VR和AR的关系
AR、MR是平台，覆盖面比VR更广，VR是一种媒体形式，任何用得到媒体的场景，如娱乐、教育等，都会有VR的影子。
2、VR、AR和slam的关系
VR\AR和slam的结合，主要是需要slam进行投影定位，让他们不会发生不必要的晃动，更进一步，需要在现实生活中实现叠加定位，比如藏在真实的桌子后面， 才能更有真实感，也才能让看的人不出戏。
3、目前的发展应用
SLAM目前最先进的开源方案，feature-based 的ORBSLAM作者Raul Mur-Artal，还是直接法DSO作者Jakob Engel以及其他一些SLAM方向重要实验室的毕业生很多都选择了加入facebook 的reality lab 从事oculus VR 设备的研发，间接看出目前VSLAM最适合的应用场景是VR/AR。
VR
- 贝壳 | 如视
100平米，从数据采集（专业设备）到上传云服务器进行三维重建90分钟。 - 58同城+安居客 | 临感
采用的双目立体视觉系统和激光点云技术。一般设备采集10分钟，自动识别墙角，按序列连接墙角，400+层神经网络训练。
目前用户体验安居客 > 贝壳，在3D建模上，前者切换更顺滑。
AR
- 虚拟展示
- 宜家和苹果合作，把虚拟的家具放在家里的某个位置上看效果，随着镜头的移动可以保持家具的相对位置不变。
- 京东和华为合作尝试实景购物，模拟冰箱、洗衣机等电器。
比如：看到洗衣机内部清晰的构造。打开冰箱，里面的食物热量、保质期等详细信息介绍以实体图像显示在眼前。 - 车展（还未普遍）、 舞台（最近几年晚会经常出现的虚拟动漫人物和歌手一起表演）
- 虚拟试装
- 换衣需要物体三维重建，（检测运动速度，呈现裙子旋转效果）。
- 换发型、化妆等（口红一哥李佳琦给嘴唇买保险，淘宝已存在一部分化妆品可进行虚拟试装）。
- 室外导航
- 商汤、OPPO、高德地图合作推出AR步行导航，递增地创建周围环境的地图，同时利用创建的地图实现自主定位。用户只需看着屏幕中的虚拟形象，不必进一步翻译地图，
- 商汤senseAR生态圈
- 手机端：室外步行导航、特效拍照
- 文娱：通过视觉+表情识别，渲染娱乐效果（主要用于小视频、综艺）
二、语义和slam
1、语义帮助slam
有物体识别的语义信息，构建带有标签的地图，可为回环检测、BA优化带来便利。
BA(bundle adjustment)指的是同时调整相机姿态和特征点位置，以便从每个特征点反射出的光线(bundles of light rays)，通过调整(adjustment)最后都能通过相机光心。故也有人翻译为光束平差法。BA通常构建为一个最小二乘问题，通过使重投影误差最小化来同时调整相机的位姿和特征点的坐标。
- 语义信息用于特征选择，提升置信度
利用语义分割结果对显著性图进行filter，即重新调整每个像素点的显著性得分，目的是降低无信息区域的显著性得分，例如墙，天花板和地板等，帮助识别弱纹理。 - 用于动态slam，根据静态点进行跟踪
通过目标检测去除动态点，但是为了使得目标检测线程和slam线程同步，无需对每一帧进行检测，只在关键帧进行检测，然后通过特征匹配和扩展影响区域的形式进行运动概率的传播，然后在slam过程中去除动态点的影响，只利用静态点进行跟踪。 - 语义SLAM/语义地图，研究现状不太好，待研究的点有很多
最简单的方式就是分两步，先语义分割，然后加上slam层，也就是概率加持，代码已开源。
2、slam帮助语义
- 引入先验信息，比如用CRF对地图做一下diffusion，进一步提升准确率。
- 帮助采集数据
根据位置，角度生成精确的标注样本数据，训练多角度实体分类模型，帮助标注人员节省时间。
以上两条主要参考《视觉slam十四讲》2017年高翔著
补充：也来谈语义SLAM/语义地图-高翔2019年知乎文章-科研为主
语义slam定义：从图像到Pose端到端的VO、从分割结果建标记点云、场景识别、CNN提特征、CNN做回环、带语义标记误差的BA等都可以叫语义SLAM。但是从实用层面考虑，最关键的一点是：用神经网络帮助SLAM提路标。
传统slam的做法：直接的在整个图片上用角点和边缘，也是因为现在只有角点和边缘可用。
退而求其次：用现有的检测和分割来帮忙提路标。先目标检测，然后提角点。
- 物体地图，以物体实例作为路标的地图。
室内地图，提取物体，用物体充当SLAM中的路标的功能。 - 拓扑地图，以路径点作为节点的拓扑图，可以端到端地训练图像到路径点的映射？
三、主slam定位：GPS 失效的大型室内场所定位
定位导航：机场、商场等大型室内公共场所，GPS失效的情况下，可以防孩子走丢；商场导购或者商场内店家定位；
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
