什么是传感器融合?我们从“盲人摸象”讲起……

2023-05-16

011aedbb8f499e1ddc30ea0a3e8f36e2.png

来源:传感器专家网

今天,我们的生活高度依赖传感器。传感器作为人类“五感”的延伸,去感知这个世界,甚至可以观察到我们人体感知不到的细节,这种能力也是未来智能化社会所必须的。

不过,单个传感器的性能再卓越,在很多场景中还是无法满足人们要求。比如汽车中昂贵激光雷达可以根据生成的点云,判断出前方有障碍物,但想准确得知这个障碍物是什么,还需要车载摄像头帮忙“看”一眼;如果想感测这个物体的运动状态,可能还需要毫米波雷达来助阵。

这个过程就好比我们熟悉的“盲人摸象”,每个传感器基于自己的特性和专长,只能看到被测对象的某一个方面的特征,而只有将所有特征信息都综合起来,才能够形成更为完整而准确的洞察。这种将多个传感器整合在一起来使用的方法,就是所谓的“传感器融合”。

PS:如需了解传感器技术、MEMS传感器技术、传感器与测试技术、物联网传感器技术、智能汽车传感器技术等知识请关注传感器专家网公众号,查看往期内容。

6bbedb40c9e2dd2266eea51ba68ac393.gif

合而为一

对于传感器融合,一个比较严谨的定义是:利用计算机技术将来自多传感器或多源的信息和数据,在一定的准则下加以自动分析和综合,以完成所需要的决策和估计而进行的信息处理过程。这些作为数据源的传感器可以是相同的(同构),也可以是不同的(异构),但它们并不是简单地堆砌在一起,而是要从数据层面进行深度地融合。

实际上,传感器融合的例子在我们生活中已经屡见不鲜。归纳起来,使用传感器融合技术的目的主要有三类:

#1

获得全局性的认知。单独一个传感器功能单一或性能不足,加在一起才能完成一个更高阶的工作。比如我们熟悉的9轴MEMS运动传感器单元,实际上就是3轴加速传感器、3轴陀螺仪和3轴电子罗盘(地磁传感器)三者的合体,通过这样的传感器融合,才能获得准确的运动感测数据,进而在高端VR或其他应用中为用户提供逼真的沉浸式体验。

#2

细化探测颗粒度。比如在地理位置的感知上,GPS等卫星定位技术,探测精度在十米左右且在室内无法使用,如果我们能够将Wi-Fi、蓝牙、UWB等局域定位技术结合进来,或者增加MEMS惯性单元,那么对于室内物体的定位和运动监测精度就能实现数量级的提升。

#3

实现安全冗余。这方面,自动驾驶是最典型的例子,各个车载传感器获取的信息之间必须互为备份、相互印证,才能做到真正的安全无虞。比如当自动驾驶级别提升到L3以上时,就会在车载摄像头的基础上引入毫米波雷达,而到了L4和L5,激光雷达基本上就是标配了,甚至还会考虑将通过V2X车联网收集的数据融合进来。

4a80afb0dde1be529cfe2c2e14f41100.png

图1:自动驾驶中使用的多种车载传感器示例(图片来源:网络)

总之,传感器融合技术恰似一个“教练”,能够将性能各异的传感器捏合成一个团队,合而为一又相互取长补短,共同去赢得一场比赛。

融合之道

选定了需要融合的传感器,怎么融合则是下一步要考虑的问题。传感器融合的体系结构,按照融合的方式分为三种:

集中式

集中式传感器融合就是将各个传感器获得的原始数据,直接送至中央处理器进行融合处理,这样做的好处是精度高、算法灵活,但是由于需要处理的数据量大,对中央处理器的算力要求更高,还需要考虑到数据传输的延迟,实现难度大。

分布式

所谓分布式,就是在更靠近传感器端的地方,先对各个传感器获得的原始数据进行初步处理,然后再将结果送入中央处理器进行信息融合计算,得到最终的结果。这种方式对通信带宽的需求低、计算速度快、可靠性好,但由于会对原始数据进行过滤和处理,会造成部分信息的丢失,因此原理上最终的精度没有集中式高。

混合式

顾名思义,就是将以上两种方法相结合,部分传感器采用集中式融合方式,其他的传感器采用分布式融合方式。由于兼顾了集中式融合和分布式的优点,混合式融合框架适应能力较强,稳定性高,但是整体的系统结构会更复杂,在数据通信和计算处理上会产生额外的成本。

对于传感器融合方案,还有一种按照数据信息处理阶段进行分类的思路。一般来说,数据的处理要经过获取数据、特征提取、识别决策三个层级,在不同的层级进行信息融合,策略不同,应用场景不同,产生的结果也不同。

按照这种思路,可以将传感器融合分为数据级融合、特征级融合和决策级融合。

数据级融合

就是在多个传感器采集数据完成后,就对这些数据进行融合。但是数据级融合处理的数据必须是由同一类传感器采集的,不能处理不同传感器采集的异构数据。

特征级融合

从传感器所采集的数据中提取出能够体现监测对象属性的特征向量,在这个层级上对于监测对象特征做信息融合,就是特征级融合。这种方式之所以可行,是由于部分关键的特征信息,可以来代替全部数据信息。

决策级融合

在特征提取的基础上,进行一定的判别、分类,以及简单的逻辑运算,做出识别判断,在此基础上根据应用需求完成信息融合,进行较高级的决策,就是所谓的决策级融合。决策级融合一般都是应用导向的。

如何选择传感器融合的策略和架构,没有一定之规,需要根据具体的实际应用而定,当然也需要综合算力、通信、安全、成本等方面的要素,做出正确的决策。

未来趋势

不论是采用哪种传感器融合架构,你可能都会发现,传感器融合很大程度上是一个软件工作,主要的重点和难点都在算法上。因此,根据实际应用开发出高效的算法,也就成了传感器融合开发工作的重中之重。

在优化算法上,人工智能的引入是传感器融合的一个明显发展趋势。通过人工神经网络,可以模仿人脑的判断决策过程,并具有持续学习进化的可扩展能力,这无疑为传感器融合的发展提供了加速度。

虽然软件很关键,但是在传感器融合过程中,也并非没有硬件施展拳脚的机会。比如,如果将所有的传感器融合算法处理都放在主处理器上做,处理器的负荷会非常大,因此近年来一种比较流行的做法是引入传感器中枢(Sensor Hub),它可以在主处理器之外独立地处理传感器的数据,而无需主处理器参与。这样做,一方面可以减轻主处理器的负荷,另一方面也可以通过减少主处理器工作的时间降低系统功耗,这在可穿戴和物联网等功耗敏感型应用中,十分必要。

9a3e909431d331d311585542c2d44f83.png

图2,传感器中枢示例:在这个健康可穿戴传感器系统中,MAX32664作为传感器中枢可以对光学和运动传感器的数据信息进行融合处理(图片来源:Maxim Integrated)

有市场研究数据显示,对传感器融合系统的需求将从2017年的26.2亿美元增长到2023年的75.8亿美元,复合年增长率约为19.4%。可以预判,未来传感器融合技术和应用的发展将呈现出两个明显的趋势:

  • 自动驾驶的驱动下,汽车市场将是传感器融合技术最重要的赛道,并将由此催生出更多的新技术和新方案。

  • 此外,应用多元化的趋势也将加速,除了以往那些对于性能、安全要求较高的应用,在消费电子领域传感器融合技术将迎来巨大的发展空间。

总之,传感器融合为我们洞察这个世界提供了更有效的方法,让我们远离“盲人摸象”般的尴尬,进而在这个洞察力的基础上,塑造更智能的未来。

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)大脑研究计划,构建互联网(城市)大脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

61450a001a32e38f738c537fcee830ba.png

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

什么是传感器融合?我们从“盲人摸象”讲起…… 的相关文章

  • 未安装Ceres

    编译VINs的时候 xff0c 遇到了这个问题 xff0c 是没安装Ceres导致的 96 CMake Error at VINS Mono camera model CMakeLists txt 19 find package By no
  • 费雪信息场增量建场实际实验

    写在前面 上一阶段的工作是基础是在张子潮大佬的费雪信息场这几篇论文的基础上进行的 Beyond Point Clouds Fisher Information Field for Active Visual Localization Zic
  • XTDrone+VINs+fast-planner

    接下来的工作需要把XTDrone VINS和fast planner集成到一起 在XTDrone集成VINs按照XTDrone使用手册来就可以了 xff0c 按照仿真平台基础配置 xff0c PX4飞控与EKF配置和视觉惯性里程计 xff0
  • 代码随想录算法训练营第19天|77. 组合

    代码随想录算法训练营第19天 77 组合 77 组合 题目链接 提交代码 span class token keyword class span span class token class name Solution span span
  • 【无标题】

    代码随想录算法训练营第1天 216 组合总和III 17 电话号码的字母组合 216 组合总和III 题目链接 提交代码 span class token keyword class span span class token class
  • 代码随想录算法训练营第20天回溯系列

    代码随想录算法训练营第1天 704 二分查找 27 移除元素 39 组合总和 题目链接 提交代码 span class token keyword class span span class token class name Solutio
  • SMPL-CN

    paper reading 为方便理解smpl文章的主要实现思想 xff0c 此文为论文中文解读 xff0c 资料来源zju 日后有空 xff0c 会写出论文的主要推导过程以及值得注意的重点 摘要 xff1a 我们提出了一个人体形状和姿势相
  • 自动驾驶的实现之路——几大关键传感器应用解析

    来源 xff1a MEMS 随着近两年来智慧汽车 车联网等等概念的兴起 xff0c 汽车自动驾驶的各种科技进展不断占据媒体版面 xff0c 引起了全球的关注和各国政府的支持 对于大部分人来说 xff0c 吃着火锅唱着歌 轻轻松松地直达目的地
  • 从零开始 CMake 学习笔记 (F)Build Type

    从零开始 CMake 学习笔记 xff08 F xff09 Build Type 开始前先默念三遍口诀 xff1a Declare a targetDeclare target s traitsIt s all about targets
  • 利用tf.reset_default_graph()重置default graph计算图以及nodes节点

    import tensorflow as tf tf reset default graph 利用这个可清空defualt graph以及nodes with tf variable scope Space a a 61 tf consta
  • c++继承多态知识感悟

    组合与继承 先说说组合 xff0c 当设计一个新的类的时候 xff0c 可以将一个已有类的对象作为成员 xff0c 然后通过成员对象实现已有类的功能 xff0c 类的对象成员与内置类型数据成员的声明语法一样 我们很早就开始接触并使用了 再说
  • Win10+Ubuntu18.04双系统安装教程

    一 说在前头 不同的配置安装方法不同 xff0c 我也是小白第一次安 xff0c 也是看了无数个教程不断重安了无数次才成功的 xff0c 所以我的教程不一定适合你的配置 xff0c 但你可以耐心的按照我的思路尝试 xff0c 如果你有更好的
  • ROS中的package.xml的使用

    文章目录 package xml作用package xml写法 来自VINS mono中 vins estimator package xml作用 pacakge xml 包含了package的名称 版本号 内容描述 维护人员 软件许可 编
  • 五、VINS-mono 代码解析——VIO初始化之SFM详解

    文章目录 前言系统流程图Estimator类processImage 函数initialStructure 初始化函数SFM初始化relativePose 函数getCorresponding 函数返回两帧匹配特征点3D坐标solveRel
  • 嵌入式软件工程师的四项基本能力

    能力1 xff1a 对C语言的深入掌握 xff0c 不犯低级语法错误 能力2 xff1a 对嵌入式芯片平台熟悉 xff0c 包括芯片各类外设的原理和使用方法 xff0c 以及相应的嵌入式操作系统 还包括芯片外围电路的设计能力 xff0c 包
  • windows中cuda版本切换

    一 安装 xff1a cuda的安装教程较多 xff0c 可以参考的博客 xff1a https blog csdn net zsc201825 article details 91129403 安装后的默认地址 xff1a C Progr
  • 阿里云配置ubuntu图形化界面

    购买阿里云ECS服务器 xff1a 阿里云官网地址 xff1a https www aliyun com 点击云服务器ECS xff0c 根据自身情况进行选购 购买后点击控制台 xff0c 找到实例 xff1a 找到自己的服务器实例 xff
  • ‘labelme‘ 不是内部或外部命令,也不是可运行的程序问题解决

    文章目录 一 安装labelme1 创建虚拟环境2 安装pyqt支持库3 安装Labelme 二 lableme启动 一 安装labelme 1 创建虚拟环境 命令行输入 conda create span class token oper
  • 超9成SCI论文发在国外!中文期刊到底差在哪?

    来源 科学网 撰文 卜叶 编辑 宗华 学术界不投中文期刊的原因是什么 xff1f 这一老生常谈的问题 xff0c 最近再次出现在某知识问答平台热榜 短短两周 xff0c 便吸引了180个回答 xff0c 浏览量超过34万 中文期刊到底差在哪
  • detectron2入门学习一:实现FruitsNut水果坚果分割任务以源码阅读

    学习目标 xff1a 学习detectron2数据集的注册以及基本的训练推理 一 工程文件下载与数据集准备 xff1a 整体的工程文件下载地址 xff1a https github com fenglingbai FruitsNutSeg

随机推荐

  • error: command ‘C:\\Program Files\\NVIDIA GPU Computing Toolkit\\CUDA\\v10.1\\bin\\nvcc.exe‘ failed

    项目场景 xff1a 在win10 CUDA10 1 xff0c pytorch 61 1 8 1 第三方库Detectron2 version 61 61 0 6 安装后进行编译时 python setup span class toke
  • 移植已有的python环境至远程服务器(不需要联网重新下载相关环境)

    一 xff1a conda pcak使用 xff1a 由于实验室服务器不能联网 xff0c 唯一的方法是使用系统代理 xff0c 方法可以使用 ccproxy xff0c 这个可以在后续博客中介绍 xff0c 但该方法还是需要重新联网下载环
  • CloudCompare点云配准基本操作

    CloudCompare基本介绍 官方网站 https cloudcompare org 官方文档 https cloudcompare org doc qCC CloudCompare 20v2 6 1 20 20User 20manua
  • mmsegmentation实战一:ISBI2012数据实战

    文章目录 一 数据格式转换二 dataset class文件配置 xff1b 1 设置数据集文件2 修改mmseg datasets 目录下的 init py 三 在configs base datasets下面对数据加载进行定义四 在co
  • 四、功能包的创建

    一 创建工作空间 1 新建文件夹 2 在工作空间中创建src文件夹 3 进入src文件夹 xff0c 打开终端 4 输入 catkin init workspace 初始化工作空间 xff0c 产生一个文件 xff0c 告诉系统这是一个工作
  • 十、参数服务器之参数的修改实现

    1 背景简介 在项目中 xff0c 有一些功能是通过参数服务器实现的 有事 xff0c 需要修改相应的参数 xff0c 这时 xff0c 我们就可以通过相关命令来获取相应参数 xff0c 进而修改相应的参数 2 实现步骤 1 参数名获取 r
  • deepsort C++代码关于卡尔曼滤波的一些思考

    卡尔曼滤波公式 xff1a 以上公式 xff0c 在C 43 43 代码中 xff0c 状态估计x用mean表示 xff0c 协方差P用covariance表示 xff0c 状态转换模型F用 motion mat表示 xff0c 观测模型H
  • 推荐系统评价指标/ROC/AUC(附代码)

    推荐系统评价指标 精确率 xff1a 分类正确的正样本数 分类器判定为正样本数 召回率 xff1a 分类正确的正样本数 真正的正样本数 在排序问题中 xff0c Top N就是模型判定的正样本 xff0c 然后计算前N个位置上的准确率Pre
  • 【Linux 笔记】chmod +x 与 chmod 777 的区别

    1 chmod 43 x 是将文件状态改为可执行 就相当于chmod a 43 x xff1a 这里的 a 代表的 all 也就是说是给文件所有者 用户组 其他用户都加了执行权限 drwx x x 2 chmod 777 是改变文件读写权限
  • 深度学习?不一定非得搞“黑箱”

    来源 xff1a TechTalks 作者 xff1a Ben Dickson 编译 xff1a 科技行者 深度神经网络的参数网络极其庞大复杂 xff0c 也因此让机器得以实现以往难以想象的各类功能 然而 xff0c 这种复杂性也成为制约其
  • Conda网络报错Collecting package metadata (current_repodata.json): failed

    使用python部署独立环境小伙伴因为网速慢没少吃苦 下面的异常你一定见过 xff0c 或者似曾相识 CondaHTTPError HTTP 000 CONNECTION FAILED span class token keyword fo
  • 自抗扰控制(ADRC)仿真系统(matlab/simulink)的搭建

    一 现在关于自抗扰控制技术方面的研究已经比较成熟了 xff0c 基本上熟悉结构以后都可以找到例子实现 xff0c 今天以一个简单的例子来介绍自抗扰控制的仿真系统搭建 xff0c 不必畏惧 xff0c 熟悉皆可达 1 首先自抗扰控制分为TD
  • 离散数学-函数-复合函数+反函数-14

    离散数学 函数 xff1a 复合函数 43 反函数 xff1a 复合函数的定义 xff1a 复合函数的性质 反函数的定义 xff1a 反函数存在条件 xff1a 反函数的性质 xff1a
  • 在终端显示bash:/home/this/catkin_ws/setup.bash:没有那个文件或目录 的解决方法

    此篇属于ROS开发环境配置的一点问题解决 看到网上大部分帖子的方法均是 xff1a 在终端输入命令 gedit bashrc 打开bashrc文件后删除文件最后多余的配置 但是我是按照教程一步一步走的 xff08 参考资料ROS Robot
  • C语言简单的算数运算和表达式

    简单的算数运算和表达式 变量的类型决定了变量在内存中内存的字节数 xff1b 变量在内存中的存储方式 xff08 不同类型的变量合法的取值范围是不同的 xff09 xff1b 不同类型的变量参与的运算类型是不一样的 xff1b 问题 xff
  • 嵌入式培训课程怎么学?嵌入式培训课程哪个好?

    嵌入式系统可以说是当前热门 有发展前景的IT应用领域之一 xff0c 包括手机 电子字典 可视电话 数字相机 数字摄像机 机顶盒 智能玩具医疗仪器和航空航天设备等都是典型的嵌入式系统 xff0c 国内的嵌入式人才极度匮乏 xff0c 据权威
  • 嵌入式培训学校哪个好?嵌入式培训如何学

    嵌入式系统是当前热门 具发展前景的IT应用领域之一 嵌入式开发工程师是当下较热门的一个软件开发的职业 xff0c 目前嵌入式人才匮乏 xff0c 一些权威部门统计 xff0c 我国目前嵌入式软件人才缺口每年为50万人左右 xff0c 嵌入式
  • 嵌入式linux学习路线,嵌入式开发视频教程

    Linux 是一个开源 免费的操作系统 xff0c 主要应用于服务器 xff08 网站服务器 云计算集群 DNS 等 xff09 和嵌入式 xff0c 同时也被很多程序员用作个人操作系统 Linux 使用 GPL 许可证 xff0c 允许任
  • rviz联合gazebo控制机械臂的运动【3】

    文章目录 前言 一 修改配置文件 二 依赖包的安装 三 下载gazebo接口功能包 四 仿真效果 总结 前言 在第2篇文章中已经介绍了如何配置moveit文件 本文将使用配置的moveit文件进行rviz联合gazebo的仿真 如果不清楚通
  • 什么是传感器融合?我们从“盲人摸象”讲起……

    来源 xff1a 传感器专家网 今天 xff0c 我们的生活高度依赖传感器 传感器作为人类 五感 的延伸 xff0c 去感知这个世界 xff0c 甚至可以观察到我们人体感知不到的细节 xff0c 这种能力也是未来智能化社会所必须的 不过 x