基于深度学习的机器人目标识别和跟踪

2023-05-16

如今,深度学习算法的发展越来越迅速,并且在图像处理以及目标对象识别方面已经得到了较为显著的突破,无论是对检测对象的类型判断,亦或者对检测对象所处方位的检测,深度学习算法都取得了远超过传统机器学习算法的准确率。当前,可以机器人技术分为以下两种学科的跨学科分支,即工程和科学。其包含计算机科学、机械工程、电子信息工程等。机器人的设计与制造和用于机器人的运动规划控制、传感器反馈和信息处理的技术系统在机器人邻域都有涉及。机器人视觉也是当下研究生的一个大热门,其包含机器人对目标环境对象的视觉信息处理以及图像方面的处理。从工程角度来说,他可以代替人的视觉系统,使得机器人可以代替人们取完成一些高危任务。

伴随着当前智能化社会的进步,其次,目前计算机视觉和机器人等人工智能化的前言技术发展得到了学术界和人们广泛的关注,并对我国工业领域以及社会生活产生了巨大的贡献。目前移动智能体的自主能力成为了当前一个主要热门的研究方向。移动智能体需要能实现完全自主的运动,还需要拥有对周边环境信息的感知能力、动态环境剖析能力以及对危险环境的判断和执行能力。相对人类的视觉来说,目前移动智能体的视觉判断速度相对较慢,精确度也不高,智能体可能无法在短时间内做出较为精准的判断。在平时生活中,人们可以从自己的所见的景象、视频中,获取目标物体的大致信息,如物体的位置和它们的外型、大小等。这样能使得人类通过自己的视觉显示,反馈给自己的大脑,并快速识别锁定所需要关注的目标,不需要过多的下意识的思考。例如,在驾驶汽车行驶时,我们必须做到及时的对前方以及两侧路段进行判断。因此当下针对智能体来,拥有一定的自主能力,且具有速度快、精确度较高的多目标识别算法是十分重要的,一个好的算法能提高智能体的自主能动性,精确感知周边环境,并结合传感器做出及时、准确的判断,所以,当前针对自主移动智能体的开发,其实时性和准确性也就成为了尤为重要的指标。

智能体对目标识别和跟踪在工业生产、侦察安全防控以及人们生活中都拥有者广泛的应用前景,其也是机器人领域的重要研究方向之一。当前,深度学习技术的飞速发展以及工业相机、激光雷达等传感技术不断提高,给目标识别奠定了良好的基础。本文基于深度学习方法研究了机器人的目标识别和跟踪进行了研究。

1  深度学习目标识别算法国内外研究现状

国内对目标识别技术的相关研究相对于西方一些国家起步较晚。上世纪八十年代,相关科研工作者提出将反向传播算法用于神经网络中,并首次提出了卷积神经网络的概念。

随着时代的进步发展, Krizhevsky 等人提出了基于深度学习的卷积神经网络目标识别算法,该算法在著名 ImageNet 数据集上的检测效果比第二名手工特征提取算法高了十几个百分比,在当时取得了最好的检测效果。深度学习也因为 ILSVC 赛事的推动下快速发展,通过赛事对目标识别加以一定的要求,使得大量学者开始使用当下较为热门的深度学习相关技术去对目标识别算法进行研究。

如今,全球有好多高校已经专门设立了人工智能与计算机视觉研究实验室。并成功开发出了许多运用目标识别算法的实用应用软件。此外,一些著名公司如微软、微软公司等,也开始投入大量资金和精力,进行智能识别的相关研究,使得目标识别算法逐步开始在工业生产中应用起来。

国内在目标识别技术和深度学习研究比国外起步较晚,但近些年发展的势头却很迅猛。近年来,在一大批优秀科研技术人员的努力下,取得了很多丰硕的成果。涌现出了一大批相关产业的科技公司,如大疆、科大讯飞等。

2   机器人视觉国内外研究现状

机器视觉技术的产生最早是在欧美及日本等国家,最早的一批较为有名的机器视觉相关产业公司也在这些国家,如光源供应商日本 Moritex、镜头厂家美国 Navitar、德国 Schneider等。不难发现,对于上个世纪欧美等较发达国家在该技术上有一个较为超前的地位。

一直到上世纪九十年代初,我国也开始涌现出不少与视觉技术相关的公司,其覆盖了很多工业及生活领域,如车牌自动识别、材料表面缺陷检测等。但是由于生产的产品本存在一定的问题且市场需求较小。一直到九八年开始,我国的机器视觉技术才得到了重视。进入新世纪以后,国内很多企业开始有针对性的针对当下需求来确定所需要的机器视觉技术方案,并自主研发相关科研技术。近年来,由于政府的大力支持引导,我国的机器视觉行业得到了空前的发展。

3   目标识别与跟踪技术的发展

1

 深度学习主流算法结构

1.1

卷积神经网络

在21世纪初期,卷积神经网络主要应用于任务分配以及视觉识别。图像分类是机器中类别的问题用以提取特征以及辨别图像。新型的CNN 神经网络架构表现出以多个网络或多种网络级联组合应用的新态势,神经网络形态的快速进化为纷繁复杂的科研领域提供了智能高效的数据分析手段。卷积神经网络(CNN) 算法是用于识别和分类图像等高维数据的新兴技术,具有相对较低的计算成本和较高的准确性。CNN 的隐藏层是卷积层和池化层。这些层可以提取图像的潜在特征,并通过训练映射输入图像和输出类别之间的函数关系。也就是说,这些层可以从人工分类中学习分类标准。

1.2

RBM (受限玻尔兹曼机)

在过去十年中,RBM 的理论和应用得到了广泛的研究。以图像处理为例,原来的 RBM 只适用于处理二值图像。为了处理真实图像,提出了一系列 RBM 变体,如高斯二进制 RBM(GRBM)、协方差 RBM(cRBM)、均值和协方差 RBM (mcRBM) 和尖峰板 RBM (ssRBM)。受限玻尔兹曼机 (RBM) 是具有二分交互作用的概率图模型,这些模型的一个特征是观察到的单位给定隐藏单元的状态,它们是独立的,反之亦然。这是由于交互图的二部性,并且不依赖于单元的状态空间。通常RBM 是用二进制单位定义的,但也考虑了其他类型的单位,包括连续、离散和混合类型单位。

1.3 

AE (自动编码器)

自编码器是一类人工神经网络,由编码器和解码器这两个主要组件组成。编码器是一组神经层,将其输入的原始维度限制为一个更小的维度,称为潜在空间。解码器是一组层,其目的是将潜在空间扩展回输入的原始维度。自动编码器通常使用反向传播算法进行训练,其中所需的输出与输入相同,这使其成为一种无监督学习方法。

1.4

RNN (循环神经网络)

循环神经网络(RNN) 对于处理数据的顺序性质至关重要,其中时间序列类型的数据就是一个典型示例。RNN 具有一种具有循环连接的神经元。这些连接用作内存,使 RNN 能够从顺序数据中学习时间动态性。目前,LSTM神经网络模型在人类活动识别方面表现出最先进的性能。

目标识别算法模型

Wenling Xue等学者为了减少不同天气条件的影响,提出了一种新方法GMM来模拟包含不同天气数据的目标。高斯分量密度的加权和可用于表示 GMM,GMM是参数概率密度函数。GMM可用于在不同天气条件下拟合目标的特性;功能数量越多,系统性能越高。为了估计GMM参数,使用训练有素的先前模型和训练数据。GMM是围绕用于检测的最佳似然比测试构建的,使用简单但有效的贝叶斯适应模型来推导天气影响。与SVM相比,GMM的识别率提高了。但存在着如何选择正确的阈值以及如何对背景噪声进行建模以提高识别率等问题。Fan Zhang等学者提出一种改进的YOLO深度学习模型,自动识别玉米叶片的气孔,并采用熵率超像素算法对气孔参数进行精确测量。根据气孔图像数据集的特点,对YOLOv5的网络结构进行了修改,在不影响识别性能的情况下,大大缩短了训练时间。优化YOLO深度学习模型中的预测因子,降低了误检率。同时,根据气孔物体的特点,对16倍和32倍的下采样层进行了简化,提高了识别效率。实验表明该方法快速可靠。Hui Zeng等学者对非结构化网络物理系统环境交际机器人多模态感知模型进行构建。改进的PSOBT-SVM 在不改变SVM分类器数量的情况下优化了分类精度,并证明了其在多模态触觉信号分类方面的准确性。

3

目标识别和跟踪技术

运动物体检测是识别给定区域或区域中物体的物理运动的任务。在过去的几年中,移动物体检测因其广泛的应用而受到广泛关注,如视频监控、人体运动分析、机器人导航、事件检测、异常检测、视频会议、交通分析和安全。此外,运动目标检测是计算机视觉和视频处理领域非常重要和有效的研究课题,因为它是视频目标分类和视频跟踪活动等许多复杂过程的关键步骤。因此,从给定的视频帧序列中识别移动对象的实际形状变得相关。然而,由于动态场景变化、光照变化、阴影的存在、伪装和引导问题等各种挑战,检测运动中物体的实际形状的任务变得很棘手。帧间差分法是检测运动物体最常用的方法,它分别找到当前帧和前一个连续帧以及当前帧和下一个连续帧之间的差异,然后,该算法选择两个不同帧之间的最大像素强度值,接下来,将得到的差异帧划分为不重叠的块,并计算每个块的强度总和和平均值,随后,它使用阈值和强度平均值找到每个块的前景和背景像素。

帧间差分方法的缺点是在目标细节识别中比较粗糙。传统的帧间差分方法对阈值的选择范围要求较高。如果阈值不合理,则检测效果不理想,轮廓不清晰、破损。然而,帧间差分算法相对简单、速度快、易于硬件实现,能够适应实时性要求高的应用环境。因此,该算法具有很强的实用性。

可以在帧间差分算法的基础上提出一种优化改进的目标检测与跟踪算法,构建两次区域限定与Kalman滤波算法融合的检测方法。该算法能够迅速、准确地提取目标区域,且对目标位置具有较高的可预测性。

4   基于深度学习的机器人目标识别和发展趋势

目标检测是计算机视觉、深度学习、人工智能等。它是更复杂的计算机视觉任务的重要前提,例如目标跟踪、事件检测、行为分析和场景语义理解。它旨在定位从图像中提取感兴趣目标,准确确定类别并给出每个目标的边界框目标。已广泛应用于汽车自动驾驶、视频图像检索、智能视频监控、医学图像分析、工业检测等领域。传统的人工提取特征检测算法主要包括预处理、窗口滑动、特征提取、特征选择、特征分类和后处理六个步骤,一般针对特的识别任务。它的缺点主要是数据量小,可移植性差,没有针对性,时间复杂度高,窗口冗余,对多样性没有鲁棒性变化,只有在特定的简单环境下才有良好的性能。目标检测作为计算机视觉中最基本和最具挑战性的问题之一近年来备受关注。基于深度学习的检测算法已被广泛应用在很多领域,但深度学习还有一些问题有待探索:

  1. 减少对数据的依赖。

  2. 实现小物体的高效检测。

  3. 多类别目标检测的实现。

现如今随着科学技术的进步,以前很多机器视觉领域的技术都得到了长足的发展,但是在某些方面还是存在着一定的不足。比如说机器人的目标识别方面:机器人在对物体进行识别时,大目标通常都能正常检测出来,但是对于小目标受限于目标大小和周围环境影响等等会出现漏检等情况。在目标跟踪方面

  1. 专门应用于目标跟踪任务的训练集较少,无法适应当前多变的跟踪环境,完成训练任务。

  2. 当前的训练模型受限于目标的遮挡、外观的强烈变化等等问题,使得算法无法实现长时间的精确跟踪。除此以外跟踪时,由于受到外界因素影响,可能会有一些相似对象,从而使得跟踪出现错误。

但是我相信经过人们对于机器视觉领域的不断研究,未来会有越来越多的基于深度学习的方法去优化目标跟踪任务中出现的一系列情况,比如说采用大规模视频数据的数据集进行离线训练等等,在目标识别领域未来也将会降低环境对检测的影响能更加精准的检测各种大小的目标,并且最终将两种技术更好的结合在一起应用到机器人技术应用的各个方面。

来源:www.chinaai.org.cn

关注微信公众号人工智能技术与咨询了解更多!

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

基于深度学习的机器人目标识别和跟踪 的相关文章

  • 提交代码前未拉取代码,导致冲突及解决办法

    前提 xff1a 和同事协作开发代码 xff0c 用git管理的项目 xff0c 在vscode可视化工具里面拉取项目代码 xff0c 没有反应 xff0c 然后在git里git pull xff0c 也没拉到远端的代码 xff0c 就提交
  • static 静态成员变量 静态成员函数 类中使用

    关于在类中使用static的一些情况 xff1a 静态成员函数和静态成员变量的调用格式 xff0c 尽量采用类名 成员的格式 xff0c 不要以对象来调用 1 static func静态成员函数 1 其地址可以直接由函数指针来存储 xff0
  • ucosii消息队列学习

    近期在学习ucosii的内容使用的平台为STM32F103C8T6最小系统板 今日关于消息队列的使用遇到了一些问题 基本情况 xff1a 移植代码为正点原子ucosiii消息队列 信号量集和软件定时器例程 主要新建两个任务post task
  • day41—编程题

    文章目录 1 第一题1 1题目1 2思路1 3解题 2 第二题2 1题目2 2思路2 3解题 1 第一题 1 1题目 描述 xff1a Emacs号称神的编辑器 xff0c 它自带了一个计算器 与其他计算器不同 xff0c 它是基于后缀表达
  • SLAM学习笔记

    编译环境参考之前的笔记 cmake文件 cmake minimum required VERSION 3 0 project odometry set CMAKE BUILD TYPE 34 Release 34 add definitio
  • eclipse配置Tomcat

    文章目录 前言一 预先工作1 Tomcat是什么 xff1f 2 Tomcat下载3 安装Eclipse for Java EE 二 在eclipse中配置Tomcat 前言 目前开始了j2ee的学习 xff0c 为了给以后的学习做准备 x
  • MATLAB学习笔记(一)上:MATLAB基础知识

    笔记配套课程 xff1a 科学计算与MATLAB语言 中国大学MOOC 慕课 icourse163 org PART ONE xff1a MATLAB系统环境 1 命令行窗口中 xff0c 如果一条命令很长 xff0c 我们可以分成两行来输
  • H3C路由器基本配置命令

    1 system view 进入系统视图 2 sysname R1 配置路由器名字为R1 3 display clock 查看当前系统时间 4 clock datetime 00 00 00 2 26 2023 用户模式下修改系统时间 配置
  • ubuntu18.04双系统卸载并重装

    卸载ubuntu18 04 原文档 xff08 稍作整理 xff0c 方便自己使用 xff09 下载diskgenius工具 xff1a diskgenius 删除Ubuntu系统使用的几个分区 xff08 包括EFI分区 xff09 xf
  • 安装zed-ros-wrapper 并解决一些报错

    创建工作空间 如果没有工作空间 xff0c 先根据如下命令建立工作空间 source opt ros melodic setup bash mkdir p catkin ws src cd catkin ws catkin make cat
  • rtabmap+orbslam2+D435i建图

    配置rtabmap 参考 xff1a rtabmap安装与使用 配置orbslam2参考 xff1a ubuntu18 04 安装orb slam2并结合ZED运行 建图参考 xff1a Rtabmap 43 ORB SLAM2 43 D4
  • matlab2018a帮助文档设置为中文

    版本 xff1a matlab2018a 1 主页 预设 2 帮助 文档位置 xff08 第二个 xff09 简体中文 应用 确定 3 结果展示
  • Vue2与Vue3的生命周期一览

    Vue2与Vue3的生命周期 生命周期前言介绍Vue2的生命周期钩子函数Vue3的生命周期钩子函数setup函数Vue3新增生命周期 生命周期 前言介绍 生命周期也称生命周期回调函数 生命周期函数 生命周期钩子 每个 Vue 组件实例在创建
  • FreeRTOS入门

    文章目录 一 FreeRTOS简介二 学习任务三 学习内容多任务程序实现1 相关文件2 头文件的添加3 路径添加4 修改主函数main c 中代码5 将程序烧录到stm32开发板中6 最终结果 四 参考资料 一 FreeRTOS简介 Fre
  • 嘉立创SMT贴片打板流程

    说明 xff1a 打板平台 嘉立创下单助手 使用嘉立创EDA画板可参考以下过程 使用AD画板 xff0c 不同点是 xff08 1 xff09 导出的文件是PCB源文件压缩包 43 BOM表 43 坐标文件 xff08 2 xff09 确保
  • Android Studio安装超详细步骤(包括SDK安装不成功,模拟器无法创建等问题)

    本文主要介绍CPU 为AMD锐龙 和英特尔 两种类型在安装中出现的一些问题 xff0c 两种解决的方案不同 xff0c 所以首先查看属于哪种 xff0c 然后找相对应的安装方法 Android Studio的安装需要准备两个安装文件 xff
  • HTML+CSS仿写京东页面附代码(web前端大作业)

    学习前端时间不多 xff0c 看了两晚上就开始赶实训作业 xff0c 大家看看就行 先来看看效果 xff1a lt DOCTYPE html gt lt html lang 61 34 en 34 gt lt head gt lt meta
  • DIY组装无人机电机+电调+电池+桨叶搭配知识

    以下内容转载至下网址 有一点点修改 DIY组装无人机电机 43 电调 43 电池 43 桨叶搭配知识 xff08 转贴 xff09 多旋翼 模吧 moz8 com https www moz8 com forum php mod 61 vi
  • (每日一练)MATLAB二维插值

    在前面介绍了学习MATLAB的一维插值方法 xff0c 今天来学习MATLAB二维插值方法 首先来看二维插值函数的使用格式 xff1a z1 61 interp2 x y z x1 y1 39 method 39 其中x y z分别是我们给
  • Ubuntu18.04安装D435iSDK和ROS Wapper

    实验室新到D435i深度相机 xff0c 我想来跑跑开源算法 xff0c 安装驱动各种帖子很多 xff0c 我把我看到两篇最有用的帖子整理一下 帖子连接放在文末 1 安装Intel RealSense SDK 2 0 参考 xff1a ht

随机推荐

  • 【Ros控制机械臂学习笔记】move_group C++interface接口学习

    在完成机器人URDF模型建立 xff0c 利用moveit setup assistant配置生成robot moveit config文件夹之后 xff0c 接下来就是要的学习方向有两个 一个是向下位机走 xff0c 即上图的右面 xff
  • MATLAB校准磁力计

    初识magcal函数 语法 A b expmfs 61 magcal D A b expmfs 61 magcal D fitkind 描述 A xff0c b xff0c expmfs 61 magcal xff08 D xff09 返回
  • C语言练习之路--函数篇

    目录 一 前言二 选择题三 编程题1 乘法口诀表2 交换两个整数3 函数判断闰年4 函数判断素数5 递归实现n的k次方6 计算一个数的每位之和 xff08 递归实现 xff09 7 strlen的模拟 xff08 递归实现 xff09 8
  • 使用VOFA调试PID算法

    1 选用FireWater模式 这个模式下才支持多通道数据 2 代码编写 我使用的是cubemx和keil xff08 1 先在cubemx里把串口打开 我用的是401 xff08 2 打开我的Keil继续 span class token
  • 基于 JSP+Mysql 学生成绩查询web系统

    文章目录 一 学习任务二 学习内容1 准备工作1 1 相关软件1 2 源代码 2 连接MySQL3 idea配置4 运行结果5 web访问 三 参考博客 一 学习任务 首先在Mysql中创建相应的学生成绩表 xff0c 然后基于 JSP 4
  • jquery获取指定元素的指定属性的值

    使用jquery获取指定元素的指定属性的值 xff1a 选择器 attr 34 属性名 34 gt 用来获取那些值不是true false的属性的值 选择器 prop 34 属性名 34 gt 用来获取值是true false的属性的值 例
  • Maven3.6.1下载安装基本使用 (初识)(自用)

    对MAVEN的粗浅认识 Apache Maven 是 项目管理与构建工具 基于POM xff08 项目对象模型 xff09 的概念 作用 提供了一套标准化的项目结构 粗浅理解就是 xff0c 通常eclipse xff0c idea等jav
  • VSCode代码格式化快捷键

    我们在编写代码和阅读别人代码的时候 xff0c 容易出现同级元素缩进没有对齐的情况 xff0c 我们需对代码进行格式化 xff0c 以方便自己和他人的阅读 在vscode中使用快捷键 Shift 43 Alt 43 F 使用示例 xff1a
  • for循环【C++】

    for循环 执行一个特定循环的控制结构 for 条件 条件判断 条件处理 执行体 xff1b 条件 条件判断和条件处理都不是必要的 xff0c 当三者都没有 xff0c 则相当于一个无限循环 条件不一定需要在括号内声明和初始化 xff0c
  • 基于深度强化学习的智能船舶航迹跟踪控制

    基于深度强化学习的智能船舶航迹跟踪控制 人工智能技术与咨询 昨天 本文来自 中国舰船研究 xff0c 作者祝亢等 关注微信公众号 xff1a 人工智能技术与咨询 了解更多咨询 xff01 0 引 言 目前 xff0c 国内外对运载工具的研究
  • 面向区块链的高效物化视图维护和可信查询

    面向区块链的高效物化视图维护和可信查询 人工智能技术与咨询 来源 xff1a 软件学报 xff0c 作者蔡 磊等 摘 要 区块链具有去中心化 不可篡改和可追溯等特性 可应用于金融 物流等诸多行业 由于所有交易数据按照交易时间顺序存储在各个区
  • 基于深度学习的磁环表面缺陷检测算法

    基于深度学习的磁环表面缺陷检测算法 人工智能技术与咨询 来源 xff1a 人工智能与机器人研究 xff0c 作者罗菁等 关键词 缺陷检测 xff1b 深度学习 xff1b 磁环 xff1b YOLOv3 xff1b 摘要 在磁环的生产制造过
  • 基于PX4的地面无人车避障系统及路径规划研究

    基于PX4的地面无人车避障系统及路径规划研究 人工智能技术与咨询 来源 xff1a 动力系统与控制 xff0c 作者姜琼阁等 关键词 地面无人车 xff1b 避障 xff1b PX4 xff1b 摘要 地面无人车避障及路径规划是指 xff0
  • 基于图像的数据增强方法发展现状综述

    基于图像的数据增强方法发展现状综述 人工智能技术与咨询 2022 03 22 20 57 点击蓝字 关注我们 来源 xff1a 计算机科学与应用 xff0c 作者冯晓硕等 关键词 数据增强 xff1b 图像数据集 xff1b 图像处理 xf
  • 基于改进SSD算法的小目标检测与应用

    人工智能技术与咨询 点击蓝字 关注我们 来源 xff1a 计算机科学与应用 xff0c 作者刘洋等 关键词 SSD xff1b 深度学习 xff1b 小目标检测 摘要 xff1a 摘要 针对通用目标检测方法在复杂环境下检测小目标时效果不佳
  • Excel线性回归分析

    文章目录 一 学习任务二 学习内容1 1 高尔顿数据集进行线性回归分析1 1 1 父母身高平均值和其中一个子女身高进行回归分析1 1 2 父子身高回归方程1 1 3 母子身高回归方程 1 2 Anscombe四重奏数据集进行回归分析 一 学
  • 组网雷达融合处理组件化设计与仿真

    人工智能技术与咨询 点击蓝色 关注我们 关键词 xff1a 组网雷达 点迹融合 航迹融合 组件化设计 仿真 摘要 数据融合处理是多雷达组网的核心 以典型防空雷达网为参考对象 xff0c 采用组件化设计方式 xff0c 将组网数据融合处理过程
  • 人工智能 知识图谱

    关于举办 2022年数字信息化培训项目系列 知识图谱Knowledge Graph构建与应用研修班线上课程的通知 各有关单位 一 培训目标 本次课程安排紧密结合理论与实践 xff0c 深入浅出 xff0c 循序渐进 从基本概念讲起 xff0
  • 深度学习(Deep Learning)

    知识关键点 1 人工智能 深度学习的发展历程 2 深度学习框架 3 神经网络训练方法 4 卷积神经网络 xff0c 卷积核 池化 通道 激活函数 5 循环神经网络 xff0c 长短时记忆 LSTM 门控循环单元 GRU 6 参数初始化方法
  • 基于深度学习的机器人目标识别和跟踪

    如今 xff0c 深度学习算法的发展越来越迅速 xff0c 并且在图像处理以及目标对象识别方面已经得到了较为显著的突破 xff0c 无论是对检测对象的类型判断 xff0c 亦或者对检测对象所处方位的检测 xff0c 深度学习算法都取得了远超