程序员经验分享-hwhale

卷积神经网络中的图像特征——以YOLOv5为例进行可视化

2023-05-16

目录

      • 一、图像特征
        • 1. 图像低层特征
        • 2. 图像高层特征
        • 3. 示例
      • 二、特征融合
        • 1. 多尺度特征融合
        • 2. FPN
      • 参考文章

一、图像特征

1. 图像低层特征

  • 图像低层特征指的是：边缘、颜色和纹理等特征。
  • 低层特征的分辨率较高，包含较多的位置、细节信息，但其包含的语义信息较少，噪声较多。
  • 原始图像和浅层卷积网络输出的特征图属于低层特征，从低层特征图中可以看清轮廓、边缘等信息。

2. 图像高层特征

  • 图像的高层语义特征是指人所能理解的东西，比如沙发、狗、瓶子等。
  • 高层特征包含较多的语义信息，但其分辨率较低，对位置和细节的感知能力也较差。
  • 经过深层的卷积网络，可以有效归纳出语义信息，就是类似某个区域就是什么东西，并不需要显示具体的纹理信息。

3. 示例

  • 下面以YOLOv5网络为例，可视化展示了原始图像经过每一层网络后的输出特征图（共23层，逐层可视化），YOLOv5的网络结构如下：在这里插入图片描述
  • 原始输入图像
    在这里插入图片描述
    - Conv输出的的特征图（第0层的输出）
    在这里插入图片描述
    - Conv输出的特征图（第1层的输出）
    在这里插入图片描述
    - C3输出的特征图（第2层的输出）
    在这里插入图片描述
    - Conv输出的特征图（第3层的输出）
    在这里插入图片描述
    - C3后的特征图（第4层的输出）
    在这里插入图片描述
    - Conv输出的特征图（第5层的输出）
    在这里插入图片描述
    - C3输出的特征图（第6层的输出）
    在这里插入图片描述
    - Conv输出的特征图（第7层的输出）
    在这里插入图片描述
    - C3输出的特征图（第8层的输出）
    在这里插入图片描述
    - SPPF输出的特征图（第9层的输出）
    在这里插入图片描述
    - Conv输出的特征图（第10层的输出）
    在这里插入图片描述
    - Upsample输出的特征图（第11层的输出）
    在这里插入图片描述
    - Concat输出的特征图（第12层的输出）
    在这里插入图片描述
    - C3输出的特征图（第13层的输出）
    在这里插入图片描述
    - Conv输出的特征图（第14层的输出）
    在这里插入图片描述
    - Upsample输出的特征图（第15层的输出）
    在这里插入图片描述
    - Concat输出的特征图（第16层的输出）
    在这里插入图片描述
    - C3输出的特征图（第17层的输出）
    在这里插入图片描述
    - Conv输出的特征图（第18层的输出）
    在这里插入图片描述
    - Concat输出的特征图（第19层的输出）
    在这里插入图片描述
    - C3输出的特征图（第20层的输出）
    在这里插入图片描述
    - Conv输出的特征图（第21层的输出）
    在这里插入图片描述
    - Concat输出的特征图（第22层的输出）
    在这里插入图片描述
    - C3输出的特征图（第23层的输出）
    在这里插入图片描述

二、特征融合

1. 多尺度特征融合

  • 低层网络的感受野比较小，几何信息表征能力强，虽然分辨率高，但是语义信息表征能力弱。
  • 高层网络的感受野比较大，可以理解为CNN从更加全局的角度对图像做特征提取，因此产生更加高层次的语义信息，语义信息表征能力强，但是特征图的分辨率低，几何信息的表征能力弱（空间几何特征细节缺乏）。
  • 将低层网络的几何信息与高层网络的语义信息相融合，是提高检测和分割性能的重要手段。

2. FPN

  • FPN（特征图金字塔网络），主要解决的是物体检测中的多尺度问题，通过简单的网络连接改变，在基本不增加原有模型计算量的情况下，大幅度提升了小物体检测的性能。

  • 算法大致结构如下：一个自底向上的线路，一个自顶向下的线路，横向连接。
    在这里插入图片描述

  • 自底向上：
    自底向上的过程就是神经网络的前向传播过程，特征图经过卷积核计算，尺寸会越变越小。

  • 自上而下：
    自上而下的过程是把更抽象、语义更强的高层特征图进行上采样。

  • 横向连接：
    横向连接则是将上采样的结果和自底向上生成的相同大小的特征图进行融合，横向连接的两层特征在空间尺寸相同，这样做可以利用低层定位细节信息。

参考文章

关于encoder-decoder网络 - 特征融合

深度特征融合—高低层（多尺度）特征融合

对图像中语义信息、高层和底层特征的理解

CNN中的底层、高层特征、上下文信息、多尺度

多尺度特征融合

FPN（特征金字塔）结构笔记

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

卷积神经网络中的图像特征——以YOLOv5为例进行可视化 的相关文章

  • 【云原生】本地搭建Openshift单机最小化开发环境

    文章目录 一 什么是CodeReady Container xff08 CRC xff09 xff1f 二 本地化部署CodeReady Container三 Code Ready Container的使用 公众号 xff1a MCNU云原

  • 手把手kubernetes本地化部署（含疑难杂症排查解析）

    文章目录 一 什么是Kubernetes xff1f 二 Kubernetes的基本概念PodDeploymentServiceNamespaceConfigMapSecret 三 Kuberntes单机本地部署3 1 安装minikube

  • chatGPT大规模使用kubernetes,云原生技术在AI领域也大有可为

    文章目录 一 云原生在AI领域的应用方向1 1 弹性部署1 2 自动化和可维护性1 3安全性和隔离性 二 云原生在AI领域的应用案例2 1 chatGPT全面使用云原生技术2 2 TensorFlow Serving和k8s及docker的

  • 数据清洗经验

    平时习惯了在某些特定的数据集合上做实验 xff0c 简单的tokenization 预处理等步骤就足够了 但是在数据越来越大的年代 xff0c 数据清洗越来越重要 xff0c 也越来越复杂 看到Philip J Guo 的这篇英文文章 Pa

  • Jetson Nano平台常用软件工具

    本文介绍几个Jetson Nano平台常用的小工具 1 jtop jtop可以查看Jetson Nano目前CPU工作负载情况 xff0c 当前温度等信息 安装方法 xff1a sudo apt get install python pip

  • 如何计算前缀，网络，子网和主机号？

    计算网络掩码长度 xff08 也称为前缀 xff09 xff1a 将网络掩码的点分十进制表示形式转换为二进制 然后 xff0c 从第一个八位位组的最高有效位 xff08 即二进制数的左侧 xff09 开始 xff0c 计算连续的1位的数目

  • Pascal's Triangle(帕斯卡三角形)

    题目 xff1a Given numRows generate the first numRows of Pascal 39 s triangle xff08 杨辉三角 xff09 For example given numRows 61

  • kubernetes集群calico网络部署

    kubernetes 集群 calico 网络部署 一 部署环境及架构 操作系统 ubuntu 14 04 Kubernetes 1 3 5 Etcd 版本 2 2 1 Docker 版本 1 1 0 1 calicoctl 版本 xff1

  • OVN架构原理

    ovn architecture 本文最初整理在我的github上SDN Learning notes 本文翻译自ovs官方手册 xff0c 有删减 OVN架构 OVN xff08 即Open Virtual Network xff09 是

  • python正则匹配中文/英文/数字/其它字符

    匹配提取 一些字符串既包含中文 也包含英文 数字等 xff0c 需要对这类字符串做提取 xff0c 单个中文字符 英文单词以及数字表达等 需要采用正则匹配的方式来做 比如对于如下针对数据的描述 Android IOS 2条装 xff08 0

  • OVS和OVN 2.8新功能

    OVS和OVN 2 8新功能 本文最初整理在我的github上SDN Learning notes 本文翻译自ovs官方文档 本文档主要是关于2017年8月底发布的Open vSwitch 2 8中添加的内容 xff0c 重点介绍OVN中的

  • OSPF基础

    OSPF 1 ospf天生无环 是因为使用了SPF算法 该算法的概述是 选择一条花费最少而且没有环路的路径 2 ospf里有三张表 a 邻居表 ospf使用hello报文来发现并维持邻居关系 使用ospf的路由器每10s向相连的路由器发送h

  • OSPF状态机

    1 状态down 进程刚刚开始 路由器发送hello包 2 状态attempt 只出现在NBMA网络类型中 指路由器尽最大的努力去建立邻居 每隔hello间隔就发送hello包 但是还是未收到对方的hello包 2 状态init 路由器收到

  • OSPF分组类型

    1 hello包 目的地址永远是224 0 0 5 ip层协议号是89 包含了 1 唯一标识自己的RID 2 所属的区域AREA 3 hello间隔 死亡时间 缺省10 40 4 DR和BDR的RID 5 接口优先级 6 网络类型 7 验证

  • BGP基础详解

    BGP 边界网关协议 公有AS号 1 64511 私有AS号 64512 65535 状态机 1 idle 空闲 这时候刚刚指定邻居 邻居一定要可达 通过IGP或者静态路由 用loopback接口要注意更新源 ebgp邻居要写多跳

  • STP基础

    交换机使用专用集成电路ASIC来创建并维护其过滤表 cisco交换机上没有aux端口 交换机不需要任何IP 给交换机设置IP纯粹是为了管理的需要 1 交换网络一般分为三个层次 接入层 分布层 核心层 其中 接入层接入用户 分布层做各种流量策

  • VLAN基础

    1 默认时 交换机分割冲突域 路由器分割广播域 默认时 路由器过滤广播 交换机转发广播到所有网段 默认时 交换机上所有端口都是VLAN1的成员 VLAN1是管理VLAN 不能删除和修改 每个VLAN就是一个广播域 如果想要实现VLAN之间的

  • DHCP snooping

    一 采用DHCP服务的常见问题 架设DHCP服务器可以为客户端自动分配IP地址 掩码 默认网关 DNS服务器等网络参数 xff0c 简化了网络配置 xff0c 提高了管理效率 但在DHCP服务的管理上存在一些问题 xff0c 常见的有 xf

  • 组播技术架构

    组播基础 span class hljs attribute 1 保留的组播地址 224 0 0 1 224 0 0 255 公网上的组播地址 224 0 1 0 238 255 255 255 私网上的组播地址 239 0 0 0 239

  • python中的三元运算符

    python中没有类似java或c 43 43 中的 三元运算符 xff0c 如果想用类似的结构 xff0c 可以用if else来代替 x span class token operator 61 span span class toke

随机推荐

  • 关于派生类构造函数与基类构造函数的调用顺序问题

    面向对象程序设计基础 xff08 第二版 李师贤等 xff0c 第254页 xff1a C 43 43 语言的基本规则是 xff1a 创建一个派生类的对象时 xff0c 如果基类带有构造函数 xff0c 则先调用基类的构造函数 xff0c

  • C++中的strrev函数

    C 43 43 中的strrev函数 C 43 43 中有函数strrev xff0c 功能是对字符串实现反转 xff0c 但是要记住 xff0c strrev函数只对字符数组有效 xff0c 对string类型是无效的 具体见下面代码 x

  • 工厂模式（Factory Pattern）

    Java工厂模式 xff08 Factory Pattern xff09 是一种创建型设计模式 xff0c 它提供了一个通用的接口来创建对象 xff0c 但允许子类决定实例化哪个类 这种模式通过将对象的创建委托给工厂类来实现 xff0c 从

  • Java建造者模式（Builder Pattern）

    ava建造者模式 xff08 Builder Pattern xff09 是一种创建型设计模式 xff0c 它将对象的构建过程分离出来 xff0c 使得可以使用相同的构建过程来创建不同的对象表示形式 建造者模式通常用于创建复杂的对象 xff

  • Can‘t uninstall ‘scipy‘. No files were found to uninstall.以及scipy安装问题解决方法

    ubuntu系统下使用pip uninstall scipy命令卸载包时 遇到报错信息为 Found existing installation span class token operator span scipy span class

  • Package ‘libssl1.0.0‘ has no installation candidate

    安装libssl1 0 0失败 xff0c 问题 xff1a Package libssl1 0 0 has no installation candidate 解决方法 xff1a sudo apt get install build e

  • IDR 学习笔记

    Multiview Neural Surface Reconstruction by Disentangling Geometry and Appearance 主页 xff1a https lioryariv github io idr

  • Debian 11 驱动问题解决方法

    Debian 11 驱动问题解决方法 前言问题解决方法升级内核安装 Firmware Linux 前言 下面是作者在安装时的系统版本和无法驱动的硬件信息 xff1a Debian 镜像 xff1a debian 11 6 0 amd64 D

  • 使用windows引导的ubuntu双操作系统

    避坑指南 bios 取消安全boot 安全启动 快速启动 报rst错误的 把 bois 里的 SATA config 把inter 改为ahci 没报请无视 作为码农 xff0c 总会时不时的需要使用linux的开发环境 xff0c 使用虚

  • 想听一首歌好难？程序员教你一键下载

    1 首先要先安装一下Python第三方库 requests pip install requestsprettytable pip install PrettyTable 2 使用的开发环境 xff1a 版 本 xff1a python 3

  • 圣诞要到了~教你用Python制作一个表白神器——照片墙，祝你成功

    马上圣诞节 xff0c 快到了 xff01 又到了一年一度表白的时候了 今天教你一个程序员方式的表白 xff01 看一下效果图 xff1a 要什么样的 xff0c 图案都可以自定义的 首先 xff0c 准备阶段 收集你喜欢人 xff08 或

  • python字典遍历

    对python中的字典进行遍历操作 a span class token operator 61 span span class token punctuation span span class token punctuation spa

  • python读取文件指定行的三种方法

    1 行遍历实现 在python中如果要将一个文件完全加载到内存中 xff0c 通过file readlines 即可 xff0c 但是在文件占用较高时 xff0c 我们是无法完整的将文件加载到内存中的 xff0c 这时候就需要用到pytho

  • Python中五种方式拼接字符串的正确方法

    在学习Python xff08 3x xff09 的过程中 xff0c 在拼接字符串的时候遇到了些问题 xff0c 所以抽点时间整理一下Python 拼接字符串的几种方式 方式1 使用加号 43 连接 使用加号连接各个变量或者元素必须是字符

  • Python类与对象详解

    一 类和对象 类的意思 xff1a 种类 分类 类别 对象是特征与技能的结合体 xff0c 我可能有身高体重 而你也有身高体重 xff0c 所以你会说你像我 xff0c 但是你一定不会说你像阿猫阿狗 并且我和你其实就可以说成是一类 xff0

  • Python如何连接Mysql及基本操作

    1 什么要做python连接mysql xff0c 一般是解决什么问题的 做自动化测试时候 xff0c 注册了一个新用户 xff0c 产生了多余的数据 xff0c 下次同一个账号就无法注册了 xff0c 这种情况怎么办呢 xff1f 自动化

  • python中sort和sorted的高级排序技巧

    Python list内置sort 方法用来排序 xff0c 也可以用python内置的全局sorted 方法来对可迭代的序列排序生成新的序列 1 排序基础 简单的升序排序是非常容易的 只需要调用sorted 方法 它返回一个新的list

  • python用户定义的迭代器

    1 迭代器基于下面两个个方法 xff1a xff08 1 xff09 next 返回容器的下一个项目 xff08 2 xff09 iter 返回迭代器本身 2 当序列遍历完时 xff0c 将抛出StopIteration异常 xff0c 所

  • 虚拟机管理和虚拟机快照

    虚拟机管理 virt manager 开启图形管理工具 virt viewer vmname 显示虚拟机 vmname表示虚拟机名称 virsh list 列出正在运行的vm virsh list all 列出所有vm virsh star

  • 卷积神经网络中的图像特征——以YOLOv5为例进行可视化

    目录 一 图像特征1 图像低层特征2 图像高层特征3 示例 二 特征融合1 多尺度特征融合2 FPN 参考文章 一 图像特征 1 图像低层特征 图像低层特征指的是 xff1a 边缘 颜色和纹理等特征 低层特征的分辨率较高 xff0c 包含较

热门标签