程序员经验分享-hwhale

transUnet

2023-10-27

TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation.

背景：医学图像分割是开发医疗保健系统 (尤其是疾病诊断和治疗计划) 的必要前提。
问题：U-Net通常在显式建模远程依赖关系方面表现出局限性。transformer缺乏足够的低级细节。
提出：transformer可以作为医学图像分割任务的强大编码器，结合U-Net可以通过恢复局部空间信息来增强更精细的细节。
相关工作：
1、将CNNs与自我注意机制相结合
2、Transformers
代码： https://github.com/Beckschen/TransUNet

​ 利用来自CNN特征的详细高分辨率空间信息和transformer编码的全局上下文。然后对由Transformers编码的自我关注功能进行上采样，以与从编码路径跳过的不同高分辨率CNN功能相结合，从而实现精确的定位。

在这里插入图片描述

										图1: 框架概述。(a) 变压器层示意图; (b) 拟议的tranunet的架构。

两个好处：1) 利用解码路径中的中间高分辨率CNN特征图; 2) 发现混合CNN变压器编码器比简单地使用纯transformer作为编码器性能更好。

数据集1：Synapse multi-organ segmentation dataset。

评价指标：报告了8个腹部器官 (主动脉，胆囊，脾脏，左肾，右肾，肝脏，胰腺，脾脏，胃随机分为18个训练病例 (2212个轴向切片) 和12个病例进行验证。

数据集2：Automated cardiac diagnosis challenge

评价指标：每次患者扫描均手动注释左心室 (LV)，右心室 (RV) 和心肌 (MYO) 的基本事实。报告了平均DSC，随机分为70个训练案例 (1930个轴向切片)，10个案例进行验证，20个案例进行测试。

对比实验

​ 表1: 突触多器官CT数据集的比较 (平均dice得分 % 和平均hausdorff距离单位mm，以及每个器官的dice得分 %)

在这里插入图片描述

消融实验

在这里插入图片描述

​ 图2: TransUNet中跳跃连接数量的消融研究

在这里插入图片描述

​ 表2: 消融对输入分辨率影响的研究

​ 序列长度与贴片大小的平方成反比 (例如，贴片大小16对应于196的序列长度，而贴片大小32具有49的较短序列长度)

在这里插入图片描述

​ 表3: 对patch大小和序列长度的消融研究。

​ 对于 “基础” 模型，隐藏大小D、层数、MLP大小和头的数量分别被设置为12、768、3072和12，而对于 “大” 模型的那些超参数是24、1024、4096和16。

在这里插入图片描述

​ 表4: 模型尺度上的消融研究

在这里插入图片描述

​ 图3: 通过可视化对不同方法进行定性比较。从左到右

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

深度学习

医学图像处理

transUnet 的相关文章

随机推荐

  • 【Unity基础】4.动画Animation

    Unity基础 4 动画Animation 大家好 我是Lampard 欢迎来到Unity基础系列博客 所学知识来自B站阿发老师 感谢 一 Unity动画编辑器 1 Animation组件 这一张我们要学习如何在unity编辑器中 编辑一个

  • D-S envidence theory(DS 证据理论)的基本概念和推理过程

    DS 证据理论 Dempster Shafer envidence theory 也称为DS理论 是一种处理不确定性问题的完整理论 它不仅能够强调事物的客观性 还能强调人类对事物估计的主观性 其最大的特点就是就是对不确定性信息的描述采用 区

  • 移动端适配(物理像素、css像素、设备独立像素)

    1 像素 css 像素 a 虚拟像素 b 用于开发中设置元素的样式 c 疑问 开发中编写的css 像素如何落地 设备独立像素 a 虚拟像素 b 1 设备独立像素 1 css 像素 c 1 设备独立像素 N 个物理像素 物理像素 a 屏幕的分

  • Mac OS X 搭建erlang开发环境

    一 erlang源码包下载 到elang官网下载 tar gz文件 下载地址为 http www erlang org download html 这里使用的是17 4版本 二 得到otp src 17 4 tar gz源码包并解压安装 进

  • Threejs模型：调整模型的视角

    x y z轴的位置 创建盒子 modelBounds new THREE Box3 创建一个盒子 赋值为每一个模型的构件的盒子 data if modelBounds isEmpty modleBounds data else modelB

  • 机器视觉与计算机视觉的区别

    机器视觉 Machine Vision MV 与计算机视觉 Computer Vision CV 两者既有联系又有区别 机器视觉与计算机视觉有很多相似之处 在架构上都是基础层 技术层 应用层 并且两者的基本理论框架 底层理论 算法等是相似的

  • netstat命令详解

    点击上方蓝字 快速关注 netstat命令用于显示与IP TCP UDP和ICMP协议相关的统计数据 一般用于检验本机各端口的网络连接情况 netstat是在内核中访问网络及相关信息的程序 它能提供TCP连接 TCP和UDP监听 进程内存管

  • 如何使用VSCode开发Qt项目？

    如何使用VSCode开发Qt项目 为何使用VSCode开发Qt项目 因为Qt自带的编辑器丑丑丑 颜值时代还得是vscode大妹子 最终效果预览 前期准备 一 环境工具 Qt 5 15 2 含MingW64构建工具 Visual Studio

  • #define 定义符号常量方法

    程序设计预算法 1 第二周题目如下 对于半径为r的球 其体积的计算公式为V 4 3 r3 这里取 3 14 现给定r 求V 输入 输入为一个不超过100的非负实数 即球半径 类型为double 输出 输出一个实数 即球的体积 保留到小数点后

  • 为什么fork函数创建的进程不能用return函数结束进程

    在C语言中 fork 函数用于创建一个新的进程 它会复制当前进程的副本 并在父进程和子进程中返回不同的值 当调用fork 函数时 操作系统会创建一个子进程 该子进程是父进程的副本 父进程和子进程都从fork 函数返回 并且分别得到一个返回值

  • 按规则合并多个长度不同的数组

    现有多组整数数组 需要将他们合并成一个新的数组 合并规则 从每个数组中按顺序取出固定长度的内容合并到新的数组中 取完的内容要删除掉 如果改行不足固定长度或者已经为空 则直接取出剩余部分的内容放到新的数组中 继续下一行 输入描述 第一行是每次

  • 单隐层神经网络

    这是单隐层神经网络的一些知识 那么话不多说 开始学习 单隐层神经网络与Logistic回归 让我们来回顾一下Logistic回归的流程图 这是样本集的一次Logistic回归计算 这其实可以被抽象为一个神经元接收样本集x 然后输出预测集y帽

  • linux进程处于e,linux进程后台运行的几种方法--转载

    我们经常会碰到这样的问题 用 telnet ssh 登录了远程的 Linux 服务器 运行了一些耗时较长的任务 结果却由于网络的不稳定导致任务中途失败 如何让命令提交后不受本地关闭终端窗口 网络断开连接的干扰呢 下面举了一些例子 您可以针对

  • Windows的蓝色生死符

    破解Windows的蓝色生死符 为什么Windows 2K XP会蓝屏 NT内核的操作系统采用的是分层结构 层又称为模式 主要有用户层 User Mode 和内核层 Kernel Mode 我们可以通过下面这个形象的比喻来理解Windows

  • 人体姿态估计总结

    Flowing ConvNets for Human Pose Estimation in Videos 2015 年 flow convnet 将姿态估计看作是检测问题 输出是 heatmap 其创新点在于从卷积神经网络的 3 和 7 层

  • Mindshow+gpt辅助生成ppt

    步骤如下 先使用GPT生成需要的文本 再用Mindshow生成ppt MindShow 快速演示你的想法 gpt描述技巧 1 输入的问题 Prompt 越详细 具体 ChatGPT回复的内容相应地会越精准 2 有任何需求都可以描述进去 3

  • 2015年Spring会议季-DotNetFringe，AngleBrackets，BUILD等！

    What a lovely time we had at DotNetFringe last week here in my hometown of Portland Wonderful speakers great topics good

  • 史上最详细的typescript入门教程

    什么是Typescript TypeScript是JavaScript类型的超集 它可以编译成纯JavaScript TypeScript可以在任何浏览器 任何计算机和任何操作系统上运行 并且是开源的 配置Typescript环境 安装Ty

  • Vector 容器快速删除方法

    vector是一个向量容器 在C 开发中经常会使用到 vector本身自带的删除函数有 iterator erase iterator it 删除向量中迭代器指向元素 iterator erase iterator first iterat

  • transUnet

    TransUNet Transformers Make Strong Encoders for Medical Image Segmentation 背景 医学图像分割是开发医疗保健系统 尤其是疾病诊断和治疗计划 的必要前提 问题 U Ne

热门标签