程序员经验分享-hwhale

深度学习之SuperViT

2023-05-16

在这里插入图片描述

这篇文章是今年发表的一篇Transformer类文章。文章作者提出了ViT的增强版——SuperViT，其核心有2个：①多尺度输入；②Token-keeping-rate机制。作者通过一系列实验证明SuperViT可以在计算效率和正确率上实现比Swin-T更好的表现力！

参考文档：
①源码
②Transformer学习(四)—DeiT
③各类Transformer都得稍逊一筹，LV-ViT：探索多个用于提升ViT性能的高效Trick

Super Vision Transformer

  • Abstract
  • 1 Introduction
  • 2 Related Work
  • 3 Methodology
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

SuperViT

深度学习之

深度学习之SuperViT 的相关文章

  • AtCoder从小白到大神的进阶攻略

    摘自https www cnblogs com LHYLHY p 11572011 html 在此对作者表示感谢 AtCoder从小白到大神的进阶攻略 前言 现在全球最大的编程比赛记分网站非CodeForces和AtCoder莫属了 xff

  • [codeforces 1328B] K-th Beautiful String 研究倒数第二个字母b的位置

    Codeforces Round 629 Div 3 比赛人数10967 codeforces 1328B K th Beautiful String 研究倒数第二个字母b的位置 总目录详见https blog csdn net mrcra

  • [codeforces 1352C] K-th Not Divisible by n 周期

    Codeforces Round 640 Div 4 参与排名人数9749 终于弄明白账号前 的意义 out of competition 也即虽然该用户参加本场比赛 但不参与排名 codeforces 1352C K th Not Div

  • Linux安装、启动、检查、访问、停止Tomcat服务

    一 去官方下载你需要的tomcat版本 xff08 如果已经下载好了 xff0c 请跳过此步骤 xff09 我这里下载的是tomcat9 0 63 xff0c 下载地址 xff1a 我是tomcat9 0 63下载地址 打开页面 xff0c

  • 【三维可视化Qt+OPEN CASCADE-001】傻瓜式配置——可在Qt creator下运行github例程

    前言 因为一个大项目需要 xff0c 在QT界面利用occ做三维可视化的东西 xff0c 所以需要配置 网上的配置攻略不是在VS下用MFC做 xff0c 就是用VS 43 QT的插件 xff0c 也有老哥用Qt Creator做 xff0c

  • Linux下DVWA的搭建

    1 配置CentOS7 1 1 配置yum国内镜像源 span class token function curl span span class token parameter variable o span etc yum repos

  • git clone 报错：fatal: Unencrypted HTTP is not supported for GitLab. Ensure the repository remote URL i

    git版本问题 xff0c 是当前版本过高 xff0c 要求使用https协议 xff0c 需要根据需要安装指定版本 遇到这个问题时我的git版本是 xff1a 需要安装指定版本

  • 以太网帧间隙

    以太网帧间隙 1 什么是IFG xff1f xff08 What xff09 IFG Interframe Gap 帧间距 xff0c 以太网相邻两帧之间的时间断 xff1b 以太网发送方式是一个帧一个帧发送的 xff0c 帧与帧之间需要间

  • Debian修改系统默认语言

    系统版本 xff1a Debian 10 1 0x64 安装过程中选择了中文作为默认语言 xff0c 即zh CN UTF 8 xff0c 现将系统默认语言改为英文 修改方法 xff1a 在Terminal中键入以下命令 xff1a sud

  • 通俗的解释docker

    Docker的思想来自于集装箱 xff0c 集装箱解决了什么问题 xff1f 在一艘大船上 xff0c 可以把货物规整的摆放起来 并且各种各样的货物被集装箱标准化了 xff0c 集装箱和集装箱之间不会互相影响 那么我就不需要专门运送水果的船

  • Golang-Bcrypt加密

    从安全上讲 xff0c 用户密码一般都是要经过加密 xff08 而且不能被解密 xff09 后才存储于数据库中 xff0c 相信现在已经没有什么公司蠢到直接以明文存储密码了吧 通常有很多方式可以实现密码加密 xff0c 譬如MD5签名 xf

随机推荐

  • MySQL 5.7 主从复制

    主从复制概念 MySQL 主从复制是指数据可以从一个MySQL数据库服务器主节点复制到一个或多个从节点 MySQL 默认采用异步复制方式 xff0c 这样从节点不用一直访问主服务器来更新自己的数据 xff0c 数据的更新可以在远程连接上进行

  • VsCode C++ namespace has no member错误

    此问题VSCode C 43 43 插件本身bug 在官方未推出相应布丁之前 xff0c 可按照以下步骤避免该问题 xff1a 1 按顺序打开 xff1a 文件 首选项 设置 2 在右边 xff0c 用户设置窗口添加以下代码 xff1a 3

  • 树莓派4B +远程SSH+远程桌面

    一 有线SSH连接树莓派 我的实验环境是笔记本电脑 43 树莓派4B 具体步骤为 xff1a 1 电脑连接上无线网络 xff0c 将电脑网线连接树莓派 2 打开如下界面 3 双击WLAN gt gt 点击属性 gt gt 再点击共享 选择以

  • springboot整合mybatis-plus代码生成器

    import com baomidou mybatisplus generator FastAutoGenerator import com baomidou mybatisplus generator config OutputFile

  • 超分之EDVR

    这篇文章是2019年在视频超分领域上的作品 xff0c 由商汤联合实验室出版 作者推出的EDVR结合了TDAN中时间可变形对齐网络的优势和Robust LTD中融合注意力机制的优势 xff0c 推出了一种基于金字塔级联可变形对齐网络 PCD

  • 超分之RCAN

    这篇文章是2018年的ECCV xff0c 作者主要是为了介绍注意力机制在超分领域的应用以及基于注意力机制的这个SR网络 Residual Channel Attention Networks 后文简称RCAN RCAN是一种基于Resid

  • 超分之TDAN

    这篇文章是视频超分 VSR 中flow free的代表作 xff0c 不同于VESPCN中采用flow based xff0c 即光流估计方法来对齐相邻帧的做法 xff0c 本文作者推出的TDAN采用隐式的运动补偿机制 xff0c 利用可变

  • 超分之Robust VSR with Learned Temporal Dynamics

    这篇文章是2017年的ICCV 基于经典的VSR框架 xff0c 作者在对齐网络和时间融合超分网络上都做了一定的该进 其中对齐网络采用了STN的一个变体 xff1b 对齐后的SR网络使用了结合注意力机制的 xff0c 可自动选择时间尺度的时

  • 超分之RDN

    这篇文章提出了一种结合ResNet结构和DenseNet结构的深度超分网络 Residual Dense Network 后文简称RDN RDN基于Residual Dense Block 后文简称RDB 块以及全局残差连接来提取全局特征

  • 【Debian 8.8】Java 8 安装以及环境变量配置

    事实上可以分为简单的三个步骤 xff1a 下载 JDK 压缩包解压压缩包配置环境变量 需要注意的是 xff1a 所有命令默认在 root 权限下进行 xff01 演示环境是 Debian 8 8 64位 xff08 阿里云学生机 xff09

  • 超分之BasicVSR

    这篇文章是2021年的CVPR xff0c 文章作者是和EDVR同一批的人 该篇文章提出了一个轻量且高表现性能的视频超分framework BasicVSR BasicVSR改进了传统VSR结构中的propagation和alignment

  • 超分之DRCN

    这篇文章是2016年的CVPR xff0c 虽然目前来说在性能和计算效率上并不佳 xff0c 但是在当时来说是一种通过较少模型参数加深网络来提升SR表现力的新方法 Deeply Recursive Convolutional Network

  • 超分之BasicVSR++

    这篇文章是BasicVSR的 升级版本 colorbox tomato 升级版本 升 级 版 本 xff0c 同一批作者将BasicVSR中的Propagation和Alignment部分进行了增强产生了新一点VSR方法 BasicVSR

  • 深度学习之DCN-v2

    这篇文章发表在2019的CVPR上 xff0c 是Deformable Convolution Network的进阶版本 DCN v2 xff0c 通过对DCN的两处改进来增加卷积神经网络的适应性与灵活性 具体来说 xff0c 通过堆叠多个

  • 论文笔记之Understanding Deformable Alignment in Video Super-Resolution

    这篇文章是2021年的AAAI xff0c 和EDVR BasicVSR BasicVSR 43 43 是同一批作者 文章最重要的贡献在于 用一个统一的数学表达式去归纳flow based对齐 如TSTN 和flow free对齐 如TDC

  • 超分之VSRT

    这篇文章发表于2021年 xff0c 是Transformer在VSR领域的首篇应用 作者提出了Video Super Resolution Transformer VSRT 结构 xff0c 其由Spatial temporal Conv

  • 深度学习之ViT

    这篇文章的核心是提出了Vision Transformer结构 xff0c 将2017年Attention is All you Need在NLP中引入的Transformer结构应用于计算机视觉任务中 Transformer是一种基于自注

  • 深度学习之COLA-Net

    这篇文章是首篇将局部 Local 注意力和全局 Non Local 注意力进行结合来做图像重建的论文 文章作者设计了一个将局部注意力机制和全局注意力机制一起协同合作来重建图像的网络模型 Collaborative Attention Net

  • 超分之TTVSR

    这篇文章是2022年的CVPR 不同于之前VSR的对齐方式 即flow based或者DCN based 本文提出的Trajectory Aware Transformer for Video Super Resolution TTVSR

  • 深度学习之SuperViT

    这篇文章是今年发表的一篇Transformer类文章 文章作者提出了ViT的增强版 SuperViT 其核心有2个 多尺度输入 Token keeping rate机制 作者通过一系列实验证明SuperViT可以在计算效率和正确率上实现比S

热门标签