CVPR 2023

2023-11-08

7f954b867bcd0a3827a108df0a2740c7.gif

©作者 | 张倩、小舟

来源 | 机器之心

在文生图领域,扩散模型似乎已经一统天下,让曾经也风头无两的 GAN 显得有些过时。但两相比较,GAN 依然存在不可磨灭的优势。这使得一些研究者在这一方向上持续努力,并取得了非常实用的成果。相关论文已被 CVPR 2023 接收。

图像生成是当前 AIGC 领域最热门的方向之一。近期发布的图像生成模型如 DALL・E 2、Imagen、Stable Diffusion 等等,开创了图像生成的新时代,实现了前所未有的图像质量和模型灵活性水平。扩散模型也成为目前占据主导地位的范式。然而,扩散模型依赖于迭代推理,这是一把双刃剑,因为迭代方法可以实现具有简单目标的稳定训练,但推理过程需要高昂的计算成本。

在扩散模型之前,生成对抗网络(GAN)是图像生成模型中常用的基础架构。相比于扩散模型,GAN 通过单个前向传递生成图像,因此本质上是更高效的,但由于训练过程的不稳定性,扩展 GAN 需要仔细调整网络架构和训练因素。因此,GAN 擅长对单个或多个对象类进行建模,但扩展到复杂数据集(更不用说现实世界)则极具挑战性。因此,超大型模型、数据和计算资源现在都专用于扩散模型和自回归模型。

但作为一种高效的生成方法,许多研究者并没有完全放弃 GAN 方法。例如,最近英伟达提出了 StyleGAN-T 模型;港中文等用基于 GAN 的方法生成流畅视频,这些都是 CV 研究者在 GAN 上做的进一步尝试。

现在,在一篇 CVPR 2023 论文中,来自 POSTECH、卡耐基梅隆大学和 Adobe 研究院的研究者们联合探究了关于 GAN 的几个重要问题,包括:

1. GAN 能否继续扩大规模并从大量资源中受益,GAN 遇到瓶颈了吗?

2. 是什么阻止了 GAN 的进一步扩展,我们能否克服这些障碍?

e94b3d59a0b353745bf395f0dfdf9978.png

论文链接:

https://arxiv.org/abs/2303.05511

项目链接:

https://mingukkang.github.io/GigaGAN/

值得注意的是,CycleGAN 的主要作者、曾获 2018 年 ACM SIGGRAPH 最佳博士论文奖的朱俊彦是这篇 CVPR 论文的第二作者。

该研究首先使用 StyleGAN2 进行实验,并观察到简单地扩展主干网络会导致训练不稳定。基于此,研究者确定了几个关键问题,并提出了一种在增加模型容量的同时稳定训练的技术。

首先,该研究通过保留一组滤波器(filter)并采用特定于样本的线性组合来有效地扩展生成器的容量。该研究还采用了扩散上下文(diffusion context)中常用的几种技术,并证实它们为 GAN 带来了类似的好处。例如,将自注意力(仅图像)和交叉注意力(图像 - 文本)与卷积层交织在一起可以提高模型性能。

该研究还重新引入了多尺度训练,并提出一种新方案来改进图像 - 文本对齐和生成输出的低频细节。多尺度训练允许基于 GAN 的生成器更有效地使用低分辨率块中的参数,从而实现了更好的图像 - 文本对齐和图像质量。经过仔细调整后,该研究提出了十亿参数的新模型 GigaGAN,并在大型数据集(例如 LAION2B-en)上实现了稳定和可扩展的训练,实验结果如下图 1 所示。

a48c2973e78bd5c52619edae6289cb19.png

此外,该研究还采用了多阶段方法 [14, 104],首先以 64 × 64 的低分辨率生成图像,然后再上采样到 512 × 512 分辨率。这两个网络是模块化的,并且足够强大,能够以即插即用的方式使用。

该研究表明,基于文本条件的 GAN 上采样网络可以用作基础扩散模型的高效且更高质量的上采样器,如下图 2 和图 3 所示。

756dedb65ec2d06bffa55aea6f534580.png

5509e0985f812ad8ccaa4cdcea65cde4.png

上述改进使 GigaGAN 远远超越了以前的 GAN:比 StyleGAN2 大 36 倍,比 StyleGAN-XL 和 XMC-GAN 大 6 倍。虽然 GigaGAN 十亿(1B)的参数量仍然低于近期的大型合成模型,例如 Imagen (3.0B)、DALL・E 2 (5.5B) 和 Parti (20B),但研究者表示他们尚未观察到关于模型大小的质量饱和。

GigaGAN 在 COCO2014 数据集上实现了 9.09 的零样本 FID,低于 DALL・E 2、Parti-750M 和 Stable Diffusion。

此外,与扩散模型和自回归模型相比,GigaGAN 具有三大实用优势。首先,它的速度快了几十倍,在 0.13 秒内生成了 512 像素的图像(图 1)。其次,它可以在 3.66 秒内合成 4k 分辨率的超高分辨率图像。第三,它具有可控的潜在向量空间,适用于经过充分研究的可控图像合成应用,例如风格混合(图 6)、prompt 插值(图 7)和 prompt 混合(图 8)。

a44e3e23aba6e800218165266b02250f.png

536bfc4afa2f044375cad134859be47d.png

ecaef0ee43e8af4aeeee54d903a8f825.png

该研究成功地在数十亿现实世界图像上训练了基于 GAN 的十亿参数规模模型 GigaGAN。这表明 GAN 仍然是文本到图像合成的可行选择,研究人员们应考虑将其用于未来的积极扩展。

3058075cc8f7954dac7c318baba1aac0.png

方法概览

研究者训练了一个生成器 G (z, c),在给定一个潜在编码 z∼N (0, 1)∈R^128 和文本调节信号 c 的情况下,预测一个图像 x∈R^(H×W×3)。他们使用一个判别器 D (x, c) 来判断生成的图像的真实性,与训练数据库 D 中的样本相比较,后者包含图像 - 文本对。

尽管 GAN 可以成功地在单类和多类数据集上生成真实的图像,但在互联网图像上进行开放式文本条件合成仍然面临挑战。研究者假设,目前的限制源于其对卷积层的依赖。也就是说,同样的卷积滤波器被用来为图像所有位置上的所有文本条件进行通用图像合成函数建模,这是个挑战。有鉴于此,研究者试图通过根据输入条件动态选择卷积滤波器,并通过注意力机制捕捉长程依赖,为参数化注入更多的表现力。

GigaGAN 高容量文本 - 图像生成器如下图 4 所示。首先,研究者使用预训练的 CLIP 模型和学习过的编码器 T 来提取文本嵌入。使用交叉注意力将局部文本描述符提供给生成器。全局文本描述符,连同潜在编码 z,被送入风格映射网络 M 以产生风格码 w。风格码使用论文中的风格 - 自适应内核选择调节主生成器,如右侧所示。

生成器通过将中间特征转换为 RGB 图像来输出一个图像金字塔。为了达到更高的容量,研究者在每个尺度上使用多个注意力层和卷积层(附录 A2)。他们还使用了一个单独的上采样器模型,该模型未在此图中显示。

505cdbc80410e2c386b58bf652e4ee83.png

判别器由两个分支组成,用于处理图像和文本调节 t_D。文本分支对文本的处理与生成器类似(图 4)。图像分支接收一个图像金字塔,并对每个图像尺度进行独立预测。此外,预测是在下采样层的所有后续尺度上进行的,这使得它成为一个多尺度输入、多尺度输出(MS-I/O)的判别器。

6a3f0468bc36a7d0610c6b11c921dc7d.png

86bd0a8b50a06bbf9a40b743edd759c9.png

实验结果

在论文中,作者记录了五个不同的实验。

在第一个实验中,他们通过逐个纳入每个技术组件来展示所提方法的有效性。

5921bc10e578af99d25dbdef9be7f3d5.png

在第二个实验中,他们测试了模型文生图的能力,结果显示,GigaGAN 表现出与 Stable Diffusion(SD-v1.5)相当的 FID,同时产生的结果比扩散或自回归模型快得多。

6971774d8904168b37a6b86c04fa26ea.png

在第三个实验中,他们将 GigaGAN 与基于蒸馏的扩散模型进行比较,结果显示,GigaGAN 能比基于蒸馏的扩散模型更快地合成更高质量的图像。

4380c98a575073c2364f3af0f00a9caf.png

在第四个实验中,他们验证了 GigaGAN 的上采样器在有条件和无条件的超分辨率任务中相比其他上采样器的优势。

e673908c7d1695e9d1aafd8f0c45433a.png

4e8af2dc219801c9159cadcc72b77293.png

最后,他们展示了自己提出的大规模 GAN 模型仍然享受 GAN 的连续和解纠缠的潜在空间操作,从而实现了新的图像编辑模式。图表请参见上文中的图 6 和图 8。

更多阅读

65f223d626b97bdb61021cc138824506.png

cdf25b18d9fdc3cb58d5f051b3d0d689.png

69d5bd20e40f7838fd6d86c5cdeadfae.png

3d236e7a2479b353c47f27d09847a279.gif

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。

总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析科研心得竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

CVPR 2023 的相关文章

随机推荐

  • 物联网毕业设计 单片机智能温控风扇设计与实现

    文章目录 1 简介 2 绪论 2 1 课题背景 3 系统设计 3 1 系统架构 3 2 硬件部分 3 2 1 DS18B20 简介 3 2 2 LCD1602 液晶屏简介 3 3 软件部分 3 3 1 整体软件流程 3 3 2 初始化 3
  • 数据库Sqlite和mysql

    致谢 https www ssdax com 2188 html https blog csdn net zbw1185 article details 47975965 1概述 数据库可以分为两类 关系型数据库和内存数据库 DB Engi
  • 【算法】McCode度量法

    目录 一 什么是McCode度量法 二 McCabe度量方法计算程序复杂度 三 真题演练 一 什么是McCode度量法 McCabe度量法是由托马斯 麦克凯提出的一种基于程序控制流的复杂性度量方法 McCabe复杂性度量又称环路度量 它认为
  • android实现箭头流程列表_Android弹出选项框及指示箭头动画选择

    Android弹出选项框及指示箭头动画选择 Android原生的Spinner提供了下拉列表选项框 但在一些流行的APP中 原生的Spinner似乎不太受待见 而通常会有下图所示的下拉列表选项框 初始化状态 点击弹出下拉选择选项框 选中后
  • 运维自动抓包脚本tcpdump

    文章目录 运维自动抓包脚本 抓包效果 tcpdump sh 运维自动抓包脚本 基于tcpdump命令写的抓包脚本工具 抓包解释参考 tcpdump抓包解释 抓包效果 root h11 sh scripts tcpdump sh gt gt
  • STM32外设之USART

    第二章 初识USART 目录 第二章 初识USART 前言 一 USART是什么 二 使用步骤 1 功能框图 2 寄存器 3 固件库编程 总结 前言 本章进行初识STM32F103串口 讲解通信方式 主要了解串口相应寄存器 串口的库函数编程
  • Compare Data from the Same Table in two Different Environments

    The Oracle SQL below compares table1 that has 2 key fields and 3 regular fields Note For the SQL below to work your pass
  • 软件测试面试题(带答案)

    1 请自我介绍一下 需简单清楚的表述自已的基本情况 在这过程中要展现出自信 对工作有激情 上进 好学 面试官您好 我叫 今年26岁 来自江西九江 就读专业是电子商务 毕业后就来深圳工作 有三年的软件测试工程师的经验 我性格比较开朗 能和同事
  • IDEA使用两种方式实现第一个Servlet程序

    第一种方式 实现Servlet接口 1 新建一个普通的maven工程 首先新建一个普通的maven工程 记得不要勾选下面的webapp 这是新建好的目录结构 然后右键项目选择 Add Framework support 最后点击web Ap
  • php生成的apk无法安装,xapk怎么安装

    安装xapk的方法 1 将 xapk改为 zip并解压其中的apk文件和android文件夹 然后安装apk并将相关文件复制到手机内存的android的obb中 2 下载Xapk安装器 然后选择需要安装的程序进行安装即可 本文示例操作环境
  • iOS黑暗模式tableViewCell

    背景 iOS 13 之后 App可以支持黑暗模式 如不需要可以直接禁掉 参考iOS系统中的自带软件的黑暗模式的适配 可以看看 设置 页面在黑暗 dark 模式下和正常 light 模式下的显示 以此参考来对我们自己的App进行黑暗模式的适配
  • openswan 移植

    最近一周都在移植openswan 这是个非常想大的ipsec VPN实现工具 编辑CROSSCOMPILE sh 文件 这是openswan自带的专门用于交叉编译的脚本 修改如下 bin sh cross compile example e
  • vue-devtools的安装

    下载 解压过入目录 进入目录后 不要使用 npm install 会出错的 我们就用 yarn 来就可以了 npm install g yarn yarn install yarn run build 等待结束就可以了 进入 package
  • 保持 SSH 连接

    SSH 总是被强行中断 尤其是用 VSCode 代码写的好好的 突然刷新窗口 不仅效率低 更惹人恼火 可以通过配置服务端或客户端的 SSH 来保持 SSH 链接 方法一 配置服务端 可以在服务端配置 让 server 每隔 30 秒向 cl
  • 力扣:最大值(Java)

    给定一组非负整数 nums 重新排列每个数的顺序 每个数不可拆分 使之组成一个最大的整数 注意 输出结果可能非常大 所以你需要返回一个字符串而不是整数 class Solution public String largestNumber i
  • redux总结兼开发者工具

    Redux简介 使用Hook实现功能 不使用redux Redux三大核心概念 完整版代码 未优化 Redux异步action react redux库 react redux数据共享 总结 合并reducers 单独写成一个文件 继续简写
  • web3钱包系统开发

    web3技术概念介绍 近期 演员周星驰在ins开通首个社交账号 并发布人才招募令 在漆黑中找寻鲜明出众的Web3人才 将 Web3 带入大众视野 但有不少人对其感到陌生 到底何为Web3 早在2018年 就有人开始谈论web3了 它其实是一
  • CSS中关于z-index的堆叠顺序

    1 同级的z index div class container div class div1 h1 Division Element 1 z index 10 h1 div div class div2 h1 Division Eleme
  • Vs2019简单快速的打包可安装项目(图文教程)

    声明本项目在已安装vs2019和加载了installer Projects的情况下才能操作 右键解决方案 gt 添加 gt 新建项目 新建一个Setup Project 进入这个页面 右键Application Foluder gt Add
  • CVPR 2023

    作者 张倩 小舟 来源 机器之心 在文生图领域 扩散模型似乎已经一统天下 让曾经也风头无两的 GAN 显得有些过时 但两相比较 GAN 依然存在不可磨灭的优势 这使得一些研究者在这一方向上持续努力 并取得了非常实用的成果 相关论文已被 CV
Powered by Hwhale