关于上采样方法总结（插值和深度学习）

一、简介

      上采样的技术是图像进行超分辨率的必要步骤，最近看到了CVPR2019有一些关于上采样的文章，所以想着把上采样的方法做一个简单的总结。
看了一些文章后，发现上采样大致被总结成了三个类别：
1、基于线性插值的上采样
2、基于深度学习的上采样（转置卷积）
3、Unpooling的方法
其实第三种只是做各种简单的补零或者扩充操作，下文将不对其进行涉及。

为了方便大家阅读，做了个小的目录，接下来的文章介绍主要分为以下内容：
线性插值
1、最近邻算法
2、双线性插值算法
3、双三次插值算法（bicubic）

深入学习
1、转置卷积
2、PixelShuffle（亚像素卷积，CVPR2016）
3、DUpsampling（亚像素卷积，CVPR2019）
4、Meta-Upscale（任意尺度缩放，CVPR2019）
5、CAPAFE（内容关注与核重组，思路新颖，ICCV2019）

二、线性插值

      线性插值用的比较多的主要有三种：最近邻插值算法、双线性插值、双三次插值（BiCubic），当然还有各种其改进型。在如今SR中这些方法仍然广泛应用。这些方法各有优劣和劣势，主要在于处理效果和计算量的差别。
      计算效果：最近邻插值算法 < 双线性插值 < 双三次插值
      计算速度：最近邻插值算法 > 双线性插值 > 双三次插值
       在接下来我会将测试这些算法的效果和运行速度。

1、最近邻插值算法

      最近邻插值算法是最简单的一种插值算法，当图片放大时，缺少的像素通过直接使用与之最近原有颜色生成，也就是说照搬旁边的像素这样做结果产生了明显可见的锯齿。在待求像素的四邻像素中，将距离待求像素最近的邻灰度赋给待求像素。

      一张来自网上的图，描述的很清楚，也就是说在A区域的值邻近于（i，j）点，所以都将（i，j）点的像素值赋予在A区域的所有像素，同理可得其他的区域。在图上没有表达清楚的是在坐标轴上的像素如何处理，个人觉得可能是在程序中定义等号偏向于一边。

      可见有很明显的马赛克块，这里我没有用opencv的resize去做（这个函数里的最近邻应该不是很准确，不清楚里面做了什么优化或者其他处理，理论上相邻的像素值是一样的，但是那个库调用后出来的效果和其他两种方法的效果基本相同而且时间差不多。。。。）

2、双线性插值

双线性插值就是做两次线性变换，先在X轴上做一次线性变换，求出每一行的R点：

再通过一次线性变换求出在该区域中的P点：

可以把上式汇成所要计算的f（x,y）

效果如图：

3、双三次插值
      双三次插值在SR中引用的比较多，其计算也比较复杂速度较慢。它实际上也是一种插值的方式，但是并不是通过线性插值，而是通过邻近的4x4的像素做加权。
      首先第一步是先构建作者所说的BiCubic函数，即上式中的aij

      其中aij = W（x）* W（y），即我们要分别求取x，y方向的W，然后相乘作为权重。
      至于x的取值访问如何理解，我简单把我的理解绘制成这张图，当要求的像素点为（u，v），则内圈的四个点权值计算选用|x|<=1的计算公式，外圈的选择另一个公式。

之后的计算就是对这16个值做加权，即可求出（u，v）的像素值。

      手写代码的运行速度（按原理写的，没有优化有点慢）

      使用的话opencv中的resize可以直接使用，而且速度特别快，但是他的最近邻运行出来的效果太好了，而且时间最长，对于有点疑惑。。如果有懂的朋友麻烦解惑谢谢。以下是opencv运行时间：

二、深度学习

1、转置卷积
       基于深度学习的上采样实际上就是通过训练转置卷积核对图片的尺寸进行扩充，当然为了取得好的效果，肯定不单单是一个转置卷积核就可以办到的，很多的学者对上采样的网络做了很多工作。
      基础的转置卷积可以参考这篇文章：https://blog.csdn.net/gaotihong/article/details/79164172


      除了以上这种单纯通过补零和unpooling来做输入的扩大的方法之外，近几年来，随着语义分割和超分辨率的发展，也出现了很多其他深度学习的方法来做上采样，取得了很好的效果。

2、PixelShuffle
      PixelShuffle是在CVPR2016的Real-Time Single Image and Video Super-Resolution Using an Effificient Sub-Pixel Convolutional Neural Network一文中提出。ESPCN的主要概念是关注于亚像素卷积层，通过三次卷积之后输出与原图一样尺寸的r²通道的输出图，再通过如下图所示的reshape方法将 Hx Wxr² 的特征图转成 rHxrW 的输出图。而扩大的倍数刚刚好等同于通道数。这样的做法可以让网络去学习到一种插值方法，并存在于前面三层卷积层的参数中。

      这个方法的提出对超分辨率有两个与之前不同的贡献：一个是不需要再通过一开始进行线性插值来扩大输入的尺寸了，从而可以用更小的卷积核就可以获得很好的效果，另一个是作者认为bicubic是一种卷积的特殊情况（即计算权重相乘求和），用卷积学习可以学会比手工设计更好的拟合方式。

3、DUpsampling
      这个上采样方法是在CVPR2019中的Decoders Matter for Semantic Segmentation: Data-Dependent Decoding Enables Flexible Feature Aggregation∗中提出的，从下面的网络结构来看和PixelShuffle有点类似，它是通过卷积学习亚像素，并最后重组来获得更大的图像。

      DUpsampling在对特征图的操作上有所不同，是先通过将单个像素所对应的C个通道reshape成一个1xC的向量，与CxN的矩阵相乘得到1xN的向量，再reshape成为2x2xN/4（2应该指的是放大倍数，即rxrxN/r²）的扩大后的亚像素块,组合成放大后的特征图。
      以上这两种算法都是基于数据去训练的，可以获得比线性插值更好的效果，但是与线性插值相比存在的问题是：1、对于不同的放大倍数的图像需要训练不同的网络（因为通道数的改变）；2、不容易进行连续的放大，比如1.1倍，1.2倍这样。说不容易而不是不能是因为可以适当放大输入图像或者对权重和步长进行调整后放缩，但是计算很复杂，效果没有整数倍好，线性插值却很容易办到。

4、Meta-Upscale

       先上一张图，这张图我觉得比较好的说明了原来的方法要如何做一次非整数尺度的放缩，这样方便进一步了解Meta-SR的思路。
       Meta-SR中的Meta-Upscale是在CVPR2019上的Meta-SR: A Magnifification-Arbitrary Network for Super-Resolution一文中提出来的，作者提出了一种可以任意尺度缩放的方法，可以实现较好效果的非整数的放缩。

       F^LR 表示由特征学习模块提取的特征，并假定缩放因子是 r。对于 SR 图像上的每个像素（i, j），文中认为它由 I^LR 图像上像素（i′,j′）的特征与一组相应卷积滤波器的权重所共同决定。从这一角度看，放大模块可视为从 F^LR 到 I^SR 的映射函数。

       我对此的理解是，kxk应该是所设定的与I^SR所相关的一个像素搜索范围。及这个范围内的所有像素都是和最后输出的像素是有关系的，需要对其计算相应的权重并加权计算。HWx（InCxoutC）我的理解是图像最后输出的长x宽x输入的通道数（文中为64）x输出的通道数（文中为3）做为权值生成的输出的通道数。对于一个像素的计算我们需要对64个通道上feature map上的对应9个值加权求和，就可以计算出输出的一个通道值，重复3次就是一个值的3个通道数的值，重复HW次就可以计算出整个输出。
       那么知道最后如何计算输出之后，我们关心的是文中提到的是怎么来做对不同的放缩大小的权值计算的以及如何在任意尺度下完成输出像素和LR特征图上的对应。
       作者把 Meta-Upscale 模块由三个重要的函数，即 Location Projection、Weight Prediction、Feature Mapping（这个就是上文讲的如何乘以权值得到最后的输出）。
       先说下文中的Location Projection，如下图：


       通过向下取整使得I^{SR中的每一个值都可以在I}LR上找到一个对应的值。如放大1.5倍，那么I^{LR上的0对应I}SR中的0和1（0/1.5<1,1/1.5<1）。

       而权重预测Weight Prediction在网络中是通过构建了两层全链接层和relu来实现的，输出在上文已经讲过了就不再重复，而文中用于预测的输入是这样获得的，如下式：

       总结一下，Meta-SR中的思路有点像RPN，做了一个外部的推荐网络，来推荐放缩的权值及像素的对应关系，在非整数倍放大上起的不错的效果。

5、CAPAFE
       CAPAFE是出自ICCV2019中的CARAFE: Content-Aware ReAssembly of FEatures 一文中的，作者提出了构建一种内容感知并重组特征的上采样方法，看到这篇文章的时候感觉到它的结构思路与之前有很大的不同。

       CAPAFE的整个网络结构由两部分组成，一部分是核预测模块（Kernel Prediction Module），用于生成用于重组计算的核上的权重。另一部分是内容感知重组模块（Content-aware Reassembly Module），用于将计算到的权重将通道reshape成一个kxk的矩阵作为核与原本输入的特征图上的对应点及以其为中心点的kxk区域做卷积计算，获得输出。
       首先我们先关注下核预测模块是如何预测出权重值的，这一部分文中分为三部分：通道压缩器（Channel Compressor）、内容编码（Content Encoder）、核归一化（Kernel Normaliaer）。输入的Feature map通过1x1的卷积核，完成对通道数的压缩，文中提及这一步的原因是为了减少计算量，而且文中说通过实验将通道数压缩在64不会影响效果，文中给的Cm为64。之后通过多层Kenconder x Kenconder的卷积核完成对特征图的计算，输出HxWxσ²xKup²的特征图，这里Kenconder的大小与感受野有关，越大生成的权重与周围的内容的关联性越高。最后将特征图reshape成σHxσWxKup²，之后单独对每一个像素的所有通道用softmax做归一化，为了是最后生成的重组核内权重值和为1。这样权重的预测就完成了。
       之后将预测好的权重对每一个像素都拉成kupxkup的卷积核即图中对应的Wl，通过对（i/σ，j/σ）向下映射的方法（floor function）找到每个像素在原来的feature map上对应的点，以其为中心点构建出kupxkup的区域做卷积计算，就可以得到一个像素的输出，重复操作可以获得整个输出。

       CAPAFE的整个网络内的参数量特别少，只有Content Encoder中的NxKenconder x Kenconderxσ²xKup²的卷积核的参数，同时它的上采样思路也比较不同，当然它无法如Meta-SR那样做连续缩放。