【Semantic Segmentation】语义分割综述
metric 为mIOU
| year |
method |
PASCAL VOC 2012 |
PASCAL Context |
Cityscapes |
ADE20K |
| 2019 |
HRNet |
|
54.0% |
83.7% |
|
| 2019 |
EMANet |
88.2% |
|
|
|
| 2019 |
DUpsampling |
|
52.9% |
|
|
| 2019 |
DANet |
80.4% |
52.6% |
81.5% |
|
| 2019 |
Gated-SCNN |
|
|
82.8% |
|
| 2019 |
DenseASPP |
|
|
80.6% |
|
| 2019 |
Auto-DeepLab |
84.6% |
|
|
|
| 2019 |
FastFCN |
|
53.13% |
|
55.84% |
| 2018 |
DeepLabv3+ |
89% / 87.8% |
|
82.1% |
|
| 2018 |
CCNet |
|
|
81.3% |
|
| 2018 |
SDCNetAug |
|
|
83.5% |
|
| 2018 |
DFN |
86.2% |
|
80.3% |
|
| 2018 |
BiSeNet |
|
|
78.9% |
|
| 2018 |
ShelfNet |
|
48.4% |
75.8% |
|
| 2018 |
ExFuse |
87.9% |
|
|
|
| 2018 |
DPC |
87.9% |
|
|
|
| 2018 |
EncNet |
85.9% |
51.7% |
|
|
| 2018 |
DeeplabV2 + Lovász-Softmax |
79.0% |
|
|
|
| 2017 |
DeepLabV3 |
86.9% |
|
|
|
| 2017 |
TuSimple |
83.1% |
|
|
|
| 2017 |
GCN |
82.2% |
|
77.4% |
|
| 2016 |
RefineNet |
84.2% |
47.3% |
|
|
| 2016 |
DeepLabV2 |
|
45.7% |
70.4% |
|
| 2016 |
PSPNet |
85.4% |
|
81.2% |
|
| 2016 |
FCN |
67.2% |
37.8% |
65.3% |
|
| 20 |
|
|
|
|
|
语义分割是指对图像中的每一个像素分配一个类别。
单独一个像素并没有特殊的含义，必须将其放置在上下文中才能识别像素的类别。
我们要增大感受野必然要将feature map 缩小，最后必然要将feature map还原到原图大小。
而语言分割核心的问题就是在于大的特征图和大的感受野之间的冲突。
同时，由于要分割的目标具有多尺度的特性，大的物体往往可以很好的分割，但是小的物体不明显，不具有分割的尺度。
多尺度是目标检测和分割都存在的问题。
以下就从历史发展情况，总结一下各个阶段的sota论文。
语义分割问题总体来说还可以细分为三个大方向。
数据：
长尾数据集问题，半监督，非监督，few shot, zero shot , domain transform，NAS。
模型：
基本上可以分为encoder和decoder结构，特征金子塔模型，空洞卷积模型，注意力模型，3D语义分割等。
优化：
loss选择，边缘模糊。
通用的一些trick 比如说 优化器，LR 设置，防止过拟合等应该会写一篇单独的blog来讲。
一个blog图太多，加载太慢了，分割一下。
【Semantic Segmentation】语义分割综述 – Encoder And Decoder
【Semantic Segmentation】语义分割综述 – Pyramid & Multi-Path
【Semantic Segmentation】语义分割综述 – Atrous Convolution
【Semantic Segmentation】语义分割综述 – Attention
【Semantic Segmentation】语义分割综述 – Faster
【Semantic Segmentation】语义分割综述 – Semi-supervised
【Semantic Segmentation】语义分割综述 – NAS
【Semantic Segmentation】语义分割综述 – 3D
语义分割论文集 https://www.aiuai.cn/aifarm62.html
other paper
[ExFuse] Enhancing Feature Fusion for Semantic Segmentation
[DPC] Searching for Efficient Multi-Scale Architectures for Dense Image Prediction
[TuSimple] Understanding Convolution for Semantic Segmentation
[HRNet] Deep High-Resolution Representation Learning for Visual Recognition (CVPR 2019)
[DUpsampling] Decoders Matter for Semantic Segmentation: Data-Dependent Decoding Enables Flexible Feature Aggregation (CVPR 2019)
[SDCNetAug] Improving Semantic Segmentation via Video Propagation and Label Relaxation
[Gated-SCNN] Gated Shape CNNs for Semantic Segmentation (CVPR 2019)
[DFN] Learning a Discriminative Feature Network for Semantic Segmentation (CVPR 2018)
https://arxiv.org/abs/1804.09337
