segmentation reviews notes.md

• 语义分割综述论文笔记
• Deep Semantic Segmentation of Natural and Medical Images: A Review
  • FCN
  • Encoder-decoder 编码解码网络
    • SegNet
    • Unet
    • V-net
    • DenseNet
    • DeepLabV3+
  • 减少语义分割的计算量的工作
  • 基于注意力机制的图像语义分割
  • 对抗图像语义分割
• 医疗图像中的架构提升
  • 基于模型压缩的图像分割
  • 基于图像分割的对抗训练
  • 基于 RNN 的网络模型
  • 优化方法上的提升
  • 基于重叠度量的损失函数
• 总结

语义分割综述论文笔记

Deep Semantic Segmentation of Natural and Medical Images: A Review

一篇自然和医学图像的深度学习语义分割综述，分为 6 个方向:深度学习框架、基于数据综合、基于损失函数、基于序列模型、弱监督、多任务方法。

FCN

第一个基于 CNN 的方法,实现像素级别的分类，2015 年 Long 等人发表。

 FCN 结构

Encoder-decoder 编码解码网络

SegNet

2015年提出。解码器网络是为了映射低分辨率编码器特征到完整的输入分辨率特征图，从而进行像素级分类，创新性是上采样过程中使用了池化索引(pooling indices),如图：

 SegNet 中的池化索引

Unet

Ronneberger 等人2015年提出,典型的编码解码网络,一条编码路径和解码路径结合，加入了跨层连接。

 Unet 结构

V-net

Milletari 等人2016年提出，加入残差连接，将 2D 操作替换为 3D 操作，实现 3D 分割，并广泛使用语义分割指标：Dice

<div align="center">![Unet](./image/2019-12-02-23-01-58.png) Vnet网络结构 </div>

DenseNet

Jeugo 等人2017年提出，使用了编码解码框架,但是通过网络搜索发现,denseNet 是一个分类网络啊,并不是分割的网络啊,这是为啥呢!!

DeepLabV3+

2018 年，state of the art 在 VOC2012 上。在 deeplabV3 的基础加入空洞卷积,编码部分通过收集不同尺度的空洞卷积和金字塔池化加入了多尺度语义信息

 DeeplabV3+

减少语义分割的计算量的工作

略。。。

基于注意力机制的图像语义分割

加入注意力机制的深度残差网络（Residual attention network for image classification，2017 年）
将注意力机制加入到空间和通道中。（Dual attention network for scene segmentation，2019 年）
金子塔注意力机制（Pyramid attention network for semantic segmentation， 2018 年）
将注意力机制加入 deeplab 中（Attention to scale: Scale-aware semantic image segmentation，2016 年）

对抗图像语义分割

GANs(generative adversarial networks)

医疗图像中的架构提升

主要是基于深度学习的 2D 和体积的图像分割

基于模型压缩的图像分割

为了实时分割或者解决体积或 2D 图像，例如 CT MRI 和一些病理学图像。

利用神经结构搜索方法在 Unet 中获得更小的网络为器官和肿瘤分割（NAS-Unet: Neural architecture search for medical image segmentation，2019 年）
群体化规范（group normalizaztion，2018 年）和 leakyReLU 函数重新设计了 Unet 结构使得在分割 3D 医学图像更加高效。（A partially reversible U-Net for memory-efficient volumetric image segmentation， 2019 年）
空洞卷积结合残差网络需要参数更少（Spinal cord gray matter segmentation using deep dilated convolutions，2018 年）
加入注意力机制的模型分割 MRI 图像 加入多级注意力结构分割 MRI 图像（Multi-scale guided attention for medical image segmentation,2019)

基于图像分割的对抗训练

基于对抗训练的 CT 图像 (PAN:Projective adversarial network for medical image segmentation，2019)
将生成对抗训练用于视网膜图像(Retinal vessel segmentation in fundoscopic images with generative adversarial networks, 2017) 基于生成对抗网络的 FCN 分割 MRI 图像(SegAN: Adversarial network with multi-scale L1 loss for medical image segmentation, 2018)

基于 RNN 的网络模型

RNN 被设计用来处理序列关系,长短期记忆(LSTM 是一个 RNN 的一种类型)

结合 RNN 的 FCN 的图像序列分割算法(Recurrent neural networks for aortic image sequence segmentation with sparse annotations, 2018)
结合 LSTM 和 CNN 分割 4D 脑部 MRI 切片图像(Fully convolutional structured LSTM networks for joint 4D medical image segmentation, 2018) 结合 LSTM 和 Unet 分割 3D CT 扫描图像(Pancreas segmentation via spatial context based U-Net and bidirectional LSTM. 2019)

优化方法上的提升

最常用的就是交叉熵 加权交叉熵 平衡交叉熵(Holistically-nested edge detection, 2015) 加入距离的平衡交叉熵交叉熵(Unet 论文,2015)

基于重叠度量的损失函数

Dice loss/F1 Score IoU 交并比 Tversky Loss(TL)

指数对数损失

Lovasz-Softmax loss Boundary Loss 边界损失

总结

VOC2012 分割精度总结

 VOC2012 分割精度总结

其他潜在的方向： 结合先验知识，加强模型对像素的理解。 创建大型 2D,3D 训练集 探索类似强化学习的方法,模仿人类进行划分界限. 修改输入而不是模型,损失函数等等.