名奢网 › 名表› 名表日报 › 查看内容

图像分割Unet、Unet++和Unet3+

2023-3-16 22:15| 发布者: 夏梦飞雨| 查看: 104| 评论: 0

放大缩小

简介：向AI转型的程序员都关注了这个号前言最近学习了Unet、Unet++和UNet3+模型，并且对这三者中止了一些研讨，并将其作为组会上讲演的内容，效果还是不错，因而趁自己还记得一些，写一个博客记载一下，方便后续温习，不 ...

向AI转型的程序员都关注了这个号

前言

最近学习了Unet、Unet++和UNet3+模型，并且对这三者中止了一些研讨，并将其作为组会上讲演的内容，效果还是不错，因而趁自己还记得一些，写一个博客记载一下，方便后续温习，不得不说Unet模型还是很强大的，也难怪Unet模型往常很火，值得一学。

一、FCN全卷积网络模型

FCN网络模型全称为全卷积神经网络模型(Fully Convolution Network)，该模型是2015年由Jonathan Long等人在一篇论文《Fully Convolutional Networks for Semantic Segmentation》中提出的语义分割模型。该模型算得上是深度学习用于语义分割范畴的开山之作，在后续的语义分割模型中都能够看到FCN模型的影子。其模型结构和CNN十分相像，因而该模型也算是卷积神经网络CNN的升级

图像分割Unet、Unet++和Unet3+

FCN中心机想：

1、将CNN的全衔接层换成了卷积层，这样FCN就顺应任何尺寸的图片输入，也能够使得网络输出是一个热度图（heatmap），而非单个类别标签。

2、参与上采样操作(反卷积) ，将卷积得到的feature map上采样到原图大小，然后这样就能够做像素级别的分类，这样就能够将分割任务变成了分类问题。

3、采用腾跃衔接，即在上采样过程中参与不同深度的feature map。这样既能够将下采样过程中丧失的细节数据补全，又保存了原始图像的空间信息，使得模型具备更高的精度与鲁棒性。这样就是为什么FCN网络模型有FCN32、FCN16、FCN8，如下图

图像分割Unet、Unet++和Unet3+

二、Unet编码模型

FCN模型的提出成为了深度学习处置分割问题的奠基石。但Unet模型的提出能够说是将深度学习处置分割问题推上了一个新的高度。论文《U-Net: Convolutional Networks for Biomedical Image Segmentation》中的Unet模型是与FCN同年2015年提出来的，但其还是晚于FCN。Unet模型能够算是医学图像分割范畴的领头者，其也是经过下采样获取特征图，然后再上采样恢复到原图，但Unet模型有很多共同的中央，正因这些特性才使得U-Net网络模型到往常还如此火热。

图像分割Unet、Unet++和Unet3+

U-Net模型各方面看起来是很好，但是我学到这里的时分就心中有很多疑问疑问了：

U-Net模型一定要按论文中的模型一样下采样四次才叫U-Net模型吗？

下采样关于分割网络是不是必须执行的呢？

上采样必须求等到下采样终了才能够开端上采样吗？

图像分割Unet、Unet++和Unet3+

Unet的缺乏之处就在于它仅有同层之间的衔接，上下层存在信息代沟现象。

三、Unet++模型

U-net++模型望文生义就是U-Net模型的升级版，它出自论文《UNet++: A Nested U-Net Architecture for Medical Image Segmentation》，它既融合了Unet模型的结构思想，也处置了Unet模型存在的缺乏。作者当时就在想，既然Unet模型不一定要下采样四次才是最佳的，那下采样多少次才是做好呢？作者就中止了不同层模型对比实验(如下图)，实验表明最佳的模型结构因数据集的不同而不同。

图像分割Unet、Unet++和Unet3+

既然模型的下采样次数不是一个肯定的值，那我们在锻炼模型前都需求把这些不同层的模型锻炼测试对比一下吗？我想应该是不需求的，不然这样太省事了，我们能够把这些模型融合到一个模型中去，让网络自己去学习不同深度的模型，这样就得到Unet++模型的基本结构了。

图像分割Unet、Unet++和Unet3+

好吧，这个模型又经过其他大佬修正提出了U-Net3+模型，Unet++存在的缺乏就是增加了模型的参数量，从模型构培育能够看出，它比Unet多了很多中间节点；其次就是它缺乏全尺度探求足够信息的才干，即低层模型结构没有参与深层特征图的内容。这也就是UNet3+的创新点。

四、Unet3+模型

Unet3+依据Unet++的缺乏逐一中止了改进，它的创新点就是Unet++存在的缺乏。

4.1、改进的腾跃衔接（全尺度腾跃衔接）

无论是衔接简单的UNet，还是衔接紧密嵌套的UNet++，都缺乏从全尺度探求足够信息的才干，未能明白了解器官的位置和边疆。而Unet3+就去掉了Unet++的稠密卷积块，而是提出了一种全尺寸腾跃衔接。全尺寸腾跃衔接改动了编码器和解码器之间的互连以及解码器子网之间的内衔接，让每一个解码器层都融合了来自编码器中的小尺度和同尺度的特征图，以及来自解码器的大尺度的特征图，这些特征图捕获了全尺度下的细粒度语义和粗粒度语义。

例如，下图是X3De特征图的生成过程，它融合了编码器的小尺度特征图X1Ee、X2Ee、解码器的大尺度特征图X4DeX5De和同尺度的特征图X3Ee。但由于这些特征图与X3Ee的特征图尺寸和通道数不分歧，因而小尺度的特征图需求经过下采样相应的倍数，大尺度的特征图需求上采样相应的倍数才能够和X3Ee的特征图中止融合，然后再经过320个3*3的卷积核中止卷积，最后经过BN+ReLU操作得到X3De的特征图，完成全尺度特征融合。

图像分割Unet、Unet++和Unet3+

4.2 全尺度深度监视

Unet3+的全尺度深度监视与UNet++中的深度监视不同之处在于监视的位置不同，前者监视的是网络解码器每个阶段输出的特征图，后者监视的是网络第一层中的四张特征图（其中三张为腾跃衔接中卷积块的输出特征图，一张为解码器最后输出的特征图）。此外，在UNet3+中，为了完成深度监视，每个解码器阶段的最后一层被送入一个普通的3×3卷积层，然后是一个双线性上采样和一个sigmoid函数（这里的上采样是为了放大到全分辨率）。

4.3 分类指导模块(Classification-guided Module，CGM)

该模块的提出是为理处置医学图像分割过程中非器官图像呈现假阳性的现象(意义就是输入一张没有目的器官的图像，经过模型测试，结果显现存在目的器官的假象)。这个分类指导模块就是将模型的最深层经过dropout，卷积，sigmoid等一系列的操作之后得到一个能否有目的器官的概率，再经过Argmax函数的辅佐下得到一个{0，1}的单个输出，进而指导每一个切分侧边的输出。

图像分割Unet、Unet++和Unet3+