论文题目:Fully Convolutional Networks for Semantic Segmentation
论文下载: [点击下载](/download/Fully Convolutional Networks for Semantic Segmentation.pdf)
Intorduction:
FCN毫无疑问是语义分割领域的经典之作,在FCN出现之前,传统的CNN分割是将像素周围一个小区域作为CNN输入,做训练和预测,这样低效且不准确(忽略整体信息)。FCN主要有三点创新:
-
卷积化:即将传统CNN结构(文中提到的Alexnet、VGG)最后的全连接层改成卷积层,以便进行直接分割,这是十分有创造性的。这样,使得网络可以接受任意大小的图片,并输出和原图一样大小的分割图。只有这样,才能为每个像素做分类。(像素分类使用图像分类模型(如AlexNet VGGNet等pre-trained model)做迁移学习。)
-
上采样 or 反卷积:由于网络过程中进行了一系列下采样,使得特征层大小减小,了最后得到的预测层和原图一致,需要采用上采样。
-
并联跳跃结构:想法类似于resnet和inception,在进行分类预测时利用多层信息。
下图是传统分类CNN和FCN的对比,简单的说,FCN与CNN的区别在于FCN把CNN最后的全连接层换成卷积层,输出一张已经label好的图。
框架如如下,采用了skip connection
上图不够清晰,可以看下图
不同层次对比,其中FCN-8s效果最好
不足:对细节不敏感,没有充分考虑像素之间的关系,缺乏空间一致性。
评论区