IT思维

公众号/将门创投

From: 南开大学 编译:T.R

显著性检测的主要任务是检测出图像中具有最独特视觉特征的目标区域，它在视觉内容编辑、目标检测、渲染、分割等领域有着重要的应用。深度学习特别是全卷积神经网络的发展极大地促进了显著性检测的进步，但目前的方法对于目标边缘的处理还比较粗糙。

EGNet

对于显著性目标检测来说，先前的方法都没有重视显著性边缘检测与显著性目标检测间的互补性。一个优异的显著性边缘检测算法将有效地在定位和分割方面促进显著性目标检测算法，反之亦然。在这种思想的指导下，研究人员开始探索利用单个网络融合显著性边缘信息与显著性目标信息来实现更好的端到端显著性检测。

这一网络的主要任务在于对互补信息建模，并利用两种显著性信息来提升检测的性能。网络的框架如下图所示，包含了主干网络和用于互补信息融合显著性检测的多个模块。

研究人员首先使用VGG作为相对独立的主干网络对图像进行不同层级的信息抽取，并将这五路不同层级的旁支特征送入后续的融合与检测模块中。其中Conv1-2感受野太小没有被采用，而Conv2-2则主要包含边缘信息，用于后续的边缘显著性检测和显著性目标检测。

随后需要分别对图像中的显著性目标特征和边缘特征进行有效抽取和融合。研究人员采用了渐进式的属性目标特征抽取(PSFEM 部分)和非局域的显著性边缘特征抽取(NLSEM )。

在获取互补的显著性边缘及目标特征后，就可以利用边缘信息来引导显著性特征信息实现更好的检测。研究人员将不同层级目标特征的结果与边缘特征FE进行融合实现特征提升。随后得到不同层级特征下获取的掩膜结果，同时在每个结果上添加监督信号。最终将多尺度的掩膜融合起来得到最终的融合结果。

优异结果

由于需要对算法性能进行测试，研究人员首先在DUST数据集上进行了训练，并在ECSSD,PASCAL-S,DUT-OMRON,SOD,HKUIS,DUTS,ECSSD等六个数据集上进行了测评。测评的指标主要是描述平均精度和召回率的F值，描述预测结果准确性的MAE和描述结构信息的S值。

在与15种现有算法的比较后表明，本文提出的方法在各个数据集上都能获得优秀的检测结果。在比较中分别使用了restnet和vgg作为主干网抽取特征，其中箭头的上或下表示结果相较于之前取得大幅或小幅进展：

在消融性分析中研究人员还发现边缘信息对于显著性预测十分有效，同时将顶层语义信息传到底层可以得到更为精确的定位信息。边缘信息的融合也有助于最终显著性检测结果。互补信息可以同时提高分割和定位的效果。下表有效说明了各个模块带来的性能提升。

如果想要了解更多内容，请参看论文

EGNet: Edge Guidance Network for Salient Object Detection

作者同时也放出了代码可以上手学习了：https://github.com/JXingZhao/EGNet/

参考资料