选自arXiv

作者：LorenzoPorzi等

机器之心编译

编辑：陈萍、杜伟

高分辨率图像上的全景分割面临着大量的挑战，当处理很大或者很小的物体时可能会遇到很多困难。来自Facebook的研究者通过引入实例scale-uniform采样策略与crop-aware边框回归损失，能够在所有尺度上改善全景分割效果，并在多个数据集上实现SOTA性能。

全景分割网络可以应对很多任务（目标检测、实例分割和语义分割），利用多批全尺寸图像进行训练。然而，随着任务的日益复杂和网络主干容量的不断增大，尽管在训练过程中采用了诸如[25,20,11,14]这样的节约内存的策略，全图像训练还是会被可用的GPU内存所抑制。明显的缓解策略包括减少训练批次大小、缩小高分辨率训练图像，或者使用低容量的主干。不幸的是，这些解决方法引入了其他问题：1)小批次大小可能导致梯度出现较大的方差，从而降低批归一化的有效性[13]，降低模型的性能；2）图像分辨率的降低会导致精细结构的丢失，这些精细结构与标签分布的长尾目标密切相关；3）最近的一些工作[28,5,31]表明，与容量较低的主干相比，具有复杂策略的更大的主干可以提高全景分割的结果。

克服上述问题的一个可能策略是从基于全图像的训练转向基于crop的训练。这被成功地用于传统的语义分割[25，3，2]。由于任务被限定在逐像素的分类问题，整个问题变得更加简单。通过固定某个crop的大小，精细结构的细节得以保留。而且，在给定的内存预算下，可以将多个crop堆叠起来，形成大小合理的训练批次。但对于更复杂的任务，如全景分割，简单的cropping策略也会影响目标检测的性能，进而影响实例分割的性能。具体来说，在训练过程中，从图像中提取固定大小的crop会引入对大目标进行截取的偏置，在对完整图像进行推断时低估这些目标的实际边界框大小（参见图1左）。

为了解决这一问题，Facebook的研究者进行了以下两方面的改进。首先，他们提出了一种基于crop的训练策略，该策略可以利用crop-aware损失函数（crop-awareboundingbox,CABB）来解决裁剪大型目标的问题；其次，他们利用instancescale-uniformsampling（ISUS）作为数据增强策略来解决训练数据中目标尺度不平衡的问题。

论文链接：

转载请注明:http://www.voodm.com//mjccys/27180.html