基於錨定的即時實例分割系統

Abstract

本研究提出一個即時的實例分割系統，實例分割的目的在於找出圖片中的各個物件，並區分出每個實例之間的差異，例如圖中有兩個人，就需要區分出是兩個不同的人。目前有許多基於Mask R-CNN的two-stage方法，能達到相當高的MAP，例如RefineMask可以於coco2017val達到45.3 MAP，但無法達到Real-time。同時Real-time的作法，例如BlendMask與SipMask MAP則僅有36.3與34.2。本系統基於scaled yolov4，並將其延伸，在維持其原本Real-time的特性下，加入了實例分割的功能，實例分割的部分主要參考BlendMask，並加上了錨定（anchor）的概念。同時於NMS提出了一個創新的做法，Mask confidence。並於FPN的P2加入一個Saliency Map branch進行self-supervised learning。最終可在Real-time的情況下，於coco2017val達到42.6 MAP。