全景影像例項語意分割之標注工具

Abstract

為了解決圖像投影扭曲問題以及物件對應問題，我們設計並實作了一款基於網路應用的標注工具，並且命名為Label 360。在標注的格式上，我們定義每一個物件都是由一個球面多邊形去包圍，並紀錄其每個頂點在全景影像上的經緯度位置。另外，我們也實作了一個後處理算法，將標注出的多邊形頂點透過大圓航線公式去計算頂點間的連線，並畫出全景影像中每一個像素的類別。最後我們針對標註工具進行了兩項實驗，第一項是找兩位標註專家來使用Label 360對同一組影像標註，然後檢驗兩者標註結果的一致性，結果得到了整體約0.92的IoU；第二項是找一位標註專家分別使用Label 360和LabelMe去標註同一組影像，從得到的結果中，可以得知我們的標註工具在標註速度上面比LabelMe快1.45倍。從以上兩個實驗可以證明，在全景影像的例項語意分割的資料標註工作上，我們的工具可以有效的去幫助標註者進行標註，並且透過解決投影扭曲、物件對應的問題，來減少對標註人員的負擔以及標註難度，更提升了標註人員的工作效率、提升了整體標注的品質。

We design and develop a web-based annotation tool—Label 360, which aims for solving the distortion and instance correspondence problems during annotating panoramas. We define a new annotation format recording polygon vertices in longitudes and latitudes, and introduce a post-processing algorithm, which connects polygon vertices with bearing formulas to generate pixel-wise label mask of panoramic image. Besides, we conduct two experiments to examine consistency between different annotators using Label 360 and compare labelling efficiency with LabelMe. Our tool obtains IoU 0.92 in consistency test and has annotation speed about 1.45x faster than LabelMe, proving that Label 360 is valid for generating human-annotated semantic segmentation masks for panorama, and it does solve the distortion and correspondence problems, making panorama annotation process easier, more efficient and more accurate.