基於視覺之使用者界面分割演算法

Abstract

圖像分割廣泛的被應用於將視覺表現不同的資訊區隔出來。然而，在使用者界面相關的研究領域，不同使用環境發展出不同的演算法。本篇論文中，我們提出一個統合的、基於視覺的使用者界面分割演算法，能利用使用者界面的截圖即能計算其架構資訊。此演算法首先利用邊緣偵測以及一些定義好的邏輯偵測出使用者界面上的基本元素：方塊、線段、以及圖形輪廓。接著，我們定義一個計算兩元素距離的函數以及一個閥值選擇演算法來進行階層式分群。我們將此演算法運行在網頁界面以及手機應用程式上來評估其性能，並分析評估過程中演算法常見的缺失。

Segmentation is used broadly to differentiate the presentation of different kinds of information. However, methods on different user interface environments tend to develop their own algorithms for this process. In this paper, we propose a unified vision-based segmentation algorithm, called UISeg, that only uses screenshots to estimate structural information of the user interface. The algorithm first leverages edge detection and a set of heuristics to recognize discrete elements such as boxes, lines, and contours. Then, we define a pairwise distance function and a threshold selection algorithm for the hierarchical clustering process. We evaluate the performance of UISeg with screenshots of web pages and mobile applications. Also, we analyze common failure cases among them.