請用此 Handle URI 來引用此文件:
http://tdr.lib.ntu.edu.tw/jspui/handle/123456789/1161
標題: | 基於視覺之使用者界面分割演算法 Vision Based User Interface Segmentation Algorithm |
作者: | Yi-An Chen 陳奕安 |
指導教授: | 王勝德(Sheng-De Wang) |
關鍵字: | 影像分割,使用者界面,人機界面,文件分析,跨平台整合, segmentation,user interface,human–computer interaction,document analysis,cross–platform integration, |
出版年 : | 2018 |
學位: | 碩士 |
摘要: | 圖像分割廣泛的被應用於將視覺表現不同的資訊區隔出來。然而,在使用者界面相關的研究領域,不同使用環境發展出不同的演算法。本篇論文中,我們提出一個統合的、基於視覺的使用者界面分割演算法,能利用使用者界面的截圖即能計算其架構資訊。此演算法首先利用邊緣偵測以及一些定義好的邏輯偵測出使用者界面上的基本元素:方塊、線段、以及圖形輪廓。接著,我們定義一個計算兩元素距離的函數以及一個閥值選擇演算法來進行階層式分群。我們將此演算法運行在網頁界面以及手機應用程式上來評估其性能,並分析評估過程中演算法常見的缺失。 Segmentation is used broadly to differentiate the presentation of different kinds of information. However, methods on different user interface environments tend to develop their own algorithms for this process. In this paper, we propose a unified vision-based segmentation algorithm, called UISeg, that only uses screenshots to estimate structural information of the user interface. The algorithm first leverages edge detection and a set of heuristics to recognize discrete elements such as boxes, lines, and contours. Then, we define a pairwise distance function and a threshold selection algorithm for the hierarchical clustering process. We evaluate the performance of UISeg with screenshots of web pages and mobile applications. Also, we analyze common failure cases among them. |
URI: | http://tdr.lib.ntu.edu.tw/handle/123456789/1161 |
DOI: | 10.6342/NTU201802030 |
全文授權: | 同意授權(全球公開) |
顯示於系所單位: | 電機工程學系 |
文件中的檔案:
檔案 | 大小 | 格式 | |
---|---|---|---|
ntu-107-1.pdf | 5.5 MB | Adobe PDF | 檢視/開啟 |
系統中的文件,除了特別指名其著作權條款之外,均受到著作權保護,並且保留所有的權利。