請用此 Handle URI 來引用此文件:
http://tdr.lib.ntu.edu.tw/jspui/handle/123456789/88251
標題: | 應用自動學習於實例分割之堆疊物件泛化夾取流程 A Grasping Methodology for Unseen Object in Clutter Using Instance Segmentation with Auto-Learning Algorithm |
作者: | 曾柏翔 Bo-Xiang Zeng |
指導教授: | 李志中 Jyh-Jone Lee |
關鍵字: | 實例分割,自動學習,未知堆疊物件,RGB-D影像融合,泛化夾取流程, Instance Segmentation,Auto-Learning Algorithm,Unseen Object in Clutter,RGB-D Fusion,Grasping Methodology, |
出版年 : | 2023 |
學位: | 碩士 |
摘要: | 近年來,工廠追求自動化生產,紛紛引入工業機器人取代人力,尤其是在工廠生產線的上下料過程。由於現今生產模式偏向少量多樣且短周期,泛化物件辨識和夾取能力成為廣泛研究的焦點。然而,工廠環境的複雜性以及產品種類的多樣化,使得機械手臂夾取任務仍非常受限。為解決這個問題,本研究提出了一套應用自動學習於實例分割之堆疊物件泛化夾取流程。此流程主要包含兩個步驟:第一步驟是使用以RGB-D影像作為輸入的實例分割模型 (Synthetic RGB-D Fusion Mask R-CNN, SF Mask R-CNN),將物件從場景中分割出來並生成對應的遮罩。為了訓練模型的泛化能力,研究中使用了建模渲染軟體Blender生成大量的訓練資料集,並透過自動學習演算法 (Auto-Learning Algorithm) 針對幾何形狀複雜的物件進行額外的訓練。第二步驟是利用第一步驟得到的物件遮罩中,最上層的遮罩之深度影像作為生成式夾取卷積神經網路 (Generative Grasping Convolutional Neural Network, GG-CNN2) 模型的輸入,以獲得夾取框。最終驗證結果顯示,自動學習演算法使金屬門把的平均準確率提升至0.877,平均召回率提升至0.640。而在實際的夾取實驗中,對於5種隨機堆疊的目標夾取物件場景,平均夾取成功率達到96.85%。實驗結果表明本研究的夾取流程在處理堆疊場景和多樣新物件時表現出色,對於提高夾取成功率和泛化能力具有顯著效果。本研究的成果為工廠自動化和生產效率提升提供了有力支持,並有潛力在實際應用中得到廣泛推廣和應用。 In recent years, factories have pursued automation by replacing human labor with industrial robots, especially in material handling on production lines. However, complex factory environments and diverse product types present challenges for robotic grasping tasks. This study proposes a generalized grasping workflow for random stacking scenarios, consisting of two main steps. First, a Synthetic RGB-D Fusion Mask R-CNN (SF Mask R-CNN) is used to segment objects and generate masks. A large training dataset is created using Blender, and an Auto-Learning Algorithm enhances the model's generalization capability. The validation results show a significant increase in average precision (AP) and average recall (AR) for metal door handles. In the second step, the topmost mask's depth image is inputted into a Generative Grasping Convolutional Neural Network (GG-CNN2) model to predict the grasping point. Actual grasping experiments on five randomly stacked objects achieve an impressive average success rate of 96.85%. The proposed grasping workflow demonstrates outstanding performance in random stacking scenarios, handling diverse objects, and achieving high grasping success rates. These findings support factory automation and productivity enhancement, showcasing the potential for real-world application. |
URI: | http://tdr.lib.ntu.edu.tw/jspui/handle/123456789/88251 |
DOI: | 10.6342/NTU202301737 |
全文授權: | 同意授權(限校園內公開) |
顯示於系所單位: | 機械工程學系 |
文件中的檔案:
檔案 | 大小 | 格式 | |
---|---|---|---|
ntu-111-2.pdf 目前未授權公開取用 | 4.74 MB | Adobe PDF | 檢視/開啟 |
系統中的文件,除了特別指名其著作權條款之外,均受到著作權保護,並且保留所有的權利。