請用此 Handle URI 來引用此文件:
http://tdr.lib.ntu.edu.tw/jspui/handle/123456789/82381
標題: | 圖形關注卷積網路之基於點雲三維人體姿態預測 Graph Attention Convolutional Network for 3D Human Pose and Shape Estimation from Point Clouds |
作者: | Sheng-Chun Huang 黃聖竣 |
指導教授: | 簡韶逸(Shao-Yi Chien) |
關鍵字: | 三維人體姿態預測,圖卷積網路,機器學習模型, 3D human pose and shape estimation,Graph convolutional neural networks,Transformer, |
出版年 : | 2021 |
學位: | 碩士 |
摘要: | 三維人體姿態預測一直以來在電腦視覺領域中都是一個非常具有挑戰性的問題。當前大多數基於深度學習的方法只使用RGB圖片作為輸入數據。然而我們認為這樣的信息量不足以表達一個完整且正確的人體。根據局部關節網路,我們選擇三維數據—點雲做為更好的輸入資料。 另一個問題是許多以前的方法回歸人體網格模型的姿勢和體態參數,即 SMPL參數。 但SMPL參數的主要的缺點包括表面域差異和三維旋轉的表示問題。參考Pose2Mesh,我們利用圖卷積神經網路代替傳統的卷積神經網路並直接回歸三維人體網格。 儘管圖卷積神經網路在人體姿態預測上有很好的表現,但它主要是處理坐標之間的局部關係。為了加強人體結構的非局部交互,我們結合圖卷積神經網路和 Transformer 編碼器來同時考慮局部和非局部交互。 在本論文中,我們利用了多種方法並提出了一種多層架構來預測三維人體姿態。實驗結果顯示,我們提出的圖形關注卷積網路之基於點雲三維人體姿態預測在合成數據上的表現明顯優於局部關節網路。 對於真實數據,我們將其分為兩類,有或沒有深度訊息。在具有深度訊息的真實數據部分,我們方法預測的人體網格相當準確。與局部關節網路相比,效果也有非常明顯的提升。在沒有深度訊息的真實數據部分,我們設計了一個可以從RGB圖片生成點雲的系統。也就是說這些數據可以在我們的模型上運行。在 Human3.6M 數據集上與當前最先進的三維人體姿態預測方法相比,我們的人體網格預測方法明顯優於其他方法。據我們所知,我們也是第一個將點雲生成系統應用於三維人體姿態預測的方法。 |
URI: | http://tdr.lib.ntu.edu.tw/jspui/handle/123456789/82381 |
DOI: | 10.6342/NTU202104559 |
全文授權: | 同意授權(全球公開) |
電子全文公開日期: | 2024-01-01 |
顯示於系所單位: | 電子工程學研究所 |
文件中的檔案:
檔案 | 大小 | 格式 | |
---|---|---|---|
U0001-2212202118060200.pdf | 38.37 MB | Adobe PDF | 檢視/開啟 |
系統中的文件,除了特別指名其著作權條款之外,均受到著作權保護,並且保留所有的權利。