上肢建模運用於關節遮擋問題以及軌跡相似度比較

Abstract

在中風復健系統中，準確性、可靠性和遮擋是三個重要的關注面向。由於現在多數方法著重在解決前兩者準確性和可靠性的問題，但是遮擋也會對系統判別造成影響，因此我們提出融合異質性的感測器，RGB-D相機以及穿戴式裝置，搭配機器學習的方式建構出上肢模型，可在畫面出現遮擋問題時由模型預測出被遮擋的關節位置，以利系統進行正確的判定，並滿足準確性、可靠性和遮擋的三個問題。 有了一系列復健動作的關節位置軌跡，為了矯正患者進行復健的動作，我們希望能將患者以及標準的復健動作進行比對，提供患者能更有效率進行復健。我們提出signature descriptor來代表整段軌跡，因此只要對signature進行比對就能得出兩段軌跡的相似程度，對患者這次的復健動作打出分數。