利用人類骨架位移資料去辨識人類行為- 運用動態時間規整、決策樹學習模型、核密度估計

Abstract

隨著硬體設備效率的進化與雲端網路速度的提升，利用大數據做智慧的判讀是目前與未來的趨勢，本研究主要探討如何利用人體關節的三維座標之時間序列資料，並採用統計模型與機器學習的演算法，將骨架關節座標資料變化之特徵作為演算法判斷受測者行為的依據。本研究開發的模型可運用於的情境，如居家照護，監控長輩是否有跌倒或是一些行為的異常；運動科學，判斷特定體育活動，運動員的活動績效或是計算出現關鍵行為的次數(如籃球的投籃、上籃、跑步等);達成人機互動之目的，如對設備鏡頭做特定動作(如揮手)，設備就會給予相對應的回應。 本論文記錄兩種模型之探索式研究法的結果，第一種是利用三維的資料建置基於規則的(Rule-based)方法，運用決策樹分析並依照決策樹結果去建置基於規則的指標(Rule-based index)來判定行為，並且利用核密度估計來估算模型的準確性。第二種則是利用基於模型的(Model-based)方法來判定行為，運用能將時間序列段分群的演算法-動態時間規整(Dynamic Time Warping)，將相似特徵的時間序列資料分群。模型建立完畢後，新輸入的行為時間序列資料，會套用該動態時間規整模型，計算出與訓練集資料最相似的行為，作為行為判定結果的依據。 除了上述兩種方法的嘗試，本文獻也會涵蓋到不同方法的資料處理流程與優劣勢，包含資料的預處理，填補缺失值，偵測離群值與如何將二維資料轉換成三維。再來是特徵工程，利用原始座標製造出如速度，加速度，角度變化，關節相對位置長度，區間內平均變化速度等特徵，並找出對於觀測目標重要的特徵。接下來是使用統計或機器學習的模型，將原始資料貼上人工判讀的行為標籤後，輸入至模型並解讀、輸出與預測結果跟原始貼標的符合度做為模型的績效。最終，利用模型判別的結果建立觀測指標，如本研究是籃球情境，可依據受測者關鍵動作的發生次數與持續時間去綜合成一個運動表現指標，達到判別受測者運動能力程度的目的。