穿戴型指套手勢感測裝置於日常生活之應用

Abstract

這篇論文提出一個叫做 MidasTouch 的穿戴式指套裝置,用於對日 常生活物品操作手勢之感測。此裝置包含了無線射頻辨識 (RFID) 讀 取器、無線射頻辨識 (RFID) 天線、慣性測量單元 (IMU)。透過無線射 頻辨識 (RFID) 讀取器以及貼在物品上面的無線射頻辨識 (RFID) 標籤, 能夠取得關於物品的資訊,藉由一對安置在指甲與指根部位的慣性測 量單元 (IMU),可以還原使用者對物品操作的手勢。感測距離約兩公 分的無線射頻辨識 (RFID) 天線安置在食指指甲的部位,可以用作讀取 物品的資訊以及作為手勢的起始終結判斷。手勢判斷的部分利用兩個 分別安置在指甲以及指根的慣性測量單元在三維空間中的旋轉作為判 斷依據,使用支持向量機 (Support Vector Machine) 來辨識不同的手勢。 使用者可以透過穿戴這個裝置在背景記錄下每天日常生活中對於物品 的操作,或是能夠用這些物品建立與物聯網物品的關係。我們進行了 兩個各包含 10 位使用者的實驗,實驗一包含八個手勢的辨識以及六個 日常生活物品,實驗一結果顯示我們的系統在辨識對日常生活用品的 手勢是可行的,在每位使用者自己的模型中可以達到平均 98.85% 的 辨識率,使用不同使用者的模型有 75.2% 的辨識率。實驗二包含兩種 手勢在五種功能相同的物體上操作,結果顯示使用不同物體的模型有 96.6% 的辨識率。

This work presents MidasTouch, a finger-worn RFID-inertia-sensor for sensing gestural interactions on everyday objects. The fingerstall-like device comprising an RFID reader and a couple of motion sensors for recognizing the tagged objects and the hand gestures that users are performing on them. The short-range (∼2cm) RFID sensor mounted on the index fingertip functions as a robust feature for object identification and inertia sensor data segmentation, allowing the users wearing the device to directly associate their intentions with tagged objects by touching them or performing natural gestures on them. By wearing the device with the embedded sensing, users can easily log the daily activities related to the everyday things, or control smart things using every- day things. Results of two 10-user studies suggest that the proposed system is feasible of recognizing gestures from everyday objects, and supports reliably uses by each user in a personalized train-and-use basis.