多指觸控顯示器之實體互動

Abstract

實體使用者介面之研究已發展二十多年,此一概念改變了使用鍵盤滑鼠操作電腦的生硬 刻板印象。利用實體物件自然地連結數位資訊或執行對應的功能,提供使用者操作電腦的便 利性與直覺性,藉由碰觸或移動物體時的觸覺回饋,更增強使用者與系統溝通的互動歷程。 傳統上,開發實體使用者介面大多利用影像偵測技術來達成實物辨識之功能,因此需要複雜 的硬體建置;本篇論文首先提出基於電容式觸控之實物偵測技術,簡化系統複雜度,讓普及 的電容式面板,不需增改硬體便能支援實體使用者介面開發。我們提出三種 TUIC 標籤可附加 在實體物件上以提供電容式觸控面板感測物件的能力;TUIC 標籤使用低成本的導電材質模擬 手指觸控訊號,並將其在空間及時間上的排列做為物件編碼之方式。 我們所發展的軟體讓電容式面板可分辨手指操作或是實體物件操作,結合多指觸控與實 體使用者介面,我們提出兩種互動模型,分別呈現在大型互動桌及小型行動觸控裝置中。在 互動桌上,我們開發一套支援多重顯示器之地圖導覽系統,使用者可使用象徵自己的人偶遊 走在地圖上,並在前方顯示由人偶視角看到的街景圖,此系統讓街景視野與地圖方位有較好 的連結,猶如使用者置身於虛擬世界中遊歷。在行動觸控裝置上,我們提出可延伸的實感觸 控介面,藉由附加在裝置邊緣的延伸控制器,解決手指遮蔽畫面的問題,並提供觸覺回饋。 更重要的是,此解決方案不需要電力且易於攜帶,有利於行動裝置之應用。 除了使用實體物件做為輸入裝置,本篇論文並提出可動式實體互動介面,以螢幕本身的 光訊號來傳送指令,讓 TUIC 標籤以光感元件接收,進而驅動實體物件產生對應的動作。我們 將此技術運用在社交玩偶上,玩偶附有馬達可帶動舉手等動作,使用者可將代表不同好友的 玩偶放置在 iPad 上,做為好友來電提示功能,當好友在社群網路傳送訊息或更新狀態時,便 能以其動作提醒使用者,增加互動的趣味性。最後我們提出具有應用潛力的互動模式,供未 來研究及商品開發做為參考方向。

This dissertation presents technologies and interaction models that combine tangible interaction with multi-touch UI. It describes TUIC, a technology that enables tangible interaction on capacitive multi-touch displays without requiring any hardware modifications. TUIC simulates finger touches on capacitive displays, such as iPad, iPhone, and 3M’s multi-touch displays, using passive materials and active modulation circuits embedded inside tangible objects, and can be used with multi-touch gestures simultaneously. We demonstrate three TUIC approaches on iPads and 3M’s multi-touch displays: passive (2D), active (frequency), and hybrid. In addition, we have extended TUIC to support bidirectional tangible interaction. For object tracking, we can use TUIC tags. For communication, we embed photodiodes into objects, and transmit data to them by programmatically changing the screen’s brightness levels. We also present three novel tangible interaction models for tabletop-size and tablet-size multi-touch devices. First, our multi-display map touring system helps people use figurines to navigate through continuous panorama based on the street view, thus enhance better orientation perception and walkthrough experience. Second, Clip-on Gadgets solve the problem of fingers obscuring the screens and provide haptic feedback by extending the interaction area of multi-touch devices with unpowered physical controllers. Third, Social Toy uses motorized actuators to create ambient social awareness. Our contributions include providing low-cost and easy-to-build techniques to enable tangible interactions on off-the-shelf multi-touch devices, empowering developers to explore and create diverse TUI applications, and making TUI accessible to end users.