在虛擬環境中結合臉部表情偵測以創造正向情緒感染

Abstract

當代社會的情緒議題日漸受到關注，人們對於情感體驗的需求也逐漸迫切。而在虛擬實境的技術日益發展的情況下，如何提升使用者在虛擬環境中的情感體驗成為了一個重要的研究方向。我們希望通過結合臉部表情偵測技術，創造出更加自然和愉快的互動體驗，從而促進正面情緒的傳播。研究目的是了解虛擬代理如何通過實時臉部表情偵測影響使用者的情緒，以及如何設計有效引導情緒之虛擬環境。研究設計了兩個使用者研究，分別招募了 16 位和 12 位受試者。研究分別探討了不同的虛擬代理呈現方式對使用者情緒的影響，以及在不同互動反饋下使用者的情緒變化。而在研究中我們使用了由台灣動畫家兼導演邱立偉所設計的本土 IP 小貓巴克里作為實驗中的任務角色。而在研究結果顯示，高互動性和沉浸感的互動介面能有效提升使用者的正面情緒感染效果。同時，研究強調了與環境風格一致的介面選擇對增強正向情緒的重要性，並建議未來引入更多元的文字轉語音技術及多模態大型模型以提升研究的準確性和個人化體驗。本研究的成果為創新治療方法的開發者以及尋求改善情緒和心理健康的大眾，提供了如何在虛擬環境中促進正向情緒感染的實驗結果和設計考量，進一步推動個性化情緒支持和互動的發展。

In contemporary society, the demand for emotional experiences is growing, especially as virtual reality (VR) technology advances. This study explores the integration of facial expression detection to enhance user emotional experiences in VR, aiming to understand how virtual agents can influence emotions through real-time detection and how to design environments that effectively guide emotions. Through two user studies with 16 and 12 participants, using the local IP character Barkley the Cat, the research found that highly interactive and immersive interfaces significantly enhance positive emotional contagion. The study underscores the importance of interface design that aligns with environmental style and recommends incorporating diverse text-to-speech technologies and multimodal models for improved accuracy and personalization. These findings offer valuable insights for developers and the public in promoting emotional and mental well-being in virtual environments.