基於文字、圖片及影像對社群平台訊息進行情緒辨識的初步 研究

Abstract

有別於過往使用電子郵件或是部落格的方式,現在網路使用者更 常選擇在社群平台上分享文字、圖片、甚至影片,進而衍生出許多關 於社群平台的研究,而能否用電腦來判斷使用者所想分享的情緒,就 是其中一個有趣的議題。近年來,文字、圖片及影片在各自的領域都 有許多深入的研究,但針對的大多為單一領域。在這篇論文中我們提 出的是一個可以同時處理三種不同形態的資料的系統,更為貼近實際 上所會面對的資料。在此我們提出一套程序化的方法,分別用建立視 覺情緒知網的方式,作為圖片情緒分析;One-hot 文字特徵表示方法及 Word2vec 文字向量化工具,作為文字情緒分析;結合影片中影像及聲 音的特徵,作為影片情緒分析的依據。最後將訓練出來的模型加以結 合,對使用者的發佈的動態做預測,試圖讓電腦能自動判斷其中所含 有的情緒為正向或是負向。我們收集了 1113 則 Facebook 上的動態作 為測試資料,以驗證我們系統中文字及圖片部分的情緒辨認效果,亦 收集了 1101 個帶有情緒的影片資料,來測試系統中影片部分的效果。 雖然因為預測情緒需耗費大量時間,及在影片情緒的辨識上尚未得到 令人滿意的結果,我們仍然提出了一個對社群平台上動態情緒辨識的 系統原型,在圖片情緒辨識上的效能追上、及文字情緒辨識大幅超越 Sentibank 現所提出的方法。

Nowadays, Internet users prefer to share texts, images, and videos on social networks rather than share them via E-mail or blogs, thus creating many research topics related social networks. One of the research problems is to identify the connoted sentiment of an user’s post automatically. Image, text, and video sentiment recognition have been studied extensively over recent years independently. In this thesis we would like to propose a comprehensive system which incorporates all three types of an user’s posts. Here we proposes a procedural system that utilizes Sentibank visual sentiment ontology for image sentiment recognition, one-hot and Word2vec representation for text sentiment analysis, and the combination of visual and audio features for video sentiment recognition. Lastly we use a combination of these three types of model to predict whether the sentiment of an user’s post is positive or negative. We collect 1113 Facebook posts with text and image as our testing dataset for evaluating the performance for image and text input, and 1101 emotion video dataset for video input. Although the proposed system does not perform satisfactorily in terms of computation time and recognition accuracy with video input, it achieves a comparable recognition accuracy with image input and outperforms Sentibank with text input to existing methods proposed by Sentibank.