圖卷積網路搭配三重注意力機制之主題標籤推薦系統

Abstract

主題標籤對於現代社群軟體來說佔有一個重要的角色,它可以用來當作增加曝光率的工具,也可以當作分類的依據。過去曾有不少人分別提出從照片、文字、使用者角度出發的標籤推薦方法,然而多數方法只考慮單一資訊對推薦系統所造成的影響,而忽略了不同種資訊間相互作用所帶來的加成效果。在這次的研究中,我們提出了一個創新的TAGNet模型,利用圖卷機網路搭配三重注意力機制,來預測出符合內文及使用者偏好的主題標籤。我們的切入點為相似照片的內文會分享相似的主題標籤,因此我們以照片相似度來建立一個照片圖,並提出一個有別於原始圖卷機網路的傳播方式來傳遞圖中的各種資訊。相對於傳統單一輸入輸出的推薦系統,我們是以一個集體的方式並結合具有相似資訊的內文來達到推薦的目的。此外,人們發文除了照片的資訊之外,文字與使用者習慣也是一個很有用的資訊。因此,我們設計了一個三重注意力機制來抽取並融合照片、文字與使用者資訊交互產生的影響,將所學習到的特徵當作照片圖中的節點特徵。實驗測試在一個大型的Instagram真實資料集上,而其結果顯示我們的TAGNet模型相較於之前最新的方法,在Precision、Recall以及F1-score皆有著顯著的進步,並超越之前方法的表現。

Hashtag is an important advertising tool and a must-have feature for social media nowadays. In the past, many hashtag recommendation methods have been proposed from different perspectives of images, texts, and users. However, most previous works consider neither the mutual influence between multi-modalities, nor the visual similarity between images. In this thesis, we devise a novel model, named Triplet-Attention Graph Network (TAGNet). The rationale behind our method is that visually similar images share some common hashtags. Therefore, we build an image graph, and apply a new Aggregated Graph Convolution (AGC) module to propagate information in a collective way. Furthermore, it is noted that text and user also have rich content information within posts, and we hence propose a Triplet Attention (TA) module to incorporate multi-modalities into node features. Experiments on the large-scale dataset collected from Instagram show that TAGNet achieved significant improvement in recall rate over the best state-of-the-art method.