基於專注式類神經網路之依例查詢口述語彙偵測

Abstract

本論文之主軸在探討語音數位內容之口述詞彙偵測。由於近年來網路蓬勃發 展，使得網路上包含語音資訊的多媒體如線上課程、電影、戲劇、會議錄音等日 漸增加，因此，語音數位內容之檢索也隨之受到重視。語音數位內容檢索的關鍵 部分為口述語彙偵測，找出語音文件中出現查詢詞的部分。本論文的查詢詞為語 音訊號，並非文字。傳統的方法都會藉由語音辨識系統先將查詢詞轉為文字，而 本論文則不經過語音辨識系統，使用機器學習中的類神經網路，在訓練語料中學 習聲音的特徵，如此便可直接在語音訊號上進行口述詞彙偵測，以避免語音辨識 系統錯誤率影響檢索系統的問題。 本論文採用了專注式機制，此機制能夠使模型關注在語音文件中某個區塊， 避免多餘的雜訊影響。回顧機制能夠使模型依照先前的輸入而關注在語音文件中 不同地方，進而模型能夠多次關注語音文件，且更精準的找到查詢詞。同時也嘗 試使用語音詞向量，將語音文件編碼成為一向量，其向量能夠有詞與詞之間的相 關性，藉由語音文件向量進行口述詞彙偵測。