對於語碼轉換和語音翻譯任務之資料稀缺性與非自回歸模型研究

Abstract

近年因深度學習技術的興起，有越來越多任務採用完全端到端的模型，其表現能夠超越傳統的串接式模型，同時帶來開發上的便利。然而，端到端模型需要相當龐大的標注數據進行模型訓練，但標注資料的過程相當耗時且成本較高，在某些任務上仍然有資料短缺的情況。 本篇論文以語碼轉換和語音翻譯做為研究任務，探討資料稀缺性問題。在語碼轉換任務上，由於資料普遍存在於日常生活對話或私人訊息中，其資料搜集的難度較高，所以目前公開可使用的資料集相當少。此論文首先研究在完全沒有語碼轉換資料的狀況下，如何訓練一個語碼轉換的語言模型；在語音翻譯的任務上，訓練模型需要配對的語音和譯文，此種配對資料較為罕見，相較於語音辨識所需的配對語音和文本、機器翻譯所需的雙語配對文本，現今語音翻譯任務仍有資料稀缺性的問題，故本論文討論在資料有限的狀況下，如何有效利用額外的未配對資料進行模型表現的改進。 此外，現今語音的端到端模型皆採用自回歸模式進行解碼，自回歸的解碼方式帶來良好的語言建模能力，但解碼過程卻相當耗時，在資源有限的條件下不利於現實生活中的應用；針對此問題，本論文同時也探討了語碼轉換和語音翻譯的非自回歸模型，以期以更快的速度得到良好的模型表現。