端對端基於範例的任意對任意語音轉換

Abstract

語音轉換是將一位語者所說出的語音轉換成聽起來像由另一位語者說出，但語音的語言內容維持不變。本論文專注於任意對任意語音轉換，亦即模型能將任意一位語者的聲音轉換成任意另一位語者的聲音，即使這兩位語者的語音都不存在於訓練資料集中。透過提供兩位語者各一段語音給任意對任意語音轉換模型，第一位語者語音的語言內容以及第二位語者語音中的語者相關資訊被提取出來，結合在一起後合成出轉換過後的語音；這是最具一般性的語音轉換設定，卻也最具挑戰性。使合成語音的語言內容清晰自然且與第一段語音完全相同，但聽起來非常像是由第二位語者所說出，便是任意對任意語音轉換的終極目標。 本論文透過文獻回顧，首先指出過去將語者表徵用於任意對任意語音轉換模型的潛在問題；接著討論自監督式學習所得語音表徵之潛力，以及其取代過去常用於語音轉換的其他語音表徵之可行性。最後，本論文提出一個全新的任意對任意語音轉換模型，啟發自基於範例的語音轉換，且模型乃基於類神經網路，因而能端到端學習並執行語音轉換；同時，新模型中利用專注機制解決過去使用語者表徵的各種方法之不足，也利用自監督式學習所得語音表徵進一步提升其表現。透過客觀評量及人類受試者主觀評量，結果顯示本論文所提出之新模型表現超越過去最佳的任意對任意語音轉換模型。另外，對於專注機制的分析，也使我們能窺探及解釋這個基於類神經網路的新模型如何做到語音轉換。