基於深度學習之端對端閩南語語音辨識

Abstract

本論文主要目標為實現端對端(End-to-End)的閩南語語音辨識翻譯系統。閩南語是台灣重要的文化資產，但閩南語教學授課遠不及國語的使用量，且對於閩南語書寫的規定也未盡完善，使得閩南語人口後代的年輕族群已無法流暢使用該語言。在現今的環境下，已經很少人能夠讀懂閩南話的文字。因此，一套閩南語與中文之間的的翻譯系統就顯得重要。近年來的自動語音辨識系統以及翻譯系統日漸普及，也有許多結合兩種功能的系統出生，但卻鮮少台語語音辨識以及翻譯的例子。 傳統的語音辨識系統中，使用遞迴式神經網路(recurrent neural network, RNN)的方法，是與隱藏式馬可夫模型(hidden Markov model, HMM)結合在一起的方法。此系統使用隱藏式馬爾可夫模型來建模數據中的音素序列結構，使用類神經網路來提供局部分類能力。隱藏式馬爾可夫模型部分可以在訓練過程中自動的分割片段序列，將網路分類轉換成標籤序列。但是，同樣繼承了隱藏式馬爾可夫模型的缺點，此系統沒有充分利用遞迴式神經網路在序列模型上的潛力。近年來鏈結式時間分類算法(Connectionist Temporal Classification, CTC)以及序列到序列模型(Sequence-to-sequence, Seq-2-seq)蓬勃發展，本論文之主軸在探討使用這兩個模型相比於傳統語音辨識模型結果的不同，以及嘗試將兩種模型結合以建構出新的模型。