於未見噪音環境下以非監督式域調適於語音增強之研究

Abstract

本論文中，我們提出了一種新穎的噪音調適語音增強系統，該系統採用域對抗訓練來解決訓練集和測試集之間噪音環境不匹配的問題。這種不匹配是基於深度學習的語音增強系統中的關鍵問題，當測試環境的噪音是訓練時``未見'的種類時，可能導致語音增強系統的去噪能力嚴重降低。而真實世界中存在無數種的聲學環境，因此這個不匹配的問題非常容易發生，我們試圖利用非監督式域調適的方法來解決此問題。本論文的系統包含了基於類神經網路的語音增強模型和一個域鑑別器，在訓練期間，鑑別器藉由對抗訓練的方式鼓勵語音增強模型產生噪音不變的特徵，藉此強化系統對未見噪音環境的穩健性。我們使用了TIMIT語料庫來評估所提出的系統，實驗結果顯示相較於基準模型，經過噪音調適的語音增強模型在三個常用的語音評估指標：PESQ、SSNR、STOI上都獲得了顯著進步。更進一步地，我們提出了改進版本的域對抗訓練，將域對抗訓練從原本的特徵空間移至輸出空間進行，使模型能夠更好地保留頻譜結構。實驗結果證實，此改進方法在語音品質和降噪能力上相較原始的域對抗訓練又能夠得到更多的提升。