基於使用者特徵將通用語言模型個人化及相關研究

Abstract

本論文探討語音辨識中的語言模型個人化，並探討兩種不同的架構且分析其 優劣。此外，為了達到更完善的個人化語言模型，針對模型的初始化以及如何有 效運用在辨識系統中我們也提出了一些方法及分析。 在網路、手機與穿戴式裝置的普及下，人們產生了大量的資料存在各式平台 上。隨著使用者對應用程式的需求愈來愈大，個人化語音辨識系統不再是不可行 的想像。社群網路的興起如臉書等讓個人語料的蒐集不再困難，我們希望透過蒐 集使用者在社群網路上的文章更加了解使用者的用詞特性、文章主題，讓語言模 型個人化以便提升使用者之語音辨識正確率。本論文探討兩種語言模型個人化之 方法，基於模型轉換之個人化以及基於使用者特徵將通用語言模型個人化。前者 需要對每位使用者訓練其語言模型，這可能因資料稀疏性導致模型過度貼合使用 者語料。而後者不僅能順利解決資料稀疏性的問題，還能透過特徵抽取讓所有使 用者共享模型來降低訓練時的時間與資源。 此外，遞迴式類神經網路語言模型(RNNLM：Recurrent Neural Network)尚未 有一個好的初始化方法。我們使用非負矩陣因子分解(NMF：non-negative matrix factorization) 以及潛藏式主題模型(latent topic model)，希望能透過事前學習到的 知識來給類神經網路一個好的初始化。再者，目前的語音辨識系統只利用了N連 文法語言模型進行辨識，原因是因為利用類神經網路會使得辨識時間大幅增加。 我們探討一種方法讓類神經網路語言模型轉換至N連文法語言模型，使辨識系統 不但可以參考類神經網路所得到的機率分佈，更能因為N連文法語言模型的形式 不讓辨識時間有所增加。