利用預訓練語言遮罩模型探索語意相近用詞於換句話說生成之研究

Abstract

產生換句話說的句子是重要的自然語言處理任務，生成的句子必須傳達相同的意思，但是使用不同用詞。由於近期預訓練語言模型有強大的自然語言理解能力，這篇論文中我們提出有效利用BERT 模型的方法來探索語意相近的用詞，使用在換句話說句子的生成中。雖然利用BERT 做文字代換是常見的資料增強方法，但在換句話說的任務上帶來的進步幅度是有限的，因此我們不直接從分佈中隨機抽樣詞來做代換。由於一些相關研究的啟發，我們提出的方法將BERT 生成的分佈作為潛在的向量，整合在在Transformer Decoder 的注意力機制中。實驗的結果顯示我們提出的方法的BLEU 分數比現階段表現最好的模型更高，比起基準模型也得到更好的BLEU 與Rouge 分數，透過分析我們更觀察到提出的模型使用了訓練資料中沒有的詞彙代換來生成換句話說的句子。因此透過利用BERT 所學到的知識，我們能生成以量化的指標衡量下，表現更好的換句話說。