請用此 Handle URI 來引用此文件:
http://tdr.lib.ntu.edu.tw/jspui/handle/123456789/90168
標題: | 應用自動驗證技術提升自然語言程式化問答系統可靠性之綜合研究 Programming Natural Language for Strengthening QA Reliability through Automatic Validation |
作者: | 任恬儀 Tien-Yi Jen |
指導教授: | 陳信希 Hsin-Hsi Chen |
關鍵字: | 知識庫問答,數學問題,大型語言模型, Knowledge Graph Question Answering,Math Word Problem Solving,Large Language Model, |
出版年 : | 2023 |
學位: | 碩士 |
摘要: | 大型語言模型 (LLMs) 不僅革新了自然語言處理 (NLP) 領域,也為實際應用帶來了重大變革。儘管有這些進步,像程序生成這樣的領域仍然具有挑戰性。本論文專注於生成兩種類型的程序:數學程序和知識圖譜問答 (KGQA) 程序。
對於數學程序,我們的工作提出了一種新穎的回收數值數據擴增 (RNDA) 方法,該方法自動生成高質量的訓練實例與程序。實驗結果顯示,用擴增數據訓練的模型可以達到最先進的性能。 與此同時,在KGQA程序的領域,我們提出了一種反向生成的驗證方法以提高可靠性。實驗表明,這種方法也可以提高ChatGPT在此任務的性能。 總的來說,該研究通過引入新方法,描繪了程序生成的範式轉變,專注於改善數學和KGQA程序。這些發現為未來的研究提供了一個有前景的基礎,目標是充分利用大型語言模型。 Large Language Models (LLMs) have revolutionized not only the field of Natural Language Processing (NLP) but also brought significant changes to real-world applications. Despite these advancements, certain realms like program generation have been challenging to leverage. This thesis concentrates on the generation of two types of programs: Math programs and Knowledge Graph Question Answering (KGQA) programs. For the math program, our work proposes a novel recycling numeracy data augmentation (RNDA) approach that automatically generates high quality training instances with programs. Experimental results show that the model trained on the augmented data could achieve the state-of-the-art performance. Meanwhile, in the realm of KGQA programs, we propose a reverse generation-based validation to enhance reliability. Experiments show this approach can also improve the performance of the task on the ChatGPT. In essence, the research delineates a paradigm shift in program generation through the introduction of new methods, focusing on the betterment of Math and KGQA programs. The findings offer a promising foundation for future research aimed at leveraging Large Language Models to their fullest potential. |
URI: | http://tdr.lib.ntu.edu.tw/jspui/handle/123456789/90168 |
DOI: | 10.6342/NTU202302191 |
全文授權: | 同意授權(全球公開) |
顯示於系所單位: | 資訊網路與多媒體研究所 |
文件中的檔案:
檔案 | 大小 | 格式 | |
---|---|---|---|
ntu-111-2.pdf | 617.15 kB | Adobe PDF | 檢視/開啟 |
系統中的文件,除了特別指名其著作權條款之外,均受到著作權保護,並且保留所有的權利。