基於大型語言模型的五項程式碼生成組件及其評估

Abstract

本文提出五項基於大型語言模型的程式碼生成組件，用於特定領域的腳本生成，並評估其有效性。貢獻：(i) 基於大型語言模型的語義分割 (Semantic Splitter) 以及資料翻新 (Data Renovation) 組件 以改進資料語義的表示；(ii) 運用大型語言模型重構以產生高品質程式碼的組件 Script Augmentation；(iii) 提出提示技術 隱形知識擴展與思考 (Implicit Knowledge Expansion and Contemplation, IKEC) 組件；(iv) 提出程式碼生成的流程，以五項組件漸進式生成工程模擬軟體 RedHawk-SC 的程式碼；(v) 評估不同參考資料型態之於程式碼生成的有效性。零樣本連鎖思維 (Zero-shot Chain-of-Thought, ZCoT) 為有效的提示技術，包括在五項建設性組件中，以利評估其餘組件之有效性。我們邀請 28 位領域專家透過競技場式評估蒐集 187 份成對比較結果以驗證前述組件之有效性，其中最佳組件於工程軟體 RedHawk-SC 上 MapReduce 程式碼生成表現達到 21.26% 的勝率提升，相較零樣本連鎖思維 6.68% 勝率提升顯著許多。

We propose five constructive components based on Large Language Models (LLMs) for domain-specific code generation and evaluate their effectiveness. The contributions are (i) Semantic splitter and data renovation for improved data semantic representation; (ii) Script augmentation for enhanced code quality; (iii) Implicit Knowledge Expansion and Contemplation (IKEC) prompting technique; (iv) A workflow using hierarchical generation for scripts in the engineering software RedHawk-SC; (v) An evaluation of different reference data types for code generation. We invited 28 domain experts to conduct an arena-style evaluation, collecting 187 paired comparisons to validate the effectiveness of those components. The best component achieved a 21.26% win rate improvement in MapReduce code generation performance for RedHawk-SC, significantly outperforming the 6.68% win rate improvement of the Zero-shot Chain-of-Thought (ZCoT).