零樣本主題分類的進展：基於 BERT 模型與大型語言模型的比較與分析

Abstract

本研究針對零樣本主題分類（Zero-Shot Topic Classification, ZSTC）問題，提出一種結合維基百科知識與自訓練技術的WC-SBERT 模型。相較於傳統監督式學習方法，ZSTC 旨在無需任何已標註訓練數據的前提下，將文本劃分至預定義主題類別。此能力對於處理數據稀缺、主題多樣且標註成本高昂的實際應用場景至關重要。 WC-SBERT 模型首先利用維基百科資料進行預訓練，獲取廣泛語義知識；隨後透過自訓練技術強化分類能力，將預訓練知識遷移至特定主題分類任務。於多個基準數據集（AG News、Yahoo Answers、DBpedia）的評估結果顯示，該模型不僅優於傳統SBERT 模型，更在AG News 與Yahoo Answers 數據集達到最先進（SOTA）水準。 除了提出新模型，本研究亦探討描述性標籤增強（Descriptive Label Augmentation）與自動提示工程（Auto Prompt Engineering, APE）技術，證實透過GPT 模型生成富含語義信息的標籤描述，可顯著提升分類效能。 另一核心貢獻在於針對大型語言模型（LLM）在ZSTC 任務中的表現，進行系統性的基準測試與比較分析。實驗揭示了LLM 與BERT-based 模型在不同情境下的優劣勢：儘管LLM 展現強大泛化能力，但在特定領域與資源受限情境下，經過優化的WC-SBERT 仍具備高度競爭力與效率優勢。 綜上所述，本研究驗證了WC-SBERT 模型有效性，並提供BERT-based 模型與LLM 在零樣本分類任務的完整比較基準，為該領域研究提供具價值的參考依據。

This research addresses Zero-Shot Topic Classification (ZSTC) by proposing WCSBERT, a model integrating Wikipedia knowledge with self-training techniques. Unlike traditional supervised learning, ZSTC categorizes text into predefined topics without labeled training data, a capability essential for scenarios with data scarcity and high annotation costs. WC-SBERT leverages Wikipedia for pre-training to acquire broad semantic knowledge, followed by self-training to transfer this knowledge to specific classification tasks. Evaluations on benchmark datasets (AG News, Yahoo Answers, DBpedia) show that WCSBERT consistently outperforms traditional SBERT and achieves state-of-the-art (SOTA) results on AG News and Yahoo Answers. Additionally, this study explores Descriptive Label Augmentation and Auto Prompt Engineering (APE), confirming that semantically rich label descriptions generated via GPT models significantly enhance classification performance. Another core contribution is a systematic benchmarking of Large Language Models (LLMs) in ZSTC. Results reveal the trade-offs between LLMs and BERT-based models: while LLMs show strong generalization, the optimized WC-SBERT remains highly competitive and efficient in domain-specific and resource-constrained environments. Overall, this study validates WC-SBERT and establishes a comprehensive benchmark comparing BERT-based models and LLMs, providing a valuable reference for the field.