請用此 Handle URI 來引用此文件:
http://tdr.lib.ntu.edu.tw/jspui/handle/123456789/44089
標題: | 求解大規模一次正規化線性分類最佳化方法的比較 A Comparison of Optimization Methods for Large-scale L1-regularized Linear Classification |
作者: | Guo-Xun Yuan 袁國訓 |
指導教授: | 林智仁(Chih-Jen Lin) |
關鍵字: | 一次正規化,線性分類,最佳化方法, L1-regularization,linear classification,optimization methods, |
出版年 : | 2009 |
學位: | 碩士 |
摘要: | 大規模線性分類器在文件分類以及計算語言學的領域上受到廣泛的運用。一次正規化的線性分類器則可以應用在特徵選擇上,然而其不可微分的性質卻造成求解時諸多困難。近幾年,各種求解一次正規化線性分類問題的最佳化方法相繼被提出,而至今卻並未受到嚴謹地討論與比較。本論文嚴格地探討一些具代表性的方法與實作上的相關議題,並且透過實驗進行徹底地比較。實驗結果顯示出:座標下降法在一般的狀況下,是最適合用來求解一次正規化線性分類問題的最佳化方法;然而,以牛頓法為基礎的最佳化方法則在求解後期能有最快速的收斂特性。 A large-scale linear classifier is useful for document classification and computational linguistics. The L1-regularized form can be used for feature selection, but its non-differentiability causes more difficulties in training. Various optimization methods have been proposed in recent years, but no serious comparison among them has been made. In this paper, we carefully address implementation issues of some representative methods and conduct a comprehensive comparison. Results show that coordinate descent type methods may be the most suitable in general situations though Newton method has the fastest final convergence. |
URI: | http://tdr.lib.ntu.edu.tw/jspui/handle/123456789/44089 |
全文授權: | 有償授權 |
顯示於系所單位: | 資訊工程學系 |
文件中的檔案:
檔案 | 大小 | 格式 | |
---|---|---|---|
ntu-98-1.pdf 目前未授權公開取用 | 9.07 MB | Adobe PDF |
系統中的文件,除了特別指名其著作權條款之外,均受到著作權保護,並且保留所有的權利。