請用此 Handle URI 來引用此文件：
http://tdr.lib.ntu.edu.tw/jspui/handle/123456789/19147完整後設資料紀錄
| DC 欄位 | 值 | 語言 |
|---|---|---|
| dc.contributor.advisor | 林智仁(Chih-Jen Lin) | |
| dc.contributor.author | Cheng-Xia Chang | en |
| dc.contributor.author | 常成霞 | zh_TW |
| dc.date.accessioned | 2021-06-08T01:46:38Z | - |
| dc.date.copyright | 2016-08-24 | |
| dc.date.issued | 2016 | |
| dc.date.submitted | 2016-08-09 | |
| dc.identifier.citation | [1] C. Chen and O. L. Mangasarian. A class of smoothing functions for nonlinear and mixed complementarity problems. Computational Optimization and Applications, 5(2):97-138, 1995.
[2] R.-E. Fan, K.-W. Chang, C.-J. Hsieh, X.-R. Wang, and C.-J. Lin. LIBLINEAR: a library for large linear classi cation. Journal of Machine Learning Research, 9:1871-1874, 2008. [3] E. M. Gafni and D. P. Bertsekas. Two-metric projection methods for constrained optimization. SIAM Journal on Control and Optimization, 22:936-964, 1984. [4] I. Guyon and A. Elissee . An introduction to variable and feature selection. Journal of Machine Learning Research, 3:1157-1182, 2003. [5] S.-I. Lee, H. Lee, P. Abbeel, and A. Y. Ng. E cient l1 regularized logistic regression. In Proceedings of the Twenty- rst National Conference on Arti cial Intelligence (AAAI-06), pages 1-9, Boston, MA, USA, July 2006. [6] Y.-J. Lee and O. L. Mangasarian. SSVM: A smooth support vector machine for classi cation. Computational Optimization and Applications, 20(1):5-22, 2001. [7] C.-J. Lin, R. C. Weng, and S. S. Keerthi. Trust region Newton method for large-scale logistic regression. Journal of Machine Learning Research, 9:627-650, 2008. [8] C. Ramirez, R. Sanchez, V. Kreinovich, and M. Argaez. √(x2 + μ) is the most computationally efficient smooth approximation to |x|: a proof. Uncertain Systems, 8(3):161-239, 2014. [9] M. Schmidt, G. Fung, and R. Rosales. Fast optimization methods for l1 regularization: A comparative study and two new approaches. In Proceedings of European Conference on Machine Learning, pages 286-297, 2007. [10] P. Tseng and S. Yun. A coordinate gradient descent method for nonsmooth separable minimization. Mathematical Programming, 117:387-423, 2009. [11] G.-X. Yuan, K.-W. Chang, C.-J. Hsieh, and C.-J. Lin. A comparison of optimization methods and software for large-scale l1-regularized linear classi cation. Journal of Machine Learning Research, 11:3183-3234, 2010.24 [12] G.-X. Yuan, C.-H. Ho, and C.-J. Lin. An improved GLMNET for l1-regularized logistic regression. Journal of Machine Learning Research, 13:1999-2030, 2012. | |
| dc.identifier.uri | http://tdr.lib.ntu.edu.tw/jspui/handle/123456789/19147 | - |
| dc.description.abstract | L1正規化的分類器被廣泛應用于獲取稀疏模型，但是其二階不可導特性對優化過程帶來了很大的挑戰。本文中，消除非約束性優化方法的使用限制,通過平滑近似L1的方法使其二階可微，從而可以使用常見的牛頓法解決。進一步探討該方法的應用空間，我們將之與L1和L2正規化問題的最佳化方法做了詳細的對比實驗，結果證實平滑化近似法繼承了L1和L2的某些特性，但應用前景依然不容樂觀。 | zh_TW |
| dc.description.abstract | L1-regularized classi ers are widely used to obtain sparse models; however, thenon-di erentiability of L1-regularized form causes more challenges in optimization. In this thesis, in order to eliminate the limited use of standard unconstrained methods in L1-regularized problems, smooth convex pproximations are used to replace the absolute form to make the problem twice-di erentiable. Thus we can use popular Newton methods to solve the reformulated problem. Results show that after approximation, the modified problem behaves in the middle of L1- and L2-regularized problems. To further investigate the pratical application of this approximation method, we also conduct experiments to compare with the state-of-art methods for olving L1- and L2-regularization problems. | en |
| dc.description.provenance | Made available in DSpace on 2021-06-08T01:46:38Z (GMT). No. of bitstreams: 1 ntu-105-R01944041-1.pdf: 2595662 bytes, checksum: 7a0d4a54bc3ba7aebd978f44b8b36c50 (MD5) Previous issue date: 2016 | en |
| dc.description.tableofcontents | 口試委員會審定書: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : i
中文摘要: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : ii ABSTRACT : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : iii LIST OF FIGURES : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : vi LIST OF TABLES : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : vii CHAPTER I. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 II. Review of Existing Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . .. . 4 2.1 Smooth Approximations of the L1 Term . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.1.1 epsL1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.1.2 smoothL1 . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.2 newGLMNET . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.3 Trust Region Newton Method . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 III. Newton Method for Smoothed L1-Regularized Logistic Regression. . . .10 3.1 Framework . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 3.2 Implementation Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 3.2.1 Settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 3.2.2 Stopping Condition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 3.2.3 Trust Region Bounds . . . . . . . . . . . . . . .. . . . . . . . .. . . . . . . . . . . . . 13 IV. Experiments . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 4.1 Data Sets and Settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 4.2 Selection of Smoothing Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . 15 4.3 Comparison Between Trust Region and Line Search . .. . . . . . . . . . . . . . 17 4.4 Comparison with L1-regularized and L2-regularized Logistic Regression .17 V. Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 BIBLIOGRAPHY : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 24 | |
| dc.language.iso | en | |
| dc.subject | 平滑近似 | zh_TW |
| dc.subject | L1正則化 | zh_TW |
| dc.subject | Unconstrained Optimization | en |
| dc.subject | L1-approximation | en |
| dc.title | L1正規化的平滑近似方法之比較 | zh_TW |
| dc.title | A Comparison of Smoothing Approximation
Methods for L1-regularized LR | en |
| dc.type | Thesis | |
| dc.date.schoolyear | 104-2 | |
| dc.description.degree | 碩士 | |
| dc.contributor.oralexamcommittee | 林軒田(Hsuan-Tien Lin),李育杰(Yuh-Jye Lee) | |
| dc.subject.keyword | L1正則化,平滑近似, | zh_TW |
| dc.subject.keyword | L1-approximation,Unconstrained Optimization, | en |
| dc.relation.page | 25 | |
| dc.identifier.doi | 10.6342/NTU201602127 | |
| dc.rights.note | 未授權 | |
| dc.date.accepted | 2016-08-10 | |
| dc.contributor.author-college | 電機資訊學院 | zh_TW |
| dc.contributor.author-dept | 資訊網路與多媒體研究所 | zh_TW |
| 顯示於系所單位： | 資訊網路與多媒體研究所 | |
文件中的檔案：
| 檔案 | 大小 | 格式 | |
|---|---|---|---|
| ntu-105-1.pdf 未授權公開取用 | 2.53 MB | Adobe PDF |
系統中的文件，除了特別指名其著作權條款之外，均受到著作權保護，並且保留所有的權利。