Skip navigation

DSpace

機構典藏 DSpace 系統致力於保存各式數位資料(如:文字、圖片、PDF)並使其易於取用。

點此認識 DSpace
DSpace logo
English
中文
  • 瀏覽論文
    • 校院系所
    • 出版年
    • 作者
    • 標題
    • 關鍵字
  • 搜尋 TDR
  • 授權 Q&A
    • 我的頁面
    • 接受 E-mail 通知
    • 編輯個人資料
  1. NTU Theses and Dissertations Repository
  2. 電機資訊學院
  3. 電機工程學系
請用此 Handle URI 來引用此文件: http://tdr.lib.ntu.edu.tw/jspui/handle/123456789/93793
標題: 利用簡化群最佳化對類神經網路、卷積神經網路和圖卷積網路進行超參數優化
Simplified Swarm Optimization for hyperparameter of Artificial Neural Networks, Convolutional Neural Networks and Graph Convolutional Networks
作者: 黃浩然
Ho-Yin Wong
指導教授: 王凡
Farn Wang
關鍵字: 深度學習,圖像識別,節點分類,卷積神經網絡,圖卷積神經網絡,簡化群體優化,超參數優化,
Deep learning,Image recognition,Node classification,Convolutional neural networks,Graph convolutional networks,Simplified swarm optimization,Hyperparameter optimization,
出版年 : 2024
學位: 碩士
摘要: 本研究探討了簡化群最佳化(SSO)和改進的簡化群最佳化(iSSO)在提升類神經網路(ANN)、卷積神經網路(CNN)和圖卷積網路(GCN)性能方面的應用。目前深度學習的文獻主要集中在網絡架構上;然而,本研究認為超參數優化—特別是激活函數、優化器、正則化技術和學習率調度器的優化—也扮演著至關重要的角色。為了證實這個假設,利用SSO來優化標準ANN模型、CNN模型LeNet和基本的GCN模型的超參數。實驗評估包括對ANN使用Iris、UCI ML手寫數字和Olivetti人臉數據集,對CNN使用MNIST、Fashion-MNIST和CIFAR-10數據集,對GCN使用Cora、Citeseer和Pubmed數據集。結果顯示,使用SSO及其改進版本iSSO的模型準確性均超過了原始配置。此外,iSSO能在相對較短的時間內找到最佳超參數。另外,SSO還提供了一種系統化的方法來選擇激活函數和優化器。
This research investigates the application of Simplified Swarm Optimization (SSO) and improved Simplified Swarm Optimization (iSSO) to enhance the performance of Artificial Neural Networks (ANN), Convolutional Neural Networks (CNN) and Graph Convolutional Networks (GCN). Current literature in deep learning predominantly concentrates on network architectures; however, this study argues that hyperparameter optimization – specifically of the activation function, optimizer, regularization techniques, and learning rate schedulers – plays a critical role. To substantiate this hypothesis, SSO and iSSO were utilized to optimize hyperparameters in the standard ANN model, the CNN model LeNet, and a basic GCN model. The experimental evaluation included datasets such as Iris, UCI ML hand-written digits, and Olivetti faces datasets for ANNs, MNIST, Fashion-MNIST, and CIFAR-10 datasets for CNNs, and Cora, Citeseer, and Pubmed datasets for GCNs. The results indicated that the accuracy of models employing both SSO and its improved variant, iSSO, exceeded that of the original configurations. Moreover, the optimal hyperparameters were identified in a relatively short time in iSSO. Additionally, SSO provided a systematic methodology for the selection of activation functions and optimizers.
URI: http://tdr.lib.ntu.edu.tw/jspui/handle/123456789/93793
DOI: 10.6342/NTU202402611
全文授權: 未授權
顯示於系所單位:電機工程學系

文件中的檔案:
檔案 大小格式 
ntu-112-2.pdf
  目前未授權公開取用
1.86 MBAdobe PDF
顯示文件完整紀錄


系統中的文件,除了特別指名其著作權條款之外,均受到著作權保護,並且保留所有的權利。

社群連結
聯絡資訊
10617臺北市大安區羅斯福路四段1號
No.1 Sec.4, Roosevelt Rd., Taipei, Taiwan, R.O.C. 106
Tel: (02)33662353
Email: ntuetds@ntu.edu.tw
意見箱
相關連結
館藏目錄
國內圖書館整合查詢 MetaCat
臺大學術典藏 NTU Scholars
臺大圖書館數位典藏館
本站聲明
© NTU Library All Rights Reserved