請用此 Handle URI 來引用此文件:
http://tdr.lib.ntu.edu.tw/jspui/handle/123456789/73784
標題: | 具動態限制運算力預算之神經網路推論 BudgetNet: Neural Network Inference under Dynamic Budget Constraints |
作者: | Anthony Chen 陳東尼 |
指導教授: | 王勝德 |
關鍵字: | 動態推論,模型壓縮與加速,強化學習, dynamic inference,model compression and acceleration,reinforcement learning, |
出版年 : | 2019 |
學位: | 碩士 |
摘要: | 針對行動及嵌入式應用的壓縮卷積神經網路架構在先前的研究中已被廣泛提出。然而受限於卷積神經網路靜態的特性,大部分的方法仍需要使用者訓練數個複雜度相異的模型來應付動態的運算限制環境。本論文提出了一個能夠動態調節給定模型計算量的框架。這個框架會在指定的運算資源限制下,選擇預訓練模型中合適的部件(區塊或是途徑) 來進行輸入圖片的鑑定。更具體一點來說,我們提出了一個利用演員─評論家演算法的強化學習方法,訓練一個代理模型在不更動具有支狀結構的預訓練模型架構下,限制模型進行推論時內部元件的使用量。我們使用殘差網路架構作為預訓練模型,並透過CIFAR10以及CIFAR100資料集上的測試來檢測我們所提出的框架。實驗結果顯示我們的框架可以在僅使用單一模型的情況下,於大範圍的計算量預算限制中有效的將模型推論所需要的運算量與推論後得到的分類準確度進行平衡。透過我們提出的方法,在基於ResNeXt29(4×16d) 的預訓練模型上能將其運算量根據使用者的需求降至原先的25%,同時也能夠在此運算變動範圍中於CIFAR10資料集上得到82.5% 至93.4%的分類準確率。 Previous works have shown several approaches to obtain compact convolutional neural networks for mobile and embedded applications. However, due to the static nature of most convolutional neural networks, these approaches require training an individual model for each different budget constraints. In this thesis, we introduce BudgetNet, a framework that dynamically regulates the computational cost of a given model during the inference phase. Our framework directly selects which components, blocks or paths, of a pretrained model to evaluate a given image under assigned budget constraint. Especially, we propose a reinforcement learning approach with actor-critic algorithms to train an agent that dynamically limits the component usage for each pretrained model consisted of branch structures without modifying their architecture. We validate our proposed framework with ResNet and ResNeXt on CIFAR10 and CIFAR100 respectively. The results show that, with a single model, our method efficiently trades off between computation cost and accuracy over a wide range of budget constraints. Based on the ResNeXt29 (4×16d) model, our method can control the amount of computation from lowest 25 % towards original computation according to user’s request while achieving 82.5% to 93.4% accuracy on CIFAR10. |
URI: | http://tdr.lib.ntu.edu.tw/jspui/handle/123456789/73784 |
DOI: | 10.6342/NTU201902091 |
全文授權: | 有償授權 |
顯示於系所單位: | 電機工程學系 |
文件中的檔案:
檔案 | 大小 | 格式 | |
---|---|---|---|
ntu-108-1.pdf 目前未授權公開取用 | 2.47 MB | Adobe PDF |
系統中的文件,除了特別指名其著作權條款之外,均受到著作權保護,並且保留所有的權利。