基於架構生成器及搜尋進行硬體平台感知之神經網路剪枝

Abstract

卷積神經網絡廣泛用於計算機視覺。需要存儲的大量參數和高計算複雜度導致它們需要具有大量資源的平台來實現某些場景，例如實時應用。為了在資源有限的平台上適應這些計算密集型網絡，研究人員開發了許多網絡壓縮技術，以在減少資源消耗的同時保持性能。成功的壓縮方法的關鍵是在給定資源(例如，參數、推理延遲)約束下產生具有最高性能的網絡。 剪枝是一種有效的網絡壓縮方法。它估計每個濾波器的重要性並消除那些不太重要的過濾器，直到滿足資源限制。雖然現有方法僅考慮網絡中的參數總量或浮點運算 (FLOPs) 作為約束，但這些指標忽略了網絡如何在目標平台上執行。在本論文中，將推理延遲等平台特性引入到修剪指標中。我們提出了一種新的平台感知過濾器修剪方法，可以擴大整個網絡的搜索空間。稱為平台感知架構生成器和搜索(PAGS)，它可以生成給定延遲約束的網絡架構並擴展整體模型架構搜索空間。在搜索階段，我們從生成器構建的候選集中搜索最佳修剪結構。最後，進行典型的剪枝程序將預訓練的模型剪枝為最佳剪枝結構和微調它以恢復性能。大量實驗表明，在相同的延遲約束下，我們的方法可以實現比最先進的方法更好的性能和更低的延遲。