CGRA 的編譯優化

Abstract

Edge AI在現在的社會越來越重要，尤其是在移動端關於reference的應用，目前主流的架構如GPU、CPU、ASIC無法很好的滿足Edge AI的特性，也就是在有限的能源消耗下，並且達到一定的運算力，所以現在逐漸在其他的架構上做探索，對於CGRA(Coarse-Grained Reconfigurable Architectures)的探索也在這幾年來逐漸上升，CGRA很好的在能耗上跟運算彈性上做出取捨，不過其編譯的複雜度也很大的阻礙了CGRA的發展; CGRA的編譯是一個三維的配對問題，分別是時間和空間，目前時間上的順序主要是靠modulo scheduling 來生成 software pipelining 後的執行順序。 而空間上的配對則是要把分配到同個時間執行的指令，依照相對關係分配到2D的CGRA上。在本論文中我們主要針對空間分配的部分，我們觀察目前編譯的演算法在實際空間配對時會遇到的問題，並把問題做出分類跟觀察其特性，使問題可以提早被發現。我們的改進，可以在不影響編譯後程式的效能的前提下，大幅縮短編譯的時間，和一定程度上的改進程式的效能。我們的方法可以在目前的演算法的基礎下，改進程式5.9%的效能和9.6倍的編譯時間。同時，在Edge AI模型中最常用到的convolution運算中，我們針對已經經過權重剪枝的模型，提出了一個方法能同時大幅度的改進編譯結果跟速度，結果取決於剪枝的程度，通常我們能數倍的改善效能和編譯時間。