利用 Halide 與 MLIR 加速 OpenVX

Abstract

在過去數年中，相機為主的應用佔據手機應用程式中相當大的一部分，主要是因為社群軟體與AI整合的應用程式頻繁的出現。任何具有一定程式能力的人在沒有影像處理的知識，甚至完全沒有相關知識的情況下都可以利用網路上許多傑出的框架與工具快速地建立屬於自己的模型，因此迅速的推動此類應用的發展， 然而每個框架都有其優劣，所以目前尚未有一個「最」具代表性的優勝者。 OpenVX是一個針對電腦視覺應用而開發的框架，它具有可攜性並且可針對不同的架構做客製化的實現，在現今的主流異構架構中，佔有相當的地位。在這篇論文中，我們將探討如何利用不同語言與框架來加速 OpenVX。 MLIR 是一個編譯器框架，此框架具有很多客製化的「方言」，用來做不同 的程式架構表達，並且可以利用這些方言搭配手寫的程式碼轉換邏輯對程式進 行優化。Halide 是一個在影像處理領域相當突出的語言，它將「演算法」與「排 程」分開處理與優化，因此相當大程度的增加優化彈性與效率，目前也被 Google 的 Pixel 採納用來做相機的影像處理。為了生成更有效率的程式碼，我們提出了' Bridge“，一個可以將 OpenVX 轉換成 Halide 和 MLIR 的系統。