間歇性深度推論之分塊尺寸最佳化

Abstract

自供電系統已逐漸成為物聯網 (IoT) 設備可持續性的解決方案，但不穩定的電源供應也為計算量龐大的應用程序（例如，間歇性深度推論）帶來新的挑戰。近年來，在眾多研究者的努力下，深度推論已經可以在間歇性系統上執行。然而我們觀察到，因為間歇性系統斷斷續續執行的特性，傳統上用來優化深度推論的分塊演算法在電源不穩定時，會比不做任何優化有著更差的效能。 本文提出了一種間歇性分塊優化，通過考慮間歇性行為來找到適合的分塊尺寸。藉由提出間歇分塊尺寸搜尋器和間歇性能模型，我們可以利用它們在資料再用和間歇執行成本之間找到適當的平衡。我們在德州儀器設備上實作和部署我們提出的方法，並評估不同場景下的性能。與傳統的分塊優化相比，我們的方法可以保證在能量預算內安全執行，並根據不同場景實現從 11% 到 84% 的更高性能。