基於連續強化學習線上調整動態隨機存取記憶體控制器

Abstract

部署貼合用戶任務的最佳內存控制器策略提供低延遲以及低耗能的記憶體資料傳輸。然而，傳統的方法並未全面解決限制性能的幾個問題，包括：(1) 對動態環境缺乏適應性，(2) 無法擴展至多重策略，(3) 缺乏知識保留能力。本研究的目標是設計一個在線調整內存控制器的工具，能夠實現：(1) 適應性，根據當前用戶任務動態調整策略；(2) 可擴展性，支援多重策略管理；(3) 連續性，在經歷一系列新任務後保留知識。為此，提出一套自動化工具，透過連續強化學習後的代理人來調整控制器設定，已具備應對上述問題的特性。在多樣的實驗中，本工具的性能接近帕累托最佳解，較製造商基線平均提升35%。此外，研究引入了連續學習來保留知識，當工作變化更加頻繁時，其性能相比於未採用連續學習的策略提高了多達 33%。

Deploying optimal memory controller policies can significantly improve energy efficiency. However, previous methods face challenges such as limited adaptivity to dynamic environments, poor scalability for multiple policies, and lack of knowledge retention. To address these, this work proposes an online tuning tool that: (1) dynamically adapts policies to current tasks, (2) scales to manage multiple policies, and (3) retains knowledge. It employs continual reinforcement learning to tackle these issues effectively. Experiments on diverse workloads show that this tool achieves performance near the Pareto-optimal solution, with an average improvement of 35% over the manufacturer’s baseline, and improves performance by up to 33% compared to non-continual learning approaches under frequent task changes.