ND-MAPPO：具有噪音擾動的多智能體近似策略優化算法

Abstract

近年來，許多廣為流行的多智能體強化學習（MARL）算法都採用了集中訓練與分散執行模（CTDE）。近期有部分學者嘗試將CTDE 架構直接套用在單智能體PPO 算法上，將其擴展為擁有集中式值函數的多智能體算法（MAPPO），並在《星際爭霸II》環境中進行測試，但實驗表明MAPPO 在《星際爭霸II》的許多任務下表現不佳。為了解決這個問題，我們設計了基於噪音的MAPPO（簡寫為ND-MAPPO），這個模型通過引入噪音機制，實現在集中的價值函數下給每個智能體分配不同的值，進而促進智能體的探索。實驗證明，我們所提的方法在《星際爭霸II》大部分場景皆遠超MAPPO，並在某些場景下同時超過最先進的CTDE算法QMIX。此外，我們首次從理論上證明PPO 通過集中值函數擴展為MAPPO是具備理論收斂性保證，並進一步分析值函數，從中獲得些有意思的見解。