適用於非獨立同分布用戶之有效分群式切分學習系統

Abstract

"邊緣裝置的激增導致用戶數據的數量空前增長。為了避免邊緣端原始資料上傳至雲端的過程中產生隱私疑慮，分布式學習系統能在邊緣端處理這些豐富數據，有望引領下一代智能應用程序和設備的發展。切分學習 (Split Learning) 作為一種很大有前景的分布式學習方法，提供了一種在多個數據存儲庫和運算裝置上訓練單個網絡的拓撲方法。 然而，邊緣裝置生成和收集的數據通常在整個網絡中呈現非獨立同分布(Not Independent and Identically Distributed, non-IID)的狀態，導致了切分學習中的潛在的準確性下降的這一挑戰。針對這個問題，我們提出了使用強化學習做用戶選擇的切分學習(Client Selection in Split Learning with Reinforcement Learning)，它可以在切分學習中進行智慧的用戶選擇從而抵消非獨立同分布數據引入的偏差，並達到與傳統集中式學習演算法相當的準確性。 此外，切分學習系統的固有特徵是要求邊緣端裝置進行依次訓練，這會對系統的速度和效率產生不利影響。在本論文中，通過設置不同數量的集群來控制邊緣端的並行度和模型的整合程度，我們提出了客戶端分群切分學習(Client-clustering Split Learning)，從而在訓練時間和準確性之間進行靈活的權衡。之後，我們又提出了分群數量切換式切分學習(Cluster-switching Split Learning)，通過利用不同集群數量的優勢，只需犧牲少量的模型性能就可以節省大量的訓練時間。 邊緣設備硬體規格的異質性導致了計算能力的多樣性，使得單一方法成為所有情況下的最佳解決方案是不切實際的。因此，在評估了邊緣和服務器之間耗時的不平衡之後，我們分析了適用於各種資源限制場景下的最有效演算法。"