分散式共識最小絕對值收斂和選擇算子

Abstract

隨著機器學習的成長，有越來越多的組織與公司嘗試使用機器學習來預測或是做決策。雖然機器學習在現在被廣泛的使用，但是資料集數量不足仍會是很多組織面臨的一大重要問題。為了克服資料不足的情形，聯邦式學習自此便扮演著重要的角色。 我們的研究著重於聯邦式學習的運算效率以及網路安全性。我們應用 ADMM 這個方法來解聯邦學習中的分散式最佳化問題。傳統的同步式 ADMM 中，中央主機需要等所有本地端的工作單位都呈遞權重更新。基於工作單位計算資源的差異，落後者可能會造成同步延遲。為了減低落後者造成的同步延遲，我們提出了非同步 ADMM 這個方法。使用非同步 ADMM，中央主機可以更新全域權重而無需等待落後者，並且可以加快訓練的速度。 我們考慮到使用聯邦式（分散式共識的）LASSO 估計模型，若假設本地端的工作單位 和中央主機之間存在不信任的關係，例如好奇的主機可能會藉由工作單位的更新來尋找本地資料的訊息。另一方面，惡意的本地端工作單位可能會透過發送惡意的更新權重來破壞整體分散式系統的學習過程。我們提出了進階的聯邦式 LASSO 算法，該算法讓各個本地端工作單位在訓練過程中增加隨機噪音到資料裡，藉此提供本地的資料安全性。我們的演算法還可以透過偵測惡意的工作單位並阻絕進入機器學習系統內。由此方法來防止學習過程受到對抗式攻擊，例如模型毒素攻擊和資料毒素攻擊。