近日，深圳北理莫斯科大學人工智能研究院訪問學生王魯亞以深北莫為第一單位，在無線通信領(lǐng)域頂級學術(shù)期刊IEEE Transactions on Wireless Communications（IEEE TWC，中國科學院一區(qū)TOP期刊，IF：10.4）發(fā)表研究成果，題目為“Accelerating Wireless Federated Learning via Nesterov’s Momentum and Distributed Principal Component Analysis”。論文合作作者包括深圳北理莫斯科大學董延杰副教授、胡希平教授、梁中明教授（Life Fellow, IEEE）、北京科技大學張海君教授（杰青、Fellow, IEEE）、光明實驗室執(zhí)行主任于非教授（Fellow, IEEE）和深圳大學王佳助理教授。
該論文研究了一種無線聯(lián)邦學習系統(tǒng)架構(gòu)，如上圖所示。該系統(tǒng)允許服務器和多客戶端通過正交無線信道交換未編碼的信息。由于客戶端頻繁通過受限信道向服務器上傳本地梯度，導致從客戶端到服務器的上行傳輸成為整個系統(tǒng)的通信瓶頸。因此，采用一次性分布式主成分分析（PCA）來降低上傳梯度的維度，以緩解通信瓶頸。基于低維梯度和Nesterov動量提出了一種PCA基無線聯(lián)邦學習（PCA-WFL）算法及其加速版本（即PCA-AWFL）。論文首次針對非凸損失函數(shù)進行了有限時間分析，以量化系統(tǒng)超參數(shù)對PCA-WFL和PCA-AWFL算法收斂性的影響。本文定量化地揭示了PCA-AWFL算法傳統(tǒng)隨機梯度下降算法收斂更快和客戶端數(shù)量的線性加速效果。
同期，深北莫人工智能研究院梁鋒副教授以第一作者在信息科學領(lǐng)域的頂級學術(shù)期刊Information Sciences (IF: 8.1，中國科學院一區(qū)Top期刊) 發(fā)表以深北莫為第一單位題為”RelJoin: Relative-cost-based Selection of Distributed Join Methods for Query Plan Optimization“的學術(shù)論文。
該論文針對分布式數(shù)據(jù)庫的join操作在數(shù)據(jù)交換過程中產(chǎn)生的大量網(wǎng)絡通信工作負載造成性能瓶頸的問題，提出了通信負載感知的基于相對成本的查詢優(yōu)化器，實現(xiàn)了分布式數(shù)據(jù)庫從邏輯執(zhí)行計劃到物理執(zhí)行計劃的實時優(yōu)化。文中通過對多種分布式join操作在不同執(zhí)行階段的網(wǎng)絡和本地計算工作負載的建模，解釋了join操作兩端的數(shù)據(jù)集的相對大小對于性能影響的重要性。基于此，文中提出的RelJoin的高效分布式join物理操作的選擇策略，利用運行時自適應的統(tǒng)計數(shù)據(jù)對不同的分布式join操作進行精準的成本估算，并為邏輯執(zhí)行計劃中的join操作實時選擇最佳的物理實現(xiàn)，從而實現(xiàn)最優(yōu)的物理查詢計劃。在TPC-DS基準測試中，相比其它執(zhí)行計劃優(yōu)化方法，RelJoin在97個查詢中的62個中表現(xiàn)最佳，可以將平均查詢時間減少高達21％。該工作已實現(xiàn)在業(yè)界流行的分布式數(shù)據(jù)庫SparkSQL中，可廣泛應用于大數(shù)據(jù)的查詢、分析和搜索的場景，具有科研和工業(yè)應用的雙重價值。
該論文的合作作者包深北莫胡希平教授、李成明教授，和來自香港大學、北京大學、香港浸會大學等多所高校的學者，體現(xiàn)了深北莫教師與其它著名高校的緊密學術(shù)合作，并取得了一定的成效。
論文相關(guān)信息：
[1]Y. Dong et al., "Accelerating Wireless Federated Learning via Nesterov’s Momentum and Distributed Principal Component Analysis," in IEEE Transactions on Wireless Communications, vol. 23, no. 6, pp. 5938-5952, June 2024, doi: 10.1109/TWC.2023.3329375.
[2]F. Liang et al., " RelJoin: Relative-cost-based Selection of Distributed Join Methods for Query Plan Optimization," in Information Sciences, vol. 658, 120022, 2024, doi: 10.1016/j.ins.2023.120022.
