近日，我校信息科学与技术学院（网络空间安全学院）郑煜辰教授和王晓芳副教授团队在个性化联邦学习研究中取得新进展，研究结果以 CEHGLS: A Communication‑Efficient Head Gradient Linear Search for Personalized Federated Learning under Data Heterogeneity（CEHGLS：面向数据异质性下个性化联邦学习的通信高效头部梯度线性搜索算法）为题，发表于 《IEEE Internet of Things Journal》（中国科学院一区TOP，IF：8.9）。
在实际应用中，联邦学习不可避免地面临数据异质性难题，该难题主要表现为严重的模型聚合偏差。为提升传统同构联邦学习方法应对这一难题的能力，本文提出一种模块化聚合偏差校正策略，命名为通信高效头部梯度线性搜索算法，简称CEHGLS。
该算法借鉴个性化联邦学习中将通用表征与任务专属头部解耦的核心思想，将聚合偏差的缓解设为明确的优化目标。具体而言，所设计的头部梯度线性搜索模块（HGLS）充分挖掘客户端头部梯度中蕴含的丰富方向信息，在参数空间内开展主动线性搜索，寻找能够最大化局部适应性的最优梯度组合，让局部模型更好地适配各自独特的数据分布特征。为保证通信效率，本研究引入头部梯度压缩模块（HGC），通过高压缩率的梯度传输完成校正信号的交互。CEHGLS可灵活适配并接入现有各类传统联邦学习框架，拓展其在高异质性数据环境下的处理能力。
CEHGLS算法框架图