Optimizing Federated Learning on Non-IID Data with Reinforcement

，机器学习应用程序的广泛部署激发了人们对利用存储在移动设备上的大量数据的兴趣。为了保护数据隐私，联邦学习被提出通过在参与设备上执行本地分布式训练并将本地模型聚合为全局模型来学习共享模型。然而，由于移动设备的网络连接有限，联邦学习在所有参与设备上并行执行模型更新和聚合是不切实际的。此外，跨所有设备的数据样本通常不是独立同分布的(IID)，这对联邦学习的收敛性和速度提出了额外的挑战。 在本文中，我们提出了一个经验驱动的控制框架FAVOR，它可以智能地选择客户端设备参与每一轮联邦学习，以抵消非iid数据引入的偏差，并加快收敛速度。通过实证和数学分析，我们观察到设备上训练数据的分布与基于这些数据训练的模型权值之间存在隐式联系，这使我们能够根据该设备上上传的模型权值来描述该设备上的数据分布。然后，我们提出了一种基于深度q学习的机制，该机制学习在每个通信轮中选择一个设备子集，以最大限度地奖励，鼓励提高验证准确性，并惩罚使用更多通信轮。通过在PyTorch中进行的大量实验，我们表明，与联邦平均算法相比，联邦学习所需的通信轮数在MNIST数据集上最多可以减少49%。