异构网络中的联合优化
该存储库包含本文的代码和实验:
联合学习是一种分布式学习范例,它具有两个与传统的分布式优化不同的关键挑战:(1)网络中每个设备的系统特性方面的显着可变性(系统异质性),以及(2)不完全相同的分布式数据跨网络(统计异质性)。 在这项工作中,我们引入一个框架FedProx,从理论上和经验上解决联邦网络中的异构性。
该存储库包含一组针对联合数据集的详细的经验评估。 我们证明FedProx比FedAvg具有更强大的收敛性。 特别是,在高度异构的环境中,FedProx展示了相对于FedAvg而言更加稳定和准确的收敛行为-将绝对测试准确度平均提高了22%。
一般准则
请注意,如果您想使用FedProx作为基准并运行我们的代码:
如果使用不同的数据集,则至少需要根据您的指标调整学习率和mu参数。 您可能希望从{0.001,0.01,0.1,0.5,1}调整mu。 没有适用于所有
1