GFL框架 GFL是基于pytorch的联合学习框架,它提供了不同的联合学习算法。 GFL还是Galaxy学习系统(GLS)的基础结构。 GLS是基于区块链和GFL的联合学习系统。 目前,GFL部分首先是开源的,而区块链部分将很快开源。 除了传统的联邦学习算法,GFL还提供了一种基于模型提炼的新联邦学习算法。 开发人员可以选择不同的联合学习算法来训练他们的模型。 对GFL对象或对联邦学习研究的可以扫描末尾的二维码加入GFL交流群进行交流哦〜 GFL基础框架设计 框架设计参考PaddleFL 准备工作 当我们想使用GFL时,我们需要指定几种策略并生成FL作业。 FederateStrate
2024-07-30 13:34:36 216KB algorithm decentralized blockchain pytorch
1
,机器学习应用程序的广泛部署激发了人们对利用存储在移动设备上的大量数据的兴趣。为了保护数据隐私,联邦学习被提出通过在参与设备上执行本地分布式训练并将本地模型聚合为全局模型来学习共享模型。然而,由于移动设备的网络连接有限,联邦学习在所有参与设备上并行执行模型更新和聚合是不切实际的。此外,跨所有设备的数据样本通常不是独立同分布的(IID),这对联邦学习的收敛性和速度提出了额外的挑战。 在本文中,我们提出了一个经验驱动的控制框架FAVOR,它可以智能地选择客户端设备参与每一轮联邦学习,以抵消非iid数据引入的偏差,并加快收敛速度。通过实证和数学分析,我们观察到设备上训练数据的分布与基于这些数据训练的模型权值之间存在隐式联系,这使我们能够根据该设备上上传的模型权值来描述该设备上的数据分布。然后,我们提出了一种基于深度q学习的机制,该机制学习在每个通信轮中选择一个设备子集,以最大限度地奖励,鼓励提高验证准确性,并惩罚使用更多通信轮。通过在PyTorch中进行的大量实验,我们表明,与联邦平均算法相比,联邦学习所需的通信轮数在MNIST数据集上最多可以减少49%。
2024-01-15 17:58:33 1.13MB pytorch pytorch
1
联邦蒸馏是联邦学习中的一种新的算法范式,使客户端能够训练不同的网络架构。在联邦蒸馏中,学生可以通过提取客户端对公共服务器数据的平均预测来学习他人的信息,而不会牺牲他们的个人数据隐私。然而,仅使用平均软标签作为所有学生的老师的方法会受到客户端草案的影响,尤其是当本地数据是异构时。软标签是模型之间的平均分类分数。在本文中,我们提出了一个新的框架FedMMD(基于多教师和多特征蒸馏的联邦学习),该框架对客户端之间的不同数据分布具有鲁棒性。FedMMD扩展了FD训练程序中的聚集阶段和蒸馏阶段。与在所有学生中共享同一教师的方法相反,FedMMD 为每个需要进行多次独立蒸馏的学生分配不同的教师。由于每个模型都可以单独视为教师,FedMMD解决了共享教师仅具有平均性能由平均软标签引起的问题。同时,在每次蒸馏中,FedMMD没有使用模型在公共数据上的平均软标签作为教师,而是引入了中间表示和软标签的组合作为蒸馏目标,以了解教师的更多信息细节。我们在两个公共数据集(CIFAR10和MINIST)上的广泛实验证明了所提出的方法的性能。
2023-03-18 22:08:53 2.28MB 深度学习 知识蒸馏
1
测试tensorflow_federated是否安装成功了.
2022-09-07 09:08:06 2KB TFF
1
摘要 联邦学习(FL)是一种机器学习设置,在这种设置中,许多客户(例如移动设备或整个组织)在中央服务 器(例如服务提供商)的协调下协作地训练模型,同时保持训练数据分散。FL体现了集中数据收集和最 小化的原则,可以减轻由于传统的、集中的机器学习和数据科学方法所带来的许多系统隐私风险和成 本。在FL研究爆炸性增长的推动下,本文讨论了近年来的进展,并提出了大量的开放问题和挑战。 MENU1.引言跨设备联邦学习设置联邦学习中模型的生命周期典型的联邦训练过程联邦学习研究组织2. 放宽核心FL假设: 应用到新兴的设置和场景完全的去中心化/端对端分布式学习算法挑战实际挑战跨竖井联合学习3. 提高效率和效果
2022-03-28 10:33:17 503KB AND ar ble
1
TensorFlow.js中的联合学习 这不是TensorFlow的官方联合学习框架。 这是TensorFlow.js的实验性库,目前尚未维护。 如果您想使用官方的联合学习库,请查看 。 这是中(仅用于实验和演示)实现的父存储库。 联合学习是一种以分布式方式训练机器学习模型的方法。 尽管它涉及一台中央服务器,但该服务器无需查看任何数据甚至无需计算梯度。 相反,客户端在本地执行所有推理和训练(他们已经在Tensorflow.js中进行了训练),并且只是定期向服务器发送更新后的权重(而不是数据)。 服务器的唯一工作就是聚合和重新分发它们,这意味着它可以非常轻巧! 基本用法 在服务器(NodeJS)端: import * as http from 'http' ; import * as federated from 'federated-learning-server' ; const I
2022-03-02 16:54:46 11.71MB TypeScript
1
coMind:是Acuratio的开源项目。 在查看我们的Multicloud平台 该库已废弃,请通过与我们联系。 让我们知道您的问题或用例是什么,我们将与隐私保护解决方案取得联系。 联合平均具有一系列功能,使其非常适合以协作方式训练模型,同时保留敏感数据的私密性。 在此存储库中,您可以学习如何在联合设置中开始训练ML模型。 您可以在这里找到什么。 我们已经为TensorFlow开发了一个自定义优化器,可以轻松地以联合方式训练神经网络(注意:每次在此处引用联合时,我们均指联合平均)。 什么是联合机器学习? 简而言之,这是可以提高性能和培训时间的分布式学习所迈出的一步。 在我们的教程中,我们深入解释了它是如何工作的,因此,我们绝对鼓励您看看! 除了此自定义优化器之外,您还可以找到一些教程和示例,以帮助您开始使用TensorFlow和联合学习。 从一个基本的训练示例(其中显示了本地分
2022-03-02 15:18:08 193KB Python
1
联合学习(PyTorch) 香草联合学习论文的实施:。 在MNIST,Fashion MNIST和CIFAR10(IID和非IID)上进行了实验。 在非IID的情况下,用户之间的数据可以相等或不相等地分割。 由于这些实验的目的是说明联合学习范例的有效性,因此仅使用诸如MLP和CNN的简单模型。 要求 从requirments.txt安装所有软件包 Python3 火炬 火炬视觉 数据 手动下载训练和测试数据集,否则它们将自动从Torchvision数据集下载。 实验在Mnist,Fashion Mnist和Cifar上进行。 要使用自己的数据集,请执行以下操作:将数据集移动到数据目录,并在pytorch数据集类上编写包装器。 运行实验 基线实验以常规方式训练模型。 要使用CPU在MLP上对MNIST运行基线实验,请执行以下操作: python src/baseline_ma
1
A blockchain-orchestrated Federated Learning.pdf
2022-01-10 19:14:56 252KB 区块链 联邦学习
BAFFLE : Blockchain Based Aggregator Free Federated Learning
2022-01-10 19:14:53 4.49MB 区块链 联邦学习 联邦学习&区块链