改进的深度泄漏
“”(iDLG)的代码。
抽象的
人们普遍认为,共享梯度不会泄漏诸如协作学习和联合学习等分布式学习系统中的私人训练数据。 [1]提出了一种方法,该方法显示了从公开共享的梯度中获得私人训练数据的可能性。 在他们的“从梯度深度泄漏”(DLG)方法中,他们在共享梯度的监督下合成了虚拟数据和相应的标签。 但是,DLG难以收敛并始终如一地发现地面真相标签。 在本文中,我们发现共享梯度无疑泄漏了地面真相标签。 我们提出了一种简单但可靠的方法来从梯度中提取准确的数据。 特别是,我们的方法可以肯定地提取出与DLG相反的地面标签,因此我们将其命名为改进的DLG(iDLG)。 我们的方法适用于任何在单热标签上经过交叉熵损失训练的可微模型。 我们以数学方式说明了我们的方法如何从梯度中提取地面标签,并通过经验证明了其优于DLG的优势。
实验
数据集
戴高乐
iDLG
MNIST
89.9%
2021-07-22 21:55:18
408KB
Python
1