本文关注焦点是ICLR上NLP主题中的6篇论文。接下来我们还将精选模型压缩、预训练等热点领域，为大家带来系列论文解读，敬请关注。

使用FGSM进行快速对抗训练 使用FGSM对手实施快速对抗训练代码的存储库，能够在6分钟内训练强大的CIFAR10分类器，并在12小时内训练强大的ImageNet分类器。 由 ， 和。 请参阅我们的arXiv上的论文，这是由自由对抗训练纸灵感通过Shafahi等。 （2019）。 消息 12/19/2019-ICLR 2020接受 1/14/2019-arXiv发布并发布存储库 该存储库中有什么？ 带有针对MNIST，CIFAR10和ImageNet的随机初始化的FGSM对抗训练方法的实现 使用库进行和混合精度训练，以实现类似DAWNBench的加速 使用此代码库的预训练模型 ImageNet代码大部分是从派生的，并进行了相应的修改，以进行快速FGSM对抗训练 安装及使用 所有示例都可以在不使用PyTorch v1.0或更高版本进行混合精度的情况下运行 要使用混合精度培训，请按照的顶点安

NDQ：通过交流最小化学习几乎可分解的价值函数 笔记 该代码库基于和代码库，这些论文基于“ 。 在此代码库中还可以找到以下方法的实现，这些实现由的作者完成： 使用以下命令构建Dockerfile cd docker bash build.sh 设置《星际争霸II》和SMAC： bash install_sc2.sh 这会将SC2下载到3rdparty文件夹中，并复制运行所需的地图。 requirements.txt文件可用于将必要的软件包安装到虚拟环境中（不推荐）。 进行实验 以下指令在教学任务hallway上训练NDQ。 python3 src/main.py --config=categorical_qmix --env-config=join1 with env_args.n_agents=2 env_args.state_numbers=[6,6] obs_last_a

MSDNet-具有可分离内核的可重复性和应用GCN块 该存储库包含“ ”的复制代码（在PyTorch中）。 内容 介绍 MSDNet是一种用于图像分类的新颖方法，在测试时会受到计算资源的限制。 该存储库提供了基于本文提供的技术描述的实现。 当前，此代码实现对Cifar-10和Cifar-100的支持。 此外，此代码集成了对基于GCN的层（而不是常规卷积层）的支持，以减少模型参数。 用法 依存关系 火车 例如，使用以下命令在Cifar10上训练MSDNet python3 main.py --model msdnet -b 64 -j 2 cifar10 --msd-blocks 10 --msd-base 4 \ --msd-step 2 --msd-stepmode even --growth 6-12-24 --gpu 0 例如，使用以下命令在带有GCN块的Cifar100上

国际表示学习大会（The International Conference on Learning Representations）是致力于人工智能领域发展的国际知名学术会议之一。为了分析最新研究动向，本文精选了涵盖自监督学习、Transformer、图神经网络、自然语言处理、模型压缩等热点领域，将分多期为大家带来系列论文解读。

图小波神经网络 ⠀ 图小波神经网络的PyTorch实现（ICLR 2019）。 抽象 我们提出了图小波神经网络（GWNN），一种新颖的图卷积神经网络（CNN），它利用图小波变换来解决依赖于图傅立叶变换的先前频谱图CNN方法的缺点。 与图傅立叶变换不同，可以通过快速算法获得图小波变换，而无需矩阵本征分解，且计算量大。 此外，图小波稀疏并局限在顶点域，为图卷积提供了高效率和良好的可解释性。 在三个基准数据集：Cora，Citeseer和Pubmed的基于图的半监督分类任务中，提出的GWNN明显优于以前的光谱图CNN。 参考Tensorflow实现可在访问。 该存储库提供了Graph Wav

图卷积神经网络及其应用，来自中科院计算所沈华伟博士在ICLR 2019顶会上的演讲稿，欢迎大家下载学习。

混合噪声的matlab代码倾斜经验风险最小化 该存储库包含本文的实现 ICLR 2021 通常将经验风险最小化（ERM）设计为在平均损失上表现良好，这可能导致估计值对异常值敏感，泛化效果差或对子组进行不公平对待。 尽管许多方法旨在单独解决这些问题，但在这项工作中，我们通过统一的框架-倾斜的经验性风险最小化（TERM）来探索它们。 该存储库包含数据，代码和实验，以重现我们的经验结果。 我们证明了TERM可用于多种应用，例如加强子组之间的公平性，减轻异常值的影响以及处理类不平衡。 TERM不仅可以与针对这些个别问题的量身定制的现有解决方案竞争，而且还可以启用全新的应用程序，例如同时解决异常值和促进公平性。 入门 依存关系 当我们将TERM应用于各种实际应用程序时，不同应用程序的依赖关系可能会有所不同。 如果我们提到该代码基于其他公共代码库，则需要遵循这些代码库的相同设置。 否则，需要以下依赖项（最新版本将起作用）： python3 斯克莱恩 麻木 matplotlib 色彩系统 海生的 科学的 cvxpy（可选） TERM的性质 激励榜样 这些图将TERM表示为t的函数：（a）从一组2D样

联邦学习是一种在分布式网络中实现的客户端本地存储数据并训练局部模型、中央服务器汇聚各客户端上载数据后训练构建全局模型的分布式机器学习处理框架。

对比表示蒸馏（CRD），以及最新知识蒸馏方法的基准RepDistiller此回购协议：（1）涵盖以下ICLR 2020论文的实施：“对比表示蒸馏”（CRD）。 纸，项目页。 （2）在PyTorch中对12种最先进的知识提炼方法进行了基准测试，包括：（KD）-在神经网络中提炼知识（FitNet）-Fitnets：细深网的提示（AT）-更加关注注意：通过注意转移（SP）改善卷积神经网络的性能-相似性保留