bluefog:PyTorch over graph 的分布式和去中心化训练框架

上传者: 42160278 | 上传时间: 2022-05-17 16:21:24 | 文件大小: 5.33MB | 文件类型: ZIP
蓝雾 BlueFog 是一个高性能的分布式训练框架,采用分散优化算法构建。 Bluefog 的目标是使去中心化算法易于使用、容错、对异构环境友好,甚至比使用参数服务器或 ring-allreduce 构建的训练框架更快。 表现 下面的图表代表了在 ResNet50 基准上完成的 BlueFog 的性能。 每台机器有 8 个 V100 GPU(64GB 内存),启用 NVLink,互连通信速度为 25Gbps。 这与您可以在获得的硬件设置相同。 我们测试了计算密集型场景的批量大小为 64 和通信密集型场景的批量大小为 32 的扩展效率。 在图中,黑框代表理想的线性缩放。 据观察,Bluefog 可以实现超过 95% 的扩展效率,而 Horovod 在 128 个 GPU 上以 64 的批量大小达到约 66% 的扩展效率。 对于批量大小为 32 的通信密集型场景,Bluefog 和 Hor

文件下载

资源详情

[{"title":"( 187 个子文件 5.33MB ) bluefog:PyTorch over graph 的分布式和去中心化训练框架","children":[{"title":"MANIFEST.in <span style='color:#111;'> 163B </span>","children":null,"spread":false},{"title":"README.rst <span style='color:#111;'> 9.25KB </span>","children":null,"spread":false},{"title":"doc.yml <span style='color:#111;'> 858B </span>","children":null,"spread":false},{"title":"ci.yml <span style='color:#111;'> 1.55KB </span>","children":null,"spread":false},{"title":"release.yml <span style='color:#111;'> 2.63KB </span>","children":null,"spread":false},{"title":"......","children":null,"spread":false},{"title":"<span style='color:steelblue;'>文件过多,未全部展示</span>","children":null,"spread":false}],"spread":true}]

评论信息

免责申明

【只为小站】的资源来自网友分享,仅供学习研究,请务必在下载后24小时内给予删除,不得用于其他任何用途,否则后果自负。基于互联网的特殊性,【只为小站】 无法对用户传输的作品、信息、内容的权属或合法性、合规性、真实性、科学性、完整权、有效性等进行实质审查;无论 【只为小站】 经营者是否已进行审查,用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。
本站所有资源不代表本站的观点或立场,基于网友分享,根据中国法律《信息网络传播权保护条例》第二十二条之规定,若资源存在侵权或相关问题请联系本站客服人员,zhiweidada#qq.com,请把#换成@,本站将给予最大的支持与配合,做到及时反馈和处理。关于更多版权及免责申明参见 版权及免责申明