蓝雾 BlueFog 是一个高性能的分布式训练框架，采用分散优化算法构建。 Bluefog 的目标是使去中心化算法易于使用、容错、对异构环境友好，甚至比使用参数服务器或 ring-allreduce 构建的训练框架更快。 表现 下面的图表代表了在 ResNet50 基准上完成的 BlueFog 的性能。 每台机器有 8 个 V100 GPU（64GB 内存），启用 NVLink，互连通信速度为 25Gbps。 这与您可以在获得的硬件设置相同。 我们测试了计算密集型场景的批量大小为 64 和通信密集型场景的批量大小为 32 的扩展效率。 在图中，黑框代表理想的线性缩放。 据观察，Bluefog 可以实现超过 95% 的扩展效率，而 Horovod 在 128 个 GPU 上以 64 的批量大小达到约 66% 的扩展效率。 对于批量大小为 32 的通信密集型场景，Bluefog 和 Hor

昆仑通态（MCGS）嵌入版连接西门子300 PLC(MPI）pdf,昆仑通态（MCGS）嵌入版_连接西门子300 PLC(MPI)

spmv的串行和cpu、gpu并行性能测试demo

并行 C 程序 挪威科技大学并行计算课程中的练习。 介绍 作为对 C 的简单介绍以帮助我们入门，本练习在 C 中实现了一些与矩阵相关的计算。 区域随着 MPI 增长 在这个练习和以下许多练习中，我们被要求解决一个区域增长问题。 问题如下。 您有一个二维像素网格，每个像素都有一个灰度颜色（0 到 255 之间的一个字节）。 给定一个阈值和一些位置（种子），如果颜色差异低于阈值，您将把种子“生长”到相邻像素。 继续扩大该地区，直到它不再增长。 在本练习中，我们将使用MPI实现它， MPI是一种用于并行计算的消息传递协议。 串行优化 引用练习：“在这个问题中，你应该编写一个函数来尽可能快地执行稀疏矩阵向量乘法。你应该通过在文件 spmv.c 中实现乘法函数来做到这一点。你的函数应该比包含的函数更快乘以天真。您可以使用 struct s 矩阵 t 创建自己的稀疏矩阵格式。” 使用 pth

具有并行计算的卷积神经网络的C ++库（openMP，CUDA，MPI） 用法： g ++ -std = c ++ 11 -fopenmp lenet.cpp -o lenet ./lenet 这是模型的多线程版本（具有数据并行性），您可以使用以下方法更改线程数： 导出OMP_NUM_THREADS = 4 要使用MPI版本的代码，您需要使用mpic ++进行编译： mpic ++ -std = c ++ 11 -fopenmp lenet.cpp -o lenet 您可以在多节点系统上运行它！ 创建自己的网络 您可以通过派生Model类并使用addLayer（）方法按顺序添加所有图层来创建自己的深度神经网络类。 您还可以通过扩展ActivationLayer来引入自己的激活层。 您可以通过扩展LossFunction类来创建自定义Loss函数。 工作正在进行中 使用以下方法进

内容包含 １.MPICH安装包，安装教程，手册 ２.MPI的ppt教程２份 ３.并行计算的pdf文档两份 a.都志辉等人的 b.张林波等人的:

mpi经典代码,包括fft,矩阵相乘等，非常适合MPICH学习研究

《消息传递并行编程环境MPI》
莫则尧 袁国兴 编著
科学出版社

MPI声波方程数值模拟，利用并行算法实现的声波方程的波场模拟

DMTA（分布式多线程Apriori）是Apriori算法的并行实现，该算法在线程和进程级别利用并行性，以寻求在内核之间执行负载平衡。 使用并行化库OpenMP和MPI以C ++语言实现。 该算法是由AndréCamilo Bolina在拉夫拉斯联邦大学计算机科学系的Marluce Rodrigues Pereira，Ahmed Ali Abdalla Esmin和Denilson Alves Pereira老师的指导下开发的项目所产生的。 该项目的结果已发布在FSMA信息系统杂志上，并可在http://www.fsma.edu.br/si/edicao11/FSMA_SI_2013_1_Principal_1.html中获得。