关于MPI、并行计算的总结对比，目录如下： 1. 并行计算 1.1. 相关背景 1.2. 什么是并行计算 1.3. 主要目的 1.4. 并行计算与分布式计算 1.5. 并行的基本条件 1.6. 主要的并行系统 1.6.1. 共享内存模型 1.6.2. 消息传递模型 1.6.3. 数据并行模型 1.6.4. 对比分析 2. MPI 2.1. 什么是MPI 2.2. MPI的实现 2.3. MPI基本函数 2.4. MPI功能特点 2.5. 技术对比分析 2.5.1. 共享内存模型（以OpenMP为例） 2.5.2. 分布式内存模型 2.6. 小结 3. 问题解释 3.1. 并行计算和MPI是什么关系？为了实现并行计算，是否使用MPI技术即可实现？ 3.2. MPI技术原理是什么，即基础设施提供什么样的支持能力？ 3.3. 为了实现并行计算，应用软件需要什么样的特殊设计 3.4. 什么样的软件需要并行计算 4. 部分参考资料

Spark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架，Spark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的mapreduce的算法。其架构如下图所示：Spark的中间数据放到内存中，对于迭代运算效率更高。Spark更适合于迭代运算比较多的ML和DM运算。因为在Spark里面，有RDD的抽象概念。Spark比Hadoop更通用。Spark提供的数

Leslie Lamport's lecture in the 21st Century

分布式计算经典书籍

Apache Storm 2.1.0版本（源码） Apache维护项目，由Twitter开源 官方原版 编译模块时使用 官网下载过慢 保留备用

课程设计

论文——雾计算中数据处理延迟与能耗最优化研究

3-3-分布式计算调度系统的技术与实践-孟宪军.pdf

华三MPP技术白皮书

利用多线程是一种便捷的并行处理模型，其中 每个线程都可以访问其它线程的存储空间。因此， 这种模型只能在共享存储系统之间移植开发。一般 来讲，并行机不一定在各处理器之间共享存储，当 面向非共享存储系统开发并行程序时，程序的各部 分之间通过来回传递消息的方式通信。要使得消息 传递方式可移植，就需要采用标准的消息传递库。 这就促成的消息传递接口(Message Passing Interface, MPI)的面世，MPI是一种被广泛采用的 消息传递标准。