配以插图方式介绍NUMECA软件进行分布式和集中式并行运算的方法和步骤

CUDA C 编程指南，美国华裔教授大牛程润伟最新力作，学习CUDA必备经典图书

对接触并行计算的学者来说是一个不错的资源。

并行计算，MPI函数的使用，附测试部分源代码

《GPU高性能计算之CUDA》书中实例源代码，经调试正常。GPU高性能计算系列丛书的第一本《GPU高性能计算之CUDA》已经出版，由张舒，褚艳利，赵开勇，张钰勃所编写。本书除了详细介绍了CUDA的软硬件架构以及C for CUDA程序开发和优化的策略外，还包含有大量的实例供读者学习参考用。 下表是各个实例的介绍列表。 文件夹 对应书中章节 备注 ACsearch_DPPcompact_with_driver 5.2.2 AC多模式匹配算法 asyncAPI 2.5 异步API调用示例 bandwidthTest 2.3.6 带宽测试 Bitonic 5.1.1 双调排序网络 conjugateGradient 5.2.1 共轭梯度算法，CUBLAS实现 cudaMPI 2.7.3 CUDA+MPI管理GPU集群 cudaOpenMP 2.7.2 CUDA+OpenMP管理多GPU deviceQuery 2.1.4 设备查询 histKernel 2.4.3 亮度直方图统计 matrixAssign 2.1.4 矩阵赋值 matrixMul 4.7.1 矩阵乘法，利用shared memory matrixMul_Berkeley 4.7.1 矩阵乘法，利用register reduction 4.7.2 并行归约（缩减）程序 scan 5.1.2 Scan算法，例如计算前缀和 scanLargeArray 5.1.2 Scan算法，可以处理大数组 simpleCUBLAS 5.1.3 CUBLAS库的简单应用 simpleCUFFT 5.1.4 CUFFT库的简单应用 simpleD3D9 2.6.2 CUDA与Direct3D 9互操作 simpleD3D10 2.6.2 CUDA与Direct3D10互操作 simpleGL 2.6.1 CUDA与OpenGL互操作 simpleMultiGPU 2.7.1 多设备控制 simpleStreams 2.5.2 流的使用演示 simpleTexture 2.3.8 简单的纹理使用 simpleTextureDrv 2.3.8 简单的纹理使用，驱动API 实现 sortingNetworks 5.1.1 双调排序网络，处理大数组 threadMigration 2.7.1 通过上下文管理和设备管理功能实现多设备并行计算 timing 4.2.1 设备端测时 transpose 4.7.3 矩阵转置 transposeDiagonal 4.7.3 矩阵转置，考虑partition conflict VectorAdd 2.2.3/2.3.4 矢量加 VectorAddDrv 2.2.3/2.3.4 矢量加，驱动API实现 【备注】以上工程，均在Windows XP 64-bit + Tesla C1060 + CUDA 2.3 + VS2005环境下测试通过。

矩阵转置的并行化实现，用的的是c语言，mpi实现的，可以参考下

并行计算——结构·算法·编程习题答案 并行计算——结构·算法·编程习题答案 并行计算——结构·算法·编程习题答案 并行计算——结构·算法·编程习题答案 并行计算——结构·算法·编程习题答案

介绍描述CUDA编程的入门级资源，包括CUDA对C的支持，编程与调试。CUDA存储器模型，线程模型等计算机体系结构内容。并行执行模型与并行编程规范。

中科大-陈国良-并行计算（PPT课件全），中科大-陈国良-并行计算（PPT课件全）

快速排序算法并行化的一个简单思想是，对每次划分过后所得到的两个序列分别使用两个处理器完成递归排序。例如对一个长为n的序列，首先划分得到两个长为n/2的序列，将其交给两个处理器分别处理；而后进一步划分得到四个长为n/4的序列，再分别交给四个处理器处理；如此递归下去最终得到排序好的序列。当然这里举的是理想的划分情况，如果划分步骤不能达到平均分配的目的，那么排序的效率会相对较差。