MPI并行程序设计实例教程

MPI并行程序设计实例教程"

作者:张武生、薛巍、李建江、郑纬民
ISBN:9787302186472
定价:¥59
字数:千字
页数:
出版时间:2009.02.01
开本:
版次:1-9
装帧:
出版社:清华大学出版社
简介

本书旨在通过示例全面介绍MPI并行程序开发库的使用方法、程序设计技巧等方面的内容,力争完整讨论MPI规范所定义的各种特征。主要包括MPI环境下开发并行程序常用的方法、模式、技巧等内容。在内容组织上力求全面综合地反映MPI-1和MPI-2规范。对MPI所定义的各种功能、特征分别给出可验证和测试其工作细节的示例程序。

前言

作为理论和实验之外的科学研究的第3种手段,高性能计算已经并将继续在科学和工程领域发挥越来越重要的作用。理科各专业、工程技术、经济管理、生物医学、社会科学乃至媒体艺术等各个领域都要用到高性能计算设施进行辅助研究和设计。清华大学高性能计算平台支持的校内各学科科研工作几乎涵盖了上述所有领域。

多核技术、集群技术、混合体系结构等技术都在飞速发展,特别是在近几年多核技术的快速发展和广泛应用,对应用软件的并行设计提出了更高挑战。实际执行计算任务的应用软件要能够充分挖掘硬件平台提供的计算能力,期望其能够对核间合作、CPU间合作,节点间合作具备适应和识别能力。我们在高性能计算平台的运行和教学过程中,深感并行软件的质量和效率在高性能计算中的重要作用。鉴于目前大部分高性能计算平台均提供MPI并行环境,高性能计算机的评测标准也基于MPI库制定,因此我们编写了这本基于MPI的并行计算技术教材,以期能够为工程技术人员、科研工作者的并行软件开发工作提供一定的帮助和指导。

对初次接触并行程序的读者而言,首要问题是理解MPI并行程序的编程模型,为此,本书首先简要介绍了MPI并行程序的工作模型,然后给出并行程序开发所需的点到点通信和集合通信等基本功能。

本书有机整合了MPI-1和MPI-2规范,在集合通信部分内容里(第4章)除了MPI-1规范的域内集合通信外对应地还给出了域间集合通信以及MPI-2对集合通信的几个扩展。在组与通信子部分内容里(第3章),同时也给出了域间通信子和域内通信子相关的操作。

在自定义数据类型(第5章)部分,除了MPI-1的连续、索引、向量、结构类型之外,还讨论了子数组类型和分布式数组数据类型以及数据类型相关的各种操作。

在第7章和第8章分别通过示例给出了MPI-2规范中增加的单向通信和动态进程管理等相关功能的使用说明和细节。第9章重点介绍了MPI-2规范定义的并行文件操作,为结构清晰和方便理解,把各种I/O操作的语义和特征做了对比说明,并通过示例加以验证。

第10章的内容,在MPI-2规范中被归类于MPI与外部环境交互的范畴,因此这里给出MPI与其所运行的系统环境进行交互所使用的几个手段,其中重点是多线程和通用化请求。实际上可以在多线程的MPI程序中使用OpenMP语法来实现节点内的多线程并行计算。

第6章是一个相对独立的章节,介绍了用于大多数数值计算应用程序中为管理物理网格和逻辑网格之间映射所设计的进程拓扑管理机制。

第11章主要介绍了MPI环境的扩展功能,其中包括日志机制和对X的图形化显示接口。X图形化接口目前提供的功能尚比较简单,本章最后给出了用图形化显示积分法计算π值过程的示例程序。

本书可作为高年级本科生和研究生并行计算相关课程的参考教材,根据具体的教学计划灵活选取章节。对关注应用层面的课程,可选第1章、第2章、第4章中组内通信相关部分内容进行讲授。建议对工作中涉及大规模数据处理的专业选择讲述第9章的部分内容。如讲授的内容涉及开发通用的中间软件、并行库等,则有必要掌握第3章、第5章、第6章、第7章、第8章所提供机制的灵活用法。

本书可作为工科类各专业高年级本科生、研究生课堂教学参考书,也可作为从事大规模数值计算的科研和工程技术人员的参考资料。由于作者水平所限,错误之处在所难免。欢迎广大读者提出批评指正意见,我们将随时更新原稿中的错误之处。

作者2008.9

目录

第1章 MPI并行环境及编程模型1

  1.1 MPICH2环境及安装和测试1

1.1.1 编译及安装2

1.1.2 配置及验证2

1.1.3 应用程序的编译、链接4

1.1.4 运行及调试4

1.1.5 MPD中的安全问题9

  1.2 MPI环境编程模型9

1.2.1 并行系统介绍10

1.2.2 并行编程模式11

1.2.3 MPI程序工作模式12

  1.3 MPI消息传递通信的基本概念13

1.3.1 消息13

1.3.2 缓冲区14

1.3.3 通信子14

1.3.4 进程号和进程组14

1.3.5 通信协议14

1.3.6 隐形对象15

第2章 点到点通信17

  2.1 阻塞通信18

2.1.1 标准通信模式18

2.1.2 缓冲通信模式20

2.1.3 就绪通信模式36

2.1.4 同步通信模式39

2.1.5 小结40

  2.2 非阻塞通信42

2.2.1 通信结束测试44

2.2.2 非重复的非阻塞通信48

2.2.3 可重复的非阻塞通信66

2.2.4 Probe和Cancel101

  2.3 组合发送接收106

2.3.1 MPI_Send,MPI_RecvMPI_Sendrecv109

2.3.2 MPI_BsendMPI_Sendrecv110

2.3.3 MPI_RsendMPI_Sendrecv111

2.3.4 MPI_SsendMPI_Sendrecv113

2.3.5 MPI_IsendMPI_Sendrecv113

2.3.6 MPI_IbsendMPI_Sendrecv114

2.3.7 MPI_IrsendMPI_Sendrecv116

2.3.8 MPI_Issend, MPI_IrecvMPI_Sendrecv117

2.3.9 MPI_Send_initMPI_Sendrecv118

2.3.10 MPI_Bsend_initMPI_Sendrecv118

2.3.11 MPI_Rsend_initMPI_Sendrecv119

2.3.12 MPI_Ssend_init, MPI_Recv_initMPI_Sendrecv120

  2.4 点到点通信总结121

2.4.1 关于预防死锁121

2.4.2 关于阻塞与非阻塞、同步与异步126

2.4.3 关于操作的执行顺序及“公平性”127

第3章 组与通信子128

  3.1 简介128

  3.2 组管理API131

3.2.1 组的构建及取消131

3.2.2 访问组的相关信息和属性132

  3.3 通信子管理132

3.3.1 创建与取消132

3.3.2 访问通信子信息133

  3.4 组间通信140

3.4.1 访问函数140

3.4.2 构造和取消函数140

  3.5 属性144

3.5.1 创建及释放属性操作144

3.5.2 访问属性操作145

3.5.3 设置及删除属性操作145

3.5.4 命名通信子对象149

  3.6 错误处理150

  3.7 组及通信子的小结150

第4章 集合通信152

  4.1 1N152

4.1.1 MPI_Bcast152

4.1.2 MPI_Scatter/MPI_Scatterv157

  4.2 N1161

4.2.1 MPI_Gather/MPI_Gatherv161

4.2.2 MPI_Reduce165

  4.3 NN171

4.3.1 MPI_Allgather/MPI_Allgatherv171

4.3.2 MPI_Allreduce175

4.3.3 MPI_Reduce_scatter178

4.3.4 MPI_Alltoall/MPI_Alltoallv/MPI_Alltoallw181

4.3.5 MPI_Scan/MPI_Exscan192

  4.4 同步操作--MPI_Barrier195

第5章 数据类型196

  5.1 类型图196

  5.2 与数据类型相关的API函数196

5.2.1 创建196

5.2.2 访问221

5.2.3 注册与取消223

  5.3 数据类型在通信函数缓冲区的构成224

  5.4 数据类型的属性224

5.4.1 属性创建与释放224

5.4.2 属性操作225

5.4.3 复制数据类型225

5.4.4 类型属性举例225

5.4.5 数据类型命名228

  5.5 数据类型的析构231

5.5.1 获取创建数据类型MPI函数所使用参数数量信息231

5.5.2 获取创建数据类型MPI函数所使用实际参数信息233

5.5.3 示例236

  5.6 打包/解包242

第6章 进程拓扑246

  6.1 简介246

  6.2 API246

6.2.1 虚拟拓扑构造函数246

6.2.2 访问函数248

6.2.3 笛卡儿坐标变换函数250

6.2.4 笛卡儿结构划分函数250

6.2.5 拓扑结构管理底层函数251

  6.3 实例252

6.3.1 拓扑结构的创建与访问252

6.3.2 利用虚拟拓扑管理进程间通信256

第7章 动态进程管理258

  7.1 MPI-2进程模型258

7.1.1 进程启动258

7.1.2 运行时环境258

  7.2 进程管理API259

7.2.1 启动单进程并通信259

7.2.2 启动多进程并建立通信261

7.2.3 预留的属性关键字262

  7.3 建立通信联系262

7.3.1 名字、地址及端口262

7.3.2 服务端程序263

7.3.3 客户端程序263

7.3.4 名字发布264

7.3.5 预留关键字265

  7.4 其他功能265

7.4.1 全局大小265

7.4.2 单一MPI_Init265

7.4.3 MPI_APPNUM265

7.4.4 释放连接266

7.4.5 建立MPI通信的其他方法267

  7.5 示例267

第8章 单向通信/远端内存访问273

  8.1 简介273

8.1.1 工作模式273

8.1.2 实现机制274

  8.2 初始化274

8.2.1 创建/释放窗口对象274

8.2.2 窗口属性275

  8.3 通信操作275

8.3.1 Put276

8.3.2 Get277

8.3.3 Accumulate277

  8.4 同步操作278

8.4.1 Fence279

8.4.2 Start/Complete, Post/Wait, Test282

8.4.3 Lock/Unlock288

8.4.4 语义292

  8.5 安全分析294

  8.6 窗口属性295

8.6.1 窗口属性API295

8.6.2 举例296

8.6.3 命名窗口对象298

  8.7 错误处理299

  8.8 示例300

第9章 并行I/O302

  9.1 并行文件基本概念与数据类型302

9.1.1 简介302

9.1.2 定义302

  9.2 文件操作304

9.2.1 打开304

9.2.2 关闭305

9.2.3 删除306

9.2.4 修改大小307

9.2.5 查看文件大小308

9.2.6 预申请空间308

9.2.7 查看文件参数309

9.2.8 文件相关的Info对象311

  9.3 文件视图313

9.3.1 设置文件视图313

9.3.2 获取文件视图315

  9.4 访问文件数据317

9.4.1 文件访问函数318

9.4.2 使用显式偏移地址访问数据319

9.4.3 使用独立的文件指针访问数据334

9.4.4 使用共享文件指针访问数据348

9.4.5 文件一致性362

  9.5 文件的互操作性371

9.5.1 文件互操作所使用的数据类型372

9.5.2 外部数据表示external32373

9.5.3 定制数据表示374

  9.6 I/O相关的错误处理376

9.6.1 错误类377

9.6.2 示例377

  9.7 综合示例379

9.7.1 利用双缓冲区、分步集合操作实现计算与I/O并行379

9.7.2 子数组382

9.7.3 分布式数组386

  9.8 总结391

9.8.1 高性能I/O的几种访问模式391

9.8.2 高性能I/O优化措施392

第10章 MPI与外部环境的信息交互394

  10.1 Info对象394

10.1.1 创建、复制、删除与释放394

10.1.2 访问394

10.1.3 示例395

  10.2 通用化请求397

10.2.1 创建并注册通用请求397

10.2.2 应用程序通知MPI环境通用请求操作完成398

10.2.3 示例398

  10.3 MPI-2对Status对象的改进403

  10.4 错误处理接口404

10.4.1 添加新的错误类404

10.4.2 为错误类设置关联错误码404

10.4.3 为错误类设置关联字符串404

10.4.4 通信子对象的错误处理函数404

10.4.5 窗口对象的错误处理函数405

10.4.6 文件的错误处理函数405

10.4.7 示例405

  10.5 多线程409

10.5.1 多线程环境的一些基本要求409

10.5.2 支持多线程的初始化410

10.5.3 示例411

第11章 MPE418

  11.1 Profiling418

  11.2 日志418

11.2.1 简介418

11.2.2 日志工具419

11.2.3 链接与使用420

  11.3 图形425

11.3.1 实时动画425

11.3.2 链接与使用425

参考文献431

作者简介

编辑推荐

作者寄语

电子资料

www.luweidong.cn

下一个