
PCI Express是一种新的IO互连结构,被称为第三代本地IO总线,与其前任总线(PCI/PCIX)相比,在总线结构上采取了根本性的变革,以满足现在的及将来的处理器和外围设备提出的更高的带宽要求。本书首先对PCI/PCIX总线架构作了全面、简要的介绍;然后在整体描述PCI Express架构的基础上,逐一对PCI Express所采用的新方法、新思路和新技术进行了深入的描述与讨论;最后完整地介绍了与PCI兼容的PCI Express配置机制及配置寄存器。使读者在了解新一代IO互连结构的过程中获得计算机体系结构方面的理论和知识,提高计算机系统硬件和软件的开发能力。
本书可作为高等院校计算机专业及相关研究领域的研究生教材,可为从事相关专业本科教学的老师提供教学参考,对于从事个人计算机系统设计和应用开发的科技人员来说,也是一本内容翔实,可读性强的参考书。
在个人计算机的诸多应用领域中,如商务、计算、通信等,不断出现更新的、更高的、或者说苛刻的应用需求,即市场对更高性能计算机的追求是无止境的,其中更高的速度、更大的容量是首要追求的目标。具体到计算机系统的硬件体系结构上,则是要求有更高的数据传输率和更短的响应时间。
计算机系统硬件结构的基础是系统总线,用系统总线将处理器、主存储器和外围设备连接起来,传输数据、控制和状态信息。系统总线包括处理器总线和IO总线。处理器总线因处理器而异,随着处理器的变化和发展而更新。IO总线是通用总线,用于硬件平台中外围设备的互连和外围设备与主存储器的通信。处理器也经过IO总线对外围设备进行访问。IO总线是PC计算机平台的骨架,它的协议直接决定了计算机的硬件架构与配置,它的性能与指标直接影响着计算机IO子系统的数据传输和处理能力。所以,本书中把总线与计算机硬件架构联系在一起进行论述和讨论,使读者更易理解和掌握。
IO总线的发展历程粗略地可划分为三代。第一代IO总线包括ISA、EISA、MC和VESA。ISA总线的数据宽度为16位,数据传输率约为5MBps,1984年随IBM PC/AT结构微机一起推出,故也称为AT总线,当时系统存储器(主存)和系统外围都挂在此总线上,还没有冠以“IO总线”的称谓。EISA总线名为增强的ISA总线,1989年在ISA总线的基础上推出,仍沿袭PC/AT结构,数据总线宽度和地址总线宽度均扩展为32位,数据传输率约为33MBps。MC总线是随IBM PS/2系列微机推出的MCA——微通道结构总线,总线性能与EISA相当。VESA总线1992年由视频电子标准协会推出,数据和地址总线宽度为32位,总线时钟频率达33MHz,数据传输率可达132MBps。VESA总线是PC微机的第一个局部总线,连到处理器子系统的局部总线上,在基于VESA总线的机器中也可以存在ISA或EISA这样的传统总线,它们的位置在VESA之后,是VESA总线再经IO总线控制器转换后得到的,称为IO扩展总线。第一代IO总线有一个共同的特点,其信号的功能和时序与处理器引脚关系密切,几乎是处理器信号的延伸和扩展,有些信号还与主板上的硬件资源有关系。
第二代IO总线包括PCI、AGP和PCIX。PCI总线是一个标准的、与处理器无关的局部外围总线,不受制于系统所使用的处理器的种类,通用性更强。PCI将多级总线结构引入个人计算机,不同总线之间通过相应的桥芯片来转接。PCI总线的数据和地址线宽32位,数据线可扩展为64位,1992年和1993年推出的PCI 1.0和PCI 2.0为33.3MHz,数据传输率为133MBps(64位数据线加倍为266MBps),1995年推出的PCI 2.1总线时钟频率达66.6MHz,数据传输率达266MBps(533MBps)。在基于PCI的计算机中,主存储器设备挂在主桥上,PCI总线专用于外围设备的互连,开始称之为IO总线。AGP名为加速的图形端口,是主桥上独用于挂接显示设备的总线,将PCI总线从图形数据传输中解放出来,使得图形显卡和PCI总线上的设备都能获得充足的传输带宽。当市场上出现了要求更高带宽的IO设备时,如Gbps以太网、光纤通道、Ultra3 SCSI和多端口网络接口控制器(NICs),传统的PCI总线无论从总线时钟频率还是总线使用率都显得低了,于是1999年出现了PCIX总线。PCIX总线在PCI总线的基础上,进一步提高时钟频率,改进数据传输协议使之更加合理。PCIX 1.0和PCIX 2.0(2002年)的总线时钟频率分别为66/133MHz、266/533MHz。
以上第一代和第二代IO总线都是并行总线,有多条地址线、数据线和控制线,挂连多个设备,称为多下挂式总线(MultiDrop),总线带宽由多个设备共享。显然,在并行总线上挂接多个高速设备,比如Gbps以太网、实时性极强的视频、音频流数据处理设备等,必须进一步提高时钟频率。但是,以提高总线频率来提高带宽并不是无限制的,频率越高总线上能够挂连的电气负载的个数越少。实际上,频率为266MHz以上的PCIX总线只能带一个扩展槽。也就是说,对于一种给定的总线结构,存在其频率上限,超过该上限,就必然会提出定义新总线结构的要求。
PCI Express是第三代高性能IO总线,在总线结构上采取了根本性的变革,主要体现在两个方面:一是由并行总线变为串行总线;二是采用点到点的互连。
将原并行总线结构中桥下面挂连设备的一条总线变成了一条链路,一条链路可包含一条或多条通路,每条通路由两对差分信号线组成双单工的串行传输通道,没有专用的数据、地址、控制和时钟线,总线上各种事务组织成信息包来传送。PCI Express 1.0支持每条通路在每个方向上的数据传输率达2.5Gbps,每字节10位编码,这样两个方向的带宽可达0.5GBps,整个链路的总带宽等于0.5GBps乘以所含的通路数。每条链路的通路数可根据具体设备所需的带宽裁剪,有效通路数有7种可选,这样最高传输率可达16GBps,大大高于目前任何一种总线,可满足当前及将来一段时期的高速设备带宽需求。由于总线变为链路,引脚数大大减少(传统PCI总线为127个引脚),每引脚的平均带宽大幅提升,有助于PCI Express成本的降低。
PCI Express突破传统总线的另一个特点是采用点到点的互连方法,每个设备都由独立的链路连接,独享带宽,这是提高传输率的有效解决方案。
PCI Express总线结构将一条链路视为一条总线,从而从地址空间、配置机制及软件上均保持与传统PCI总线的兼容。一个PCI Express设备占一条总线(链路),所以在基于PCI Express的计算机里,桥和总线的数目很多。传统PCI设备亦可在PCI Express平台上运行,通过PCI Express到PCI(或PCIX)的桥,可引出PCI(或PCIX)总线,传统PCI设备挂在这样的总线上便可融入PCI Express结构。
为了反映总线结构的新技术,凭借对传统PCI总线结构的深入了解,在汲取大量最新资料的基础上编写了本书,全书共有17章和4个附录。第1章是对PCI和PCIX总线结构的综述,全面、简要地勾画出PCI及PCIX总线架构,也为后文突显PCI Express优势及讲述与PCI的兼容问题打下基础。第2章是PCI Express架构概览,从整体上对PCI Express架构进行描述,涉及到后面各章节要详述的主要技术问题,使读者建立起一个较完整的PCI Express概念。第3章描述事务层包和事务路由,给出所有类型PCI Express事务包的格式、内容及路由方式。第4章列出各类数据链路层包的格式、内容,并讲述由ACK/NAK两种数据链路层包参与的、保证链路传输正确性的链路传输协议。第5章讲述事务的传输类别、事务传输所经由的虚通道以及事务的仲裁。第6章讲述的流控制协议,是在每一虚通道上实施的、基于信用量的流控制机制,它也是PCI Express提高带宽的措施之一。第7章讲述事务排序的要求与规则,在一定的条件下允许对事务的传送顺序进行修正,以改善系统性能。第8章讲述兼容PCI和PCIX的中断机制。第9章详述PCI Express设备的物理层,包括逻辑物理层和电气物理层。第10章讲述系统复位。第11章描述由物理层硬件自动执行的链路训练和初始化过程,链路训练使链路能自适应链路上设备端口的要求,能自动从链路错误中恢复。第12章讲述电源管理,管理6种设备电源状态和6种链路电源状态,包括基于硬件的链路节电机制及软件触发的链路电源管理。第13章讲述PCI Express设备和插槽对热插拔的支持。第14章是错误检测和处理,描述PCI Express的一套错误检测和报告能力。第15、16、17章均是与PCI Express配置有关的内容,第15章是PCI Express配置机制及系统枚举,讲述PCI Express实施配置的方法;第16章是PCI兼容的配置寄存器;第17章是PCI Express专用的配置寄存器。
本书的第1、2、9~11、14~16章由马鸣锦编写,第3、4、5章由何红旗和马鸣锦编写,第6、7、8章由杜威和马鸣锦编写,第12、13、17章由朱剑冰和马鸣锦编写。全书由马鸣锦教授定稿并撰写了。何红旗、王炜、生拥宏、刘丹、陈烨、刘海雷、张琳等老师和同学参与了本书的校对、文字录入、图表制作等工作,另外,在本书编写过程中得到了解放军信息工程大学信息工程学院计算机科学与技术系的大力支持,在此一并表示感谢。
PCI Express总线及体系结构问世不久,还处在完善、充实和实现的过程之中,书中内容难免有错误和不当之处,作者诚恳希望与同行们对有关问题进行讨论和切磋。我们的通信地址是: 郑州市1001信箱715号,邮编450002。
作者
2006年10月
第1章PCI及PCIX架构综述
1.1PCI架构综述
1.1.1基于PCI总线的结构
1.1.2PCI总线信号的定义和功能
1.1.3PCI总线的事务类型
1.1.4系统地址空间及PCI地址空间映射
1.1.5PCI总线主要的总线操作
1.1.6改进的PCI总线系统
1.1.7PCI总线结构的局限性
1.2PCIX架构简述
1.2.1寄存器寄存器的信号传送协议
1.2.2PCIX提高总线效率的改进措施
1.2.3PCIX支持消息通知中断MSI
1.2.4PCIX 1.0总线平台例
第2章PCI Express架构概览
2.1PCI Express的拓扑结构
2.1.1PCI Express结构的基本元素
2.1.2PCI Express系统示例
2.1.3系统拓扑结构示例
2.2PCI Express事务介绍
2.2.1PCI Express事务协议简述
2.2.2PCI Express事务举例
2.3PCI Express设备的层次
2.3.1设备层及相应的包
2.3.2PCI Express设备各层的关键功能
第3章事务层包和事务路由
3.1事务层包TLP
3.1.1TLP的组装与拆解
3.1.2TLP结构
3.1.3请求事务和完成事务的TLP
3.2地址空间和事务路由
3.2.1事务层包的路由基础
3.2.2与路由有关的即插即用配置
3.2.3事务层包的路由机制
第4章数据链路层包和ACK/NAK链路传输协议
4.1数据链路层包DLLP
4.1.1DLLP的组装与拆解
4.1.2DLLP的类型和结构
4.1.3DLLP的包格式
4.2ACK/NAK链路传输协议
4.2.1ACK/NAK协议概览
4.2.2发送方ACK/NAK协议
4.2.3接收方ACK/NAK协议
4.2.4包的处理优先序
4.2.5关于ACK/NAK协议可靠传递TLP的例证
4.3交换开关的直通模式
4.3.1交换开关对直通模式的需求
4.3.2交换开关的直通模式
第5章传输类别、虚通道和仲裁
5.1服务质量的概念
5.2传输类别和虚通道
5.2.1VC配置寄存器的结构
5.2.2VC分配和TC映射
5.3仲裁
5.3.1虚通道仲裁
5.3.2端口仲裁
5.3.3非交换开关的端口仲裁和VC仲裁
第6章流控制协议
6.1流控制概念
6.2流控制机构的组成
6.2.1流控制缓冲器
6.2.2流控制包
6.2.3流控制机构的元素及其作用
6.3流控制机构的操作示例
6.3.1初始化之后的流控制
6.3.2流控制缓冲器填满
6.3.3流控制信用量循环指针的翻转
6.3.4FC缓冲器溢出错误检查
6.4流控制信用量的通报数量
6.4.1不限定的流控制信用量的通报
6.4.2通报信用量的最少数量要求
6.5流控制初始化和流控制更新
6.5.1流控制初始化的过程与步骤
6.5.2流控制初始化之后的流控制更新
第7章事务排序
7.1基本的排序规则
7.1.1生产者/消费者模型
7.1.2PCI Express的基本排序规则
7.2宽松排序
7.2.1RO对存储器写和消息事务的影响
7.2.2RO对存储器读事务的影响
7.2.3基于强排序和RO属性的基本排序规则
7.3强排序规则的修正
7.3.1强排序引起的事务阻塞
7.3.2弱排序修正方案
7.4支持PCI总线和避免死锁
第8章中断
8.1消息信号中断
8.1.1MSI能力寄存器组及其配置步骤
8.1.2MSI中断请求的生成
8.1.3使用MSI中断的注意事项
8.2虚拟INTx信号中断
8.2.1PCI的中断提交方法
8.2.2虚拟INTx#信号发送
8.2.3INTx消息传递相关的规则
第9章物理层
9.1逻辑物理层的发送逻辑
9.1.1多路控制逻辑
9.1.2字节剥解
9.1.3乱序器
9.1.48/10b编码
9.1.5发送逻辑的其他有关事项
9.2逻辑物理层的接收逻辑
9.2.1Rx时钟还原与串/并转换
9.2.2符号锁定
9.2.3去除通路间的时差
9.2.4接收器时钟补偿逻辑
9.2.58/10b译码器
9.2.6除乱序器
9.2.7解除字节剥解逻辑和过滤器
9.2.8物理层错误处理
9.3电气物理层
9.3.1差分驱动器和差分接收器
9.3.2高速电气信号传送的一些要求
9.3.3探测接收器
9.3.4电气闲
9.3.5减重(预加重)
9.3.6发送器驱动器的特性
9.3.7输入接收器的特性
9.3.8各电源状态下的电气物理层状态
第10章系统复位
10.1两类系统复位
10.1.1基本复位
10.1.2带内复位
10.2复位退出
10.3将链路从L2低功耗状态唤醒
第11章链路训练和初始化
11.1链路训练和初始化的内容
11.2链路训练和初始化期间所使用的有序集
11.2.1TS1和TS2有序集
11.2.2其余有序集
11.3链路训练和状态机
11.3.1Detect状态
11.3.2Polling状态
11.3.3Configuration状态
11.3.4L0状态
11.3.5L0s状态
11.3.6L1状态
11.3.7L2状态
11.3.8Recovery状态
11.3.9Hot Reset状态
11.3.10Disable状态
11.3.11Loopback状态
11.4LTSSM有关的配置寄存器
11.4.1链路能力寄存器
11.4.2链路状态寄存器
11.4.3链路控制寄存器
第12章电源管理
12.1电源管理配置软件的基础
12.1.1PCI PM基础
12.1.2电源管理状态的定义及设备运行环境信息的定义
12.1.3PCI Express电源管理与ACPI
12.2功能的电源管理
12.2.1设备的PM状态
12.2.2PM能力寄存器组
12.3链路的活跃状态电源管理
12.3.1活跃状态电源管理概述
12.3.2L0s状态
12.3.3L1 ASPM状态
12.3.4ASPM退出等待时间
12.4软件发起的链路电源管理
12.4.1D1/D2/D3Hot和L1状态
12.4.2L2/L3 Ready状态
12.5链路唤醒协议和PME的产生
12.5.1PME消息及相关事宜
12.5.2唤醒非通信链路
12.5.3辅助电源
第13章热插拔
13.1PCI Express的热插拔环境与硬软件组成要素
13.1.1PCI和PCI Express热插拔之间的不同
13.1.2热插拔所涉及的软件
13.1.3热插拔所涉及的硬件
13.2卡拔出和插入的过程
13.2.1On和Off状态
13.2.2卡拔出步骤
13.2.3卡插入过程
13.3标准化的使用模型
13.3.1标准用户接口
13.3.2标准的热插拔控制信号接口
13.4热插拔控制器编程接口
13.4.1插槽能力寄存器
13.4.2插槽控制寄存器
13.4.3插槽状态寄存器
13.4.4卡插槽与服务器IO模块
13.5插槽号
13.6热插拔原语
第14章错误检测和处理
14.1PCI Express错误管理概述
14.1.1PCI Express错误检测范围
14.1.2错误报告渠道
14.1.3错误分类
14.2PCI Express的错误源
14.2.1ECRC的产生和检查
14.2.2数据中毒
14.2.3TC到VC的映射错误
14.2.4链路流控制有关的错误
14.2.5畸形事务层包
14.2.6分割事务错误
14.3错误分类及错误报告方法
14.3.1错误分类
14.3.2错误报告方法
14.4基本的错误检测和处理
14.4.1PCI兼容的错误报告机制
14.4.2PCI Express的错误报告机制
14.5高级的错误报告机制
14.5.1ECRC的产生和检查
14.5.2高级可纠正错误的处理
14.5.3高级不可纠正错误的处理
14.5.4错误日志
14.5.5根复合体的错误跟踪和报告
14.6错误处理流程
第15章PCI Express配置机制及系统枚举
15.1PCI Express的配置空间
15.1.1配置空间的作用
15.1.2配置空间的层次和大小
15.1.3配置空间的布局结构
15.2PCI Express的配置访问机制
15.2.1PCI兼容的配置访问机制
15.2.2PCI Express增强的配置访问机制
15.2.3关于初始的配置访问的一些时间规定
15.3PCI Express枚举
15.3.1对具有单个根复合体系统的枚举
15.3.2对具有多个根复合体系统的枚举
15.4与系统枚举和系统拓扑有关的一些问题
15.4.1根复合体和交换开关内的多功能设备
15.4.2嵌入根复合体和交换开关内的端点
15.4.3设备ID的获知和记忆
第16章PCI兼容的配置寄存器
16.1类型0配置头标区
16.1.1用来识别设备驱动程序的寄存器
16.1.2头标类型寄存器
16.1.3BIST寄存器
16.1.4能力指针寄存器
16.1.5Card Bus卡信息结构指针寄存器
16.1.6命令寄存器
16.1.7状态寄存器
16.1.8基地址寄存器
16.1.9扩充ROM及扩充ROM基地址寄存器
16.1.10中断线寄存器
16.1.11中断引脚寄存器
16.2类型1配置头标区
16.2.1总线号寄存器
16.2.2基本的事务过滤机制
16.2.3桥的IO过滤器
16.2.4桥的可预取存储器过滤器
16.2.5桥的存储器映射IO过滤器
16.2.6桥的命令和控制寄存器
16.2.7桥的状态和次级状态寄存器
16.3PCI兼容的能力寄存器组
16.3.1底板和插槽
16.3.2底板/插槽编号有关的寄存器
16.3.3两个例子
第17章PCI Express专用配置寄存器
17.1PCI Express能力寄存器组
17.1.1PCI Express能力寄存器
17.1.2设备能力寄存器
17.1.3设备控制寄存器
17.1.4设备状态寄存器
17.1.5链路能力寄存器
17.1.6链路控制寄存器
17.1.7链路状态寄存器
17.1.8插槽能力寄存器
17.1.9插槽控制寄存器
17.1.10插槽状态寄存器
17.1.11根控制寄存器
17.1.12根状态寄存器
17.2PCI Express的扩展能力寄存器组
17.2.1高级的错误报告能力寄存器组
17.2.2虚通道能力寄存器组
17.2.3设备序列号能力寄存器组
17.2.4电源预算能力寄存器组
17.3根复合体寄存器块
附录APCI Express插卡连接器的引脚
附录B分类码
附录C高级交换
附录D中英文名词索引
参考文献