PCIE(高速串行计算机扩展总线标准)

概述

PCI是Peripheral Component Interconnect(外设部件互连标准)的缩写，它是个人电脑中使用最为广泛的接口，几乎所有的主板产品上都带有这种插槽。PCI插槽也是主板带有最多数量的插槽类型，在流行的台式机主板上，ATX结构的主板一般带有5～6个PCI插槽，而小一点的MATX主板也都带有2～3个PCI插槽，可见其应用的广泛性。

PCI-Express(peripheral component interconnect express)是一种高速串行计算机扩展总线标准，它原来的名称为“3GIO”，是由英特尔在2001年提出的，旨在替代旧的PCI，PCI-X和AGP总线标准。

PCIe属于高速串行点对点双通道高带宽传输，所连接的设备分配独享通道带宽，不共享总线带宽，主要支持主动电源管理，错误报告，端对端的可靠性传输，热插拔以及服务质量(QOS)等功能。

PCIe交由PCI-SIG（PCI特殊兴趣组织）认证发布后才改名为“PCI-Express”，简称“PCI-e”。它的主要优势就是数据传输速率高，而且还有相当大的发展潜力。

PCI Express也有多种规格，从PCI Express x1到PCI Express x32，能满足将来一定时间内出现的低速设备和高速设备的需求。PCI-Express的接口是PCIe 3.0接口，其比特率为8Gbps，约为上一代产品带宽的两倍，并且包含发射器和接收器均衡、PLL改善以及时钟数据恢复等一系列重要的新功能，用以改善数据传输和数据保护性能。

PCIe闪存卡的供应商包括：INTEL、IBM、LSI、OCZ、三星(计划中)、SanDisk、STEC、SuperTalent和东芝(计划中)等，而针对海量的数据增长使得用户对规模更大、可扩展性更强的系统所应用，PCIe 3.0技术的加入最新的LSI MegaRAID控制器及HBA产品的出色性能，就可以实现更大的系统设计灵活性。

PCIE发展历史

在我们看PCIe是什么之前，我们应该要了解一下PCIe的祖先们，这样我们才能对PCIe的一些设计有了更深刻的理解，并感叹计算机技术的飞速发展和工程师们的不懈努力。

1. ISA (Industry Standard Architecture)

2. MCA (Micro Channel Architecture)

3. EISA (Extended Industry Standard Architecture)

4. VLB (VESA Local Bus)

5. PCI (Peripheral Component Interconnect)

6. PCI-X (Peripheral Component Interconnect eXtended)

7. AGP (Accelerated Graphics Port)

8. PCI Express (Peripheral Component Interconnect Express)

科技的每一步前进都是为了解决前一代中出现的问题，这里的问题就是速度。作为扩展接口，它主要用于外围设备的连接和扩展，而外围设备吞吐速度的提高，往往会倒推接口速度的提升。第一代ISA插槽出现在第一代IBM PC XT机型上（1981），作为现代PC的盘古之作，8位的ISA提供了4.77MB/s的带宽（或传输率）。到了1984年，IBM就在PC AT上将带宽提高了几乎一倍，16位ISA第二代提供了8MB/s的传输率。但其对传输像图像这种数据来说还是杯水车薪。

IBM自作聪明在PS/2产品线上引入了MCA总线，迫使其他几家PC兼容机厂商联合起来捣鼓出来EISA。因为两者都期待兼容ISA，导致速度没有多大提升。真正的高速总线始于VLB，它绑定自己的频率到了当时486 CPU内部总线频率：33MHz。而到了奔腾时代，内部总线提高到了66MHz，给VLB带来了严重的兼容问题，造成致命一击。

Intel在1992年提出PCI（Peripheral Component Interconnect）总线协议，并召集其它的小伙伴组成了名为 PCI-SIG (PCI Special Interest Group)（PCI 特殊兴趣组J）的企业联盟。从那以后这个组织就负责PCI和其继承者们（PCI-X和PCIe的标准制定和推广。

不得不点赞下这种开放的行为，相对IBM当时的封闭，合作共赢的心态使得PCI标准得以广泛推广和使用。有似天雷勾动地火，统一的标准撩拨起了外围设备制造商的创新，从那以后各种各样的PCI设备应运而生，丰富了PC的整个生态环境。

PCI总线标准初试啼声就提供了133MB/s的带宽(33MHz时钟，每时钟传送32bit)。这对当时一般的台式机已经是超高速了，但对于服务器或者视频来说还是不够。于是AGP被发明出来专门连接北桥与显卡，而为服务器则提出PCI-X来连接高速设备。

2004年，Intel再一次带领小伙伴革了PCI的命。PCI express（PCIe，注意官方写法是这样，而不是PCIE或者PCI-E）诞生了，其后又经历了两代，现在是第三代(gen3，3.0)，gen4有望在2017年公布，而gen5已经开始起草中。

下面这个大表列出所有的速度比较。其中一些x8,x16的概念后面细节部分有介绍。

从下面的主频变化图中，大家可能注意到更新速度越来越快。

PCIe和PCI异同

1. PCI是总线结构，而PCIe是点对点结构。一个典型的PCIe系统框图如下：

一个典型的结构是一个root port和一个endpoint直接组成一个点对点连接对，而Switch可以同时连接几个endpoint。一个root port和一个endpoint对就需要一个单独的PCI bus。而PCI是在同一个总线上的设备共享同一个bus number。过去主板上的PCI插槽都公用一个PCI bus，而现在的PCIe插槽却连在芯片组不同的root port上。

1. PCIe的连线是由不同的lane来连接的，这些lane可以合在一起提供更高的带宽。譬如两个1lane可以合成2lane的连接，写作x2。两个x2可以变成x4，最大直到x16，往往给带宽需求最大的显卡使用。

2. PCI配置空间从256B扩展为4k，同时提供了PCIe memory map访问方式，我们在软件部分会详细介绍。

4.PCIe提供了很多特殊功能，如Complete Timeout(CTO)，MaxPayload等等几十个特性，而且还在随着PCIe版本的进化不断增加中，对电源管理也提出了单独的State（L0/L0s/L1等等）。这些请参见PCIe 3.0 spec，本文不再详述。

1. 其他VC的内容，和固件理解无关，本文不再提及。INT到MSI的部分会在将来介绍PC中断系统时详细讲解。

PCIe 1.0和2.0采用了8b/10b编码方式，这意味着每个字节（8b）都用10bit传输，这就是为什么2.5GHz和5GHz时钟，每时钟1b数据，结果不是312.5MB/s和625MB/s而是250MB/s和500MB/s。PCIe 3.0和4.0采用128b/130b编码，减小了浪费（overhead），所以才能在8GHz时钟下带宽达到1000MB/s（而不是800MB/s）。即将于今年发布的PCIe 4.0还会将频率提高一倍，达到16GHz，带宽达到2GB/s每Lane。

PCIe工作模式

工作模式：Endpoint 和 Root Port。
Endpoint（终端）指的是 PCIe 总线中的最终设备，例如显卡、网卡等外部设备。Endpoint 是数据传输的最终目的地或来源，可以发送或接收数据。每个 Endpoint 都有一个唯一的地址，用于标识它在总线上的位置。
Root Port（根端口）是 PCIe 总线的起始点，通常是主板上的插槽，用于连接外部设备。Root Port 负责管理总线流量、路由数据以及与 Endpoint 通信。它是连接外部设备和计算机主机的桥梁，负责控制数据的发送和接收。
简而言之，Endpoint 是最终设备，Root Port 是连接外部设备和计算机主机的接口。数据从 Root Port 发送到 Endpoint 或从 Endpoint 接收到 Root Port。这些术语在 PCIe 架构中用于描述数据传输的起点和终点。

PCIe拓扑特征：图的顶部是一个CPU。这里要说明的一点是，CPU被认为是PCle层次结构的顶层。PCle只允许简单的树结构，这意味着不允许循环或其他复杂的拓扑结构。这样做是为了保持与PCI软件的向后兼容性，PCI软件使用一个简单的配置方案来跟踪拓扑，不支持复杂的环境。为了保持这种兼容性，软件必须能够与以前相同的方式生成配置周期，总线拓扑也必须与以前相同。因此，软件期望找到的所有配置寄存器仍然在那里，并且以它们始终具有的方式运行。

在上图PCIe系统中有几种设备类型，Root Complex、Switch、Bridge、Endpoint等，下面分别介绍其概念。

Root Complex：简称RC，CPU和PCle总线之间的接口，可能包含几个组件(处理器接口、DRAM接口等)，甚至可能包含几个芯片。RC位于PCI倒立树拓扑的“根”，并代表CPU与系统的其余部分进行通信。但是，规范并没有仔细定义它，而是给出了必需和可选功能的列表。从广义上讲，RC可以理解为系统CPU和PCle拓扑之间的接口，PCle端口在配置空间中被标记为“根端口”。

Bridge：桥提供了与其他总线(如PCI或PCI- x，甚至是另一个PCle总线)的接口。如图中显示的桥接有时被称为“转发桥接”，它允许旧的PCI或PCIX卡插入新系统。相反的类型或“反向桥接”允许一个新的PCle卡插入一个旧的PCI系统。

Switch：提供扩展或聚合能力，并允许更多的设备连接到一个PCle端口。它们充当包路由器，根据地址或其他路由信息识别给定包需要走哪条路径。是一种PCIe转PCIe的桥。

Endpoint：处于PCIe总线系统拓扑结构中的最末端，一般作为总线操作的发起者（initiator，类似于PCI总线中的主机）或者终结者（Completers，类似于PCI总线中的从机）。显然，Endpoint只能接受来自上级拓扑的数据包或者向上级拓扑发送数据包。细分Endpoint类型的话，分为Lagacy PCIe Endpoint和Native PCIe Endpoint，Lagacy PCIe Endpoint是指那些原本准备设计为PCI-X总线接口的设备，但是却被改为PCIe接口的设备。而Native PCIe Endpoint则是标准的PCIe设备。其中，Lagacy PCIe Endpoint可以使用一些在Native PCIe Endpoint禁止使用的操作，如IO Space和Locked Request等。Native PCIe Endpoint则全部通过Memory Map来进行操作，因此，Native PCIe Endpoint也被称为Memory Mapped Devices（MMIO Devices）

PCIE×1、×4、×8、×16和Gen1、Gen2、Gen3

传输速率与带宽对应表如下，注：此表为全双工通信速率且没考虑编码方式

详细说明
我们在接触PCIe设备时会接触到一个词，传输速率，比如8GT/s。或者有人问你设备的带宽多少？通信速率多少？

Width（带宽）：通常用x1、x2、x4、x8等表示，表示该链路由几条lane组成。

Speed（速率）：通常用2.5GT/s、5GT/s、8GT/s，表示每条lane上的传输速率。PCIe1.0为2.5GT/s，PCIe2.0为5GT/s，PCIe3.0为8GT/s，

GT/s —— Giga transation per second （千兆传输/秒），即每一秒内传输的次数。重点在于描述物理层通信协议的速率属性，可以不和链路宽度等关联。
Gbps —— Giga Bits Per Second （千兆位/秒）。GT/s 与Gbps 之间不存在成比例的换算关系。

PCIe 链路吞吐量计算方法：
吞吐量 = 速率 * 带宽 * 2方向(全双工) * 编码方式

通过表格看详细的区分几者之间的关联和区别，表中PCIE1.0/2.0/3.0即为Gen1、Gen2、Gen3，两者意义相同，只是表示的方法不一样，均表示PCIE的发展历程和其总线速度上的区别。

BAR(Base Address Register)

系统中的每个设备中，对地址空间的大小和访问方式可能有不同的需求，例如，一个设备可能有256字节的内部寄存器/存储，应该可以通过IO地址空间访问，而另一个设备可能有16KB的内部寄存器/存储，应该可以通过基于MMIO的设备访问。哪些地址应该使用哪种方式（IO或Memory）来访问它们的内部位置，这是系统软件（即BIOS和OS内核）的工作。因此设备必须为系统软件提供一种方法来确定设备的地址空间需求。这种需求就是是通过配置空间头部中的Base Address register （BAR）实现的。一旦系统软件知道设备在地址空间方面的需求，系统软件将分配一个适当类型(IO, NP-MMIO或P-MMIO)的可用地址范围给该设备。如下图所示，Type 0报头有6个bar可用(每个bar的大小为32位)，而Type 1头只有2个bar可用。Type 1报头在所有网桥设备中都可以找到，这意味着每个switch端口都有Type 1报头。Type 0报头在非网桥设备中，比如end point。