浅析PCIe链路LTSSM状态机

痛定思痛。 2022-06-02 07:07 620阅读 0赞

我们知道，在PCIe链路可以正常工作之前，需要对PCIe链路进行链路训练，在这个过程中，就会用LTSSM状态机。LTSSM全称是Link Training and Status State Machine。这个状态机在哪里呢？它就在PCIe总线的物理层之中。

![53f90002784ba617c98f][]

LTSSM状态机涵盖了11个状态，包括Detect, Polling, Configuration, Recovery, L0, L0s, L1, L2, Hot Reset, Loopback, Disable。这11个状态之间转换的逻辑，如下图，

![53f800026fe1f2b0bc90][]

这11个状态大致可以分为4大类：

(1) PCIe链路训练相关。正常的PCIe链路训练状态转换流程依次是，Detect->Polling->Configuration->L0. L0是PCIe链路可以正常工作的电源状态。

(2) PCIe链路重新训练相关。这个状态也称为Recovery。Recovery是一个非常重要的链路状态，进入这个状态的因素也很多，比如电源状态的变化，PCIe链路速率的变化等。

(3) 电源状态相关。PCIe总线的电源状态主要有两部分的内容。

*  一是基于软件控制的**PCI-PM**电源管理机制，是系统软件通过修改寄存器中的电源管理字段，使PCIe设备进入D状态：D0，D1，D2，D3.
 *  二是基于硬件控制的**ASPM(=Active State Power Management)**电源管理机制，是基于硬件自主控制的链路电源管理机制，只有在PCIe设备处于D0状态是才可以启动ASPM机制，另外，与ASPM有关的链路状态有L0s，L1(包括L1.1和L1.2).

(4)其他相关。比如Hot Reset, Link Disable, Loopback等。

我们接下来对这11个状态分别作一个简单的介绍。

# Detect #

这是物理层的初始状态，仅在Gen1 2.5 GT/s速率下使用，或是从数据链路层转换而来，或是在reset之后，或者从其他状态(Disable, Polling, Configuration,Recovery等)转换。总之，Detect状态是PCIe链路训练的开端。此外，Detect，顾名思义，需要实现检测工作。因为在这个状态时，发送端TX需要检测接收端RX是否存在且可以正常工作，如果检测正常，才能进入其他状态。Detect状态主要包含了两个子状态：Detect.Quiet和Detect.Active.

> (1)从其他状态或者Reset之后，物理层从Electrical Idle开始，此时，处于Detect.Quiet;
> 
> (2)当超过12ms或者所有Lane均退出Electrical Idle时，则从Dectect.Quiet转换进入Detect.Active。在这个状态就会开启检测RX工作。

![53fa000412292ceb83ea][]

判断RX是否存在的逻辑比较简单，就是通过一个“Detect logic”电路比较RC时间常数的大小。

> (1) 当RX不存在时，RC时间常数较小。

![53fb0003b06b6f4c6d71][]

> (2) 当RX存在时，RC时间常数较大。

![53f900061caeb8e50d81][]

# Polling #

这个状态的目的是"对暗号"，实现无障碍沟通。进入这个状态后，TX和RX之间通过发送TS1、TS2 OS序列来确定Bit Lock, Symbol Lock以及解决Lane极性反转的问题。

> **Bit Lock**: 在Bit传输过程中，RX PLL锁定TX Clock频率，这个过程称为RX实现"Bit Lock"。
> 
> **Symbol Lock:** RX端串并转化器知道如何区别一个有效的10-bit Symbol，这个过程称为“Symbol Lock”. 这里用到的是COM控制符。

Polling状态主要包含了三个子状态：Polling.Active, Polling.Configuration, Polling.Compliance.

![53fb0005b867281626b6][]

> **(1) Polling.Active**:这是链路从Detect退出后进入的状态，在这个状态下，发送端需要在所有Lane至少发送1024个TS1序列，因为接收端需要通过接收到的TS1序列来实现Bit/Symbol Lock. 由于发送端和接收端不是同时退出Detect状态，所以，TS1序列交流可能不会同步。此时，链路出于Gen1(2.5GT/s), Symbol time=4ns(10b/2.5Gb/s), 发送1024个TS1序列(16 symbols)至少需要64us(1024\*16\*4ns).
> 
> **(2) Polling.Configuration**: 当发送端TX发送完至少1024个TS1并且接收端RX连续收到8个TS1或者TS2，此时TS1和TS2中的Link/Lane区域由PAD填充， 那么，链路进入Polling.Configuration状态。处于此状态，发送端停止发送TS1序列，改为发送TS2序列，此时Link/Lane区域仍然由PAD填充，这个过程也会完成极性反转的问题，为进入下一个状态作准备。
> 
> **(3) Polling.Compliance**: 这个状态主要是通过发送不同的Pattern来测试发送端以及设备连接是否符合Spec要求。

# Configuration #

这个状态工作内容很简单，就是通过发送TS1、TS2来确定Link/Lane number. 如下图，Configuration包含了6个子状态：Configuration.LinkWidth.Start,Configuration.LinkWidth.Accpet,Configuration.Lanenum.Wait,Configuration.Lanenum.Accpet,Configuration.Complete, Configuration.Idle.

![53ff0002edd6d360d585][]

由于Configuration状态下，发送端和接收端已经确认可以正常通信，所以，我们结合实例来看一下Downstream和Upstream的状态转换过程。

**(1) Link Number Negotiation**

Downstream在TS1中设定Link number, 此时Lane number=PAD，并发送给Upstream.

![53fd0006abe795d1d98e][]

而Upstream回的第一个TS1中，Link num仍然是PAD。此时，Upstream也处于Configuration.LinkWidth.Start状态。

![53fc0006aee84cae9eb6][]

之后Upstream回的TS1中Link number则是设定值，此时, Upstream率先进入Configuration.LinkWidth.Accept状态。

![540000061ebb8c93ab8b][]

到这里，Link Number Negotiation就完成了。

**(2) Lane Number Negotiation**

当Downstream看到Upstream返回的TS1中Link number已经是设定值，那么就认为Link num已经协商成功，然后就开始准备设定Lane number，此时Downstream链路也接着进入Configuration.LinkWidth.Accept状态. 由于在录这个Trace时有过滤重复的TS序列，所以，我们看到一个TS1序列对应了三个状态：Configuration.LinkWidth.Accept，Configuration.LaneNum.Wait，Configuration.LaneNum.Accept. 这个三个状态发送的TS1序列一样，Link number和Lane number都已设定。

![53fe0006c131a59f3625][]

当Upstream收到Downstream设定Lane number的TS序列之后，也很快进入了Configuration.LaneNum.Accept状态。

![567d0000891771b42eb4][]

与Lane number相关的三个状态之间相互转换逻辑如下：Downstream Vs Upstream.

![567b00020a87add751d4][]

![56780006c590bbe48b45][]

到这里，双方Lane number协议就完成了。

**(3) Confirm Lane/Link Number**

最后一步，过程就很简单了，双方通过发送TS2序列，对之前设定的Link/Lane number进行确认，这个过程，LTSSM处于Configuration.Complete. 确认没有问题之后，就准备进入下一个状态。

![567b000229915c498ef7][]

# L0 #

当进入这个状态时，PCIe链路就可以愉快的开始正常工作了。这个状态可以传输TLP，DLLP等报文。

# Recovery #

当PCIe链路需要重新训练时，进入Recovery状态。主要有以下几种情况：

> (1) PCIe链路信号发现error，需要调整Bit Lock和Symbol Lock;
> 
> (2) 从L0s或者L1低功耗电源状态退出;
> 
> (3) Speed Change。因为第一次进入L0状态时，速率是2.5GT/s. 当需要进行速率调整5.0GT/s或者8.0GT/s时，需要进入Recovery状态进行Speed Change. 这个阶段，Bit Lock、Symbol Lock等都需要重新获取;
> 
> (4) 需要重新调整PCIe链路的Width;
> 
> (5) 软件触发retrain操作;
> 
> (6) 仅在Gen3和Gen4，需要重新进行Equalization。

Recovery子状态转换逻辑如下图：

![567e0000d42a7ca0986a][]

我们结合一个上电过程中Gen1提速至Gen3的时序来解读一下Recovery状态的转换，如下图：

![567b0003d27a2f52b833][]

> a. Downstream率先进入Recovery.RcvrLock状态, 之后向Upstream持续发送TS1并且将speed\_change bit设置为1;
> 
> b. Upstream端看到TS1进来之后，也跟着进入Recovery.RcvrLock状态，同时回传TS1序列，不过此时，speed\_change bit仍为0. 当Upstream接收达到连续8个TS1且speed\_change bit设置为1，这时，Upsteam回传的TS1、TS2中speed\_change bit设置为1，并告诉Downstream建议工作速率，接着进入Recovery.RcvrCfg状态;
> 
> c. Downstream收到Upstream建议的速率反馈之后，也返回TS2序列，并发送EIOS序列，准备进入Electrical Idle. 此时，LTSSM处于Recovery.RcvrCfg状态;
> 
> d. 之后，Downstream和Upstream相继进入Electrical Idle, LTSSM处于Recovery.Speed状态;
> 
> e. 经过一段时间timeout(Spec要求至少800ns, 小编这个Trace中是~8us),Upstream发送EIEOS, 退出Electrical Idle, 尝试跑最高速率8GT/s;
> 
> f. 接着Downstream也退出Electrical Idle, 尝试跑试跑最高速率8GT/s;
> 
> g. 最后，双方开始进行EQ。EQ之后，PCIe链路就可以回到正常工作状态。

# L0s/L1/L2 #

这三个状态，主要是低功耗电源管理状态，在这里不再展开了，具体可以参考Spec.

# Hot Reset #

当某个PCIe设备发生错误时，我们有时候需要通过软件的方式对设备进行复位，这个方式就是Hot Reset。可以通过设置Bridge Control寄存器中的Secondary Bus Reset来触发Hot Reset.

![567d000298d51a04c8fe][]

Hot Reset的指令是在TS1序列中体现，如下图，

![567d00029e9751a97cd7][]

Hot Reset触发之后，LTSSM会进入Recovery和Hot Reset状态，之后会到Detect状态，PCIe链路开始重新训练。

![56790008610da19f44a8][]

# Disabled #

用户可以通过设置修改Link Control寄存器，让PCIe链路出于Disabled状态。

![567a00044b7aff41b88d][]

另外，如果我们把设备移除之后，同样也进入Disabled状态。

当退出Disabled状态后，LTSSM回到Dectect，PCIe链路重新训练。

![567d0002aafc11bdf883][]

# Loopback #

这个状态仅用于debug测试，一般情况不会遇到，在这里不再展开，有兴趣的话可以参考PCIe Spec.

精彩推荐:

*  [浅析PCIe系统性能][PCIe]
 *  [LDPC编解码初探][LDPC]
 *  [浅析PCI配置空间][PCI]
 *  [步入新时代 | PCIe 4.0带来了哪些惊喜？][_ PCIe 4.0]
 *  [PCIe SSD飞入寻常百姓家靠什么？][PCIe SSD]
 *  [SCM+MLC/TLC NAND混合SSD性能探究][SCM_MLC_TLC NAND_SSD]
 *  [浅析企业级SSD Multi-Stream Write技术][SSD Multi-Stream Write]
 *  [企业级SSD发展趋势][SSD]
 *  [2D NAND和3D NAND横向对比][2D NAND_3D NAND]
 *  [第二代3D TLC NAND原厂级深度评测][3D TLC NAND]
 *  [为QLC保驾护航 | 慧荣科技亮出最新LDPC技术][QLC_ _ _LDPC]
 *  [SSD固态硬盘接口种类多，你了解多少？][SSD 1]
 *  [写放大机制与影响因素详解][Link 1]
 *  [详解SSD之垃圾回收GC][SSD_GC]
 *  [SSD为什么需要Trim？][SSD_Trim]
 *  [OP详解: 谁“偷”走了SSD的容量？][OP_ _SSD]
 *  [SSD性能优化之4K对齐][SSD_4K]
 *  [文件系统全记录回顾][Link 2]
 *  [快来看，SATA秘籍惊现江湖！！！][SATA]
 *  [PCIe最全科普贴流出！不说了，赶快Mark！][PCIe_Mark]
 *  [独家发布 | Linux NVMe Driver学习笔记大合集][_ Linux NVMe Driver]
 *  [存储随笔《NVMe专题》大合集及PDF版正式发布！][NVMe_PDF]

更多精彩内容，敬请关注头条号【存储随笔】获取更多活动内容。

# 同时，也可以关注[微][Link 3]信公众号: 存储随笔，Memory-logger.  #

![SouthEast][]

[53f90002784ba617c98f]: http://p9.pstatp.com/large/53f90002784ba617c98f
[53f800026fe1f2b0bc90]: /images/20220602/1d2c80a12182430fbfcd2bc646d6e917.png
[53fa000412292ceb83ea]: /images/20220602/86625b03763d4de981aada7498abf720.png
[53fb0003b06b6f4c6d71]: http://p3.pstatp.com/large/53fb0003b06b6f4c6d71
[53f900061caeb8e50d81]: /images/20220602/9b9fd90fd2eb4b13a9b7d1cb3a732d16.png
[53fb0005b867281626b6]: /images/20220602/fec43daf09724489bb6506fcbbd39648.png
[53ff0002edd6d360d585]: http://p3.pstatp.com/large/53ff0002edd6d360d585
[53fd0006abe795d1d98e]: /images/20220602/6b1474d1a7a14b4c87916c50d2690b2e.png
[53fc0006aee84cae9eb6]: http://p3.pstatp.com/large/53fc0006aee84cae9eb6
[540000061ebb8c93ab8b]: /images/20220602/667b61b6a0e64ad5871b56495a58f950.png
[53fe0006c131a59f3625]: http://p3.pstatp.com/large/53fe0006c131a59f3625
[567d0000891771b42eb4]: http://p3.pstatp.com/large/567d0000891771b42eb4
[567b00020a87add751d4]: /images/20220602/a94abe0b87a54ac69823f4b0deb6903b.png
[56780006c590bbe48b45]: http://p3.pstatp.com/large/56780006c590bbe48b45
[567b000229915c498ef7]: /images/20220602/a886c601bf4b4e8ab450bd9f982496f3.png
[567e0000d42a7ca0986a]: /images/20220602/8a15d42c8e214abeae03d2bdb848e6d0.png
[567b0003d27a2f52b833]: /images/20220602/29bff7aa28a74a758c2abdddd26b761e.png
[567d000298d51a04c8fe]: http://p3.pstatp.com/large/567d000298d51a04c8fe
[567d00029e9751a97cd7]: /images/20220602/9299586a19d34ebbb3b0ec8a2bd6056a.png
[56790008610da19f44a8]: http://p3.pstatp.com/large/56790008610da19f44a8
[567a00044b7aff41b88d]: /images/20220602/61987c91b2a34871b0067dce852a6a6d.png
[567d0002aafc11bdf883]: http://p3.pstatp.com/large/567d0002aafc11bdf883
[PCIe]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484906&idx=1&sn=5160febb1fa3af0b3e4ad30b6b83e5dd&chksm=972ef4b3a0597da5904a96bc64314f1bb835ad0c07c3ede1608d2e30ca4aa7a9a0a20c1d9f11&scene=21#wechat_redirect
[LDPC]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484887&idx=1&sn=f266518691f6364911c865061b51e0a4&chksm=972ef48ea0597d98c1c431233d6f5371cc4a5494c0365fba7fdb097e221a1bf601c79785a958&scene=21#wechat_redirect
[PCI]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484877&idx=1&sn=da7ee4d0920540af845ca6c610b33c86&chksm=972ef494a0597d820d29a9ab072e8583202c629d34e8f255b1eb10de3c1d73d6eee1417eddf9&scene=21#wechat_redirect
[_ PCIe 4.0]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484818&idx=1&sn=9a70c7831effea2df5076b4770f2f0d9&chksm=972ef4cba0597dddcd2c79811880759190a7fde5adcbd96184e5970b6e32a406425e794c4ea4&scene=21#wechat_redirect
[PCIe SSD]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484750&idx=1&sn=9907280aa354260b49a1fc69a12cad7d&chksm=972ef417a0597d01b75a85af61175f04e1ed5c693684daec19ffc1e1a831b1e59a417d1a1b1a&scene=21#wechat_redirect
[SCM_MLC_TLC NAND_SSD]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484629&idx=1&sn=71b5a506c12c6504b240e4185c8c33af&chksm=972ef58ca0597c9a40e792755bfb382a399f68e7589de7780a875b9f9e562bdcc468bba99ec7&scene=21#wechat_redirect
[SSD Multi-Stream Write]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484600&idx=1&sn=d4f6b65efbfd5d3ef43ad98aa39a634f&chksm=972ef5e1a0597cf75b4cb2f41829005ad72a549958c22ce39355d3b8e00a42131ff7a8521e59&scene=21#wechat_redirect
[SSD]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484599&idx=1&sn=4c9fd79dba8cf2b9f6c3a29f26056be6&chksm=972ef5eea0597cf8319a5717e4d79a2cf6dbc5ba727b2a19c66a50b95112d073b79112939e63&scene=21#wechat_redirect
[2D NAND_3D NAND]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484482&idx=1&sn=58eec127e48d766f5d728c8eeca18d8d&chksm=972ef51ba0597c0d1677174c5118ac37e30cc2ccee51b3eebe349df1d8ee89c5f401aa312283&scene=21#wechat_redirect
[3D TLC NAND]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484556&idx=1&sn=91cffd77a58e8089e615a573b52b7aac&chksm=972ef5d5a0597cc3377eba5b7a32b4e4e50c18ad844d22de2a1a3ec758e39229fa50e84cae53&scene=21#wechat_redirect
[QLC_ _ _LDPC]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484571&idx=1&sn=3ed15cf84b0e8105b481d0d704de93d5&chksm=972ef5c2a0597cd4629124a88debdd1d932c1844483cf14050a1f4b65d344f2cd4ed17b666e9&scene=21#wechat_redirect
[SSD 1]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247483733&idx=1&sn=422dd9187ac79c43b6dd3627bae5b0ba&chksm=972ef00ca059791a30e7c6bd44e4a670e69f3f2a50b3bc8e320a6aec460deb60df570695d1b7&scene=21#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484525&idx=1&sn=00c313d29064a9458116fabc6d002b77&chksm=972ef534a0597c2264df88d3fd8c15d3ccbe33294f4f512be870b30f5cd02115ae5ac5dfe02f&scene=21#wechat_redirect
[SSD_GC]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247483752&idx=1&sn=a7a7209337cc5ef3d3ebefda2591bda0&chksm=972ef031a0597927f5af5c437354a933c04f224cf9f1a0a6f1939db45e7c3d58219442b2f0a4&scene=21#wechat_redirect
[SSD_Trim]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247483713&idx=1&sn=46cd747745744b91aa72c9a36498c0b9&scene=21#wechat_redirect
[OP_ _SSD]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247483683&idx=1&sn=d3cb7b4a444ca5ada9d518c57f07c534&scene=21#wechat_redirect
[SSD_4K]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247483732&idx=1&sn=e8f666496e12cdac227db7f8a399b09b&chksm=972ef00da059791bd7edf9d195e5d68f810602a3a681202575f9dc11e803ed30342b6f83194d&scene=21#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484486&idx=1&sn=f1917921241cafd83cf9ec3198dfaa2d&chksm=972ef51fa0597c097fdc9f522ecbd57a687bf4a6aa828ccb37d959a8138ed9e893d199580ef0&scene=21#wechat_redirect
[SATA]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484134&idx=1&sn=7764b6f8f9b51c0f79108baa03d65735&chksm=972ef3bfa0597aa99a56b08c316bfed5428e31c965926eec1fe51587d0a76528ae37f3d03ad3&scene=21#wechat_redirect
[PCIe_Mark]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484347&idx=1&sn=b2b1a1c818bf842ee361f09a630271eb&chksm=972ef2e2a0597bf433112814add8fdb44e3cb60bdf75f6fa58683fbc1fbd3f8b3be639962bd3&scene=21#wechat_redirect
[_ Linux NVMe Driver]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484503&idx=1&sn=b11975186d4e647069d5341a4af705a7&chksm=972ef50ea0597c189cc458b60f6670c64968515537537dcada98359f64b3fa326c29ead8f330&scene=21#wechat_redirect
[NVMe_PDF]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484399&idx=1&sn=9a7612489ba72d94e17304c7476d271f&chksm=972ef2b6a0597ba07c4dd45996602b9d891cc195478e3643b6bd32ff57c0b3f1c2f7ee98b69c&scene=21#wechat_redirect
[Link 3]: http://lib.csdn.net/base/wechat
[SouthEast]: /images/20220602/ee06f01ac2e842c58384ad6012a89300.png