PCIe链路训练(Link Training) Debug案例解析

谁借莪１个温暖的怀抱￠ 2022-06-02 08:17 377阅读 0赞

Issue背景描述：

Xilinx两块开发版PCIe link up时间相差很大，Virtex-6开发版PCIe link up时间超过60ms，而Virtex-7 PCIe link up时间只有~25ms.

分析过程：

1. 对比Virtex-6和Virtex-7两块开发板上电过程的LTSSM状态机。

首先看一下，Virtex-6开发版的LTSSM状态机，发现在多了一次Polling->Dectect的转换过程。

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1][]

再来看Virtex-7开发版的LTSSM状态机，不同状态之间的转换符合PCIe Spec标准。

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 1][]

发现LTSSM状态机的异常点之后，然后结合详细的PCIe trace找到root cause.

2. 从Trace中看到，Upstream(Virtex-6)在Detect状态检查到RX存在之后，进入了Polling.Active状态，但是，之后由于一直未收到从Downstream下发的TS1序列，于是，就进入了Polling.Compliance状态. 此时，Upstream Lanes处于Electrical Idle。

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 2][]

3. 经过一段时间之后，Upstream Lanes看到EIOS之后，开始退出Polling.Compliance状态, 进入Polling.Active状态.

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 3][]

4. 接着，Downstream lanes进入Polling.Active状态，然后开始发送TS1序列。

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 4][]

5. 经过一段时间后，Upstream也进入了Polling.Active状态，然后开始发送TS1序列。

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 5][]

6. Upstream在Polling.Active状态实现了Bit Lock和Symbol Lock, 就转换进入到Polling.Configuration状态，并开始发送TS2序列。

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 6][]

7. 但是，问题来了，Downstream在Polling.Active状态未能成功实现了Bit Lock和Symbol Lock,在24ms timeout之后回到了Detect状态。

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 7][]

8. 此时，Upstream处于Polling.Configuration状态，在等待Downstream的TS2序列。由于Downstream已经回到Dectect状态了，Upstream在48ms内没有收到Downstream下发的TS2序列，也跟着返回Detect状态。

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 8][]

9. Downstream回到Dectect状态之后，就开始重新进行链路训练，在重新链路训练中，这次在Polling.Active状态成功实现了Bit Lock和Symbol Lock, 然后进入Polling.Configuration状态。最终成功实现PCIe链路训练。

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 9][]

从上面的分析过程中，我们看到，第7/8步中有两个timeout时间，分别是24ms和48ms，正是因为这两个timeout的存在，造成了Virtex-6开发版link up时间超过60ms。

Root Cause：

最后发现root cause是由于英特尔处理器中的一个bug造成的。如Intel Errata中的描述，由于Rx端过载保护电路的存在，可能会导致某些Device异常进入Polling.Compliance, 最后导致Downstream和Upstream之间状态出现偏差，引起Bit Lock/Symbol Lock错误。

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 10][]

精彩推荐:

*  [浅析PCIe链路LTSSM状态机][PCIe_LTSSM]  
    
 *  [浅析PCIe系统性能][PCIe]  
    
 *  [LDPC编解码初探][LDPC]  
    
 *  [浅析PCI配置空间][PCI]  
    
 *  [步入新时代 | PCIe 4.0带来了哪些惊喜？][_ PCIe 4.0]
 *  [PCIe SSD飞入寻常百姓家靠什么？][PCIe SSD]  
    
 *  [SCM+MLC/TLC NAND混合SSD性能探究][SCM_MLC_TLC NAND_SSD]  
    
 *  [浅析企业级SSD Multi-Stream Write技术][SSD Multi-Stream Write]  
    
 *  [企业级SSD发展趋势][SSD]  
    
 *  [2D NAND和3D NAND横向对比][2D NAND_3D NAND]  
    
 *  [第二代3D TLC NAND原厂级深度评测][3D TLC NAND]
 *  [为QLC保驾护航 | 慧荣科技亮出最新LDPC技术][QLC_ _ _LDPC]
 *  [SSD固态硬盘接口种类多，你了解多少？][SSD 1]  
    
 *  [写放大机制与影响因素详解][Link 1]
 *  [详解SSD之垃圾回收GC][SSD_GC]
 *  [SSD为什么需要Trim？][SSD_Trim]  
    
 *  [OP详解: 谁“偷”走了SSD的容量？][OP_ _SSD]
 *  [SSD性能优化之4K对齐][SSD_4K]
 *  [文件系统全记录回顾][Link 2]  
    
 *  [快来看，SATA秘籍惊现江湖！！！][SATA]
 *  [PCIe最全科普贴流出！不说了，赶快Mark！][PCIe_Mark]
 *  [独家发布 | Linux NVMe Driver学习笔记大合集][_ Linux NVMe Driver]  
    
 *  [存储随笔《NVMe专题》大合集及PDF版正式发布！][NVMe_PDF]

更多精彩内容，敬请关注头条号【存储随笔】获取更多活动内容。

# 同时，也可以关注[微][Link 3]信公众号: 存储随笔，Memory-logger.  #

![SouthEast][]

[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1]: /images/20220602/63b27b821d5a444c87ac6ecb9f0b032e.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 1]: /images/20220602/21b77e2fbf6a4061ae77d77db2cf48da.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 2]: /images/20220602/17c3d6c6093843339b0a61c63457faa0.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 3]: /images/20220602/e81b7920e4eb458c98a40930c175a43b.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 4]: /images/20220602/0bb71370bd114a458b3c1cca8f9d2139.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 5]: /images/20220602/ad1875d2999a48988a8aee858fc872f8.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 6]: /images/20220602/f84786c2d09b461b96060a1b95b3bc77.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 7]: /images/20220602/88a8cd92120445f699c9c9c928d75ba9.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 8]: /images/20220602/053ef683999443d5b236e7112d1a6434.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 9]: /images/20220602/a0d1bba8880c4f09bc8c91afab954276.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 10]: /images/20220602/e854b2c1a0154fe3aa9ebd0d5c634c22.png
[PCIe_LTSSM]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484932&idx=1&sn=b418f541865fcb3cbc6a6a9207a7688b&chksm=972ef75da0597e4bc6f74bd347f9d074e5ede646f22de214b993a43f57d70491f563b01e83af&scene=21#wechat_redirect
[PCIe]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484906&idx=1&sn=5160febb1fa3af0b3e4ad30b6b83e5dd&chksm=972ef4b3a0597da5904a96bc64314f1bb835ad0c07c3ede1608d2e30ca4aa7a9a0a20c1d9f11&scene=21#wechat_redirect
[LDPC]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484887&idx=1&sn=f266518691f6364911c865061b51e0a4&chksm=972ef48ea0597d98c1c431233d6f5371cc4a5494c0365fba7fdb097e221a1bf601c79785a958&scene=21#wechat_redirect
[PCI]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484877&idx=1&sn=da7ee4d0920540af845ca6c610b33c86&chksm=972ef494a0597d820d29a9ab072e8583202c629d34e8f255b1eb10de3c1d73d6eee1417eddf9&scene=21#wechat_redirect
[_ PCIe 4.0]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484818&idx=1&sn=9a70c7831effea2df5076b4770f2f0d9&chksm=972ef4cba0597dddcd2c79811880759190a7fde5adcbd96184e5970b6e32a406425e794c4ea4&scene=21#wechat_redirect
[PCIe SSD]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484750&idx=1&sn=9907280aa354260b49a1fc69a12cad7d&chksm=972ef417a0597d01b75a85af61175f04e1ed5c693684daec19ffc1e1a831b1e59a417d1a1b1a&scene=21#wechat_redirect
[SCM_MLC_TLC NAND_SSD]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484629&idx=1&sn=71b5a506c12c6504b240e4185c8c33af&chksm=972ef58ca0597c9a40e792755bfb382a399f68e7589de7780a875b9f9e562bdcc468bba99ec7&scene=21#wechat_redirect
[SSD Multi-Stream Write]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484600&idx=1&sn=d4f6b65efbfd5d3ef43ad98aa39a634f&chksm=972ef5e1a0597cf75b4cb2f41829005ad72a549958c22ce39355d3b8e00a42131ff7a8521e59&scene=21#wechat_redirect
[SSD]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484599&idx=1&sn=4c9fd79dba8cf2b9f6c3a29f26056be6&chksm=972ef5eea0597cf8319a5717e4d79a2cf6dbc5ba727b2a19c66a50b95112d073b79112939e63&scene=21#wechat_redirect
[2D NAND_3D NAND]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484482&idx=1&sn=58eec127e48d766f5d728c8eeca18d8d&chksm=972ef51ba0597c0d1677174c5118ac37e30cc2ccee51b3eebe349df1d8ee89c5f401aa312283&scene=21#wechat_redirect
[3D TLC NAND]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484556&idx=1&sn=91cffd77a58e8089e615a573b52b7aac&chksm=972ef5d5a0597cc3377eba5b7a32b4e4e50c18ad844d22de2a1a3ec758e39229fa50e84cae53&scene=21#wechat_redirect
[QLC_ _ _LDPC]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484571&idx=1&sn=3ed15cf84b0e8105b481d0d704de93d5&chksm=972ef5c2a0597cd4629124a88debdd1d932c1844483cf14050a1f4b65d344f2cd4ed17b666e9&scene=21#wechat_redirect
[SSD 1]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247483733&idx=1&sn=422dd9187ac79c43b6dd3627bae5b0ba&chksm=972ef00ca059791a30e7c6bd44e4a670e69f3f2a50b3bc8e320a6aec460deb60df570695d1b7&scene=21#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484525&idx=1&sn=00c313d29064a9458116fabc6d002b77&chksm=972ef534a0597c2264df88d3fd8c15d3ccbe33294f4f512be870b30f5cd02115ae5ac5dfe02f&scene=21#wechat_redirect
[SSD_GC]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247483752&idx=1&sn=a7a7209337cc5ef3d3ebefda2591bda0&chksm=972ef031a0597927f5af5c437354a933c04f224cf9f1a0a6f1939db45e7c3d58219442b2f0a4&scene=21#wechat_redirect
[SSD_Trim]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247483713&idx=1&sn=46cd747745744b91aa72c9a36498c0b9&scene=21#wechat_redirect
[OP_ _SSD]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247483683&idx=1&sn=d3cb7b4a444ca5ada9d518c57f07c534&scene=21#wechat_redirect
[SSD_4K]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247483732&idx=1&sn=e8f666496e12cdac227db7f8a399b09b&chksm=972ef00da059791bd7edf9d195e5d68f810602a3a681202575f9dc11e803ed30342b6f83194d&scene=21#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484486&idx=1&sn=f1917921241cafd83cf9ec3198dfaa2d&chksm=972ef51fa0597c097fdc9f522ecbd57a687bf4a6aa828ccb37d959a8138ed9e893d199580ef0&scene=21#wechat_redirect
[SATA]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484134&idx=1&sn=7764b6f8f9b51c0f79108baa03d65735&chksm=972ef3bfa0597aa99a56b08c316bfed5428e31c965926eec1fe51587d0a76528ae37f3d03ad3&scene=21#wechat_redirect
[PCIe_Mark]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484347&idx=1&sn=b2b1a1c818bf842ee361f09a630271eb&chksm=972ef2e2a0597bf433112814add8fdb44e3cb60bdf75f6fa58683fbc1fbd3f8b3be639962bd3&scene=21#wechat_redirect
[_ Linux NVMe Driver]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484503&idx=1&sn=b11975186d4e647069d5341a4af705a7&chksm=972ef50ea0597c189cc458b60f6670c64968515537537dcada98359f64b3fa326c29ead8f330&scene=21#wechat_redirect
[NVMe_PDF]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484399&idx=1&sn=9a7612489ba72d94e17304c7476d271f&chksm=972ef2b6a0597ba07c4dd45996602b9d891cc195478e3643b6bd32ff57c0b3f1c2f7ee98b69c&scene=21#wechat_redirect
[Link 3]: http://lib.csdn.net/base/wechat
[SouthEast]: /images/20220602/737879c04a1843ebb8a77fb0312605b1.png