我一不小心找到了 Tomcat 的 bug！

灰太狼 2022-01-13 07:41 262阅读 0赞

点击上方石杉的架构笔记，右上选择“**设为星标**”

每日早8点半，精品技术文章准时送上

![640?wx\_fmt=png][640_wx_fmt_png]

往期文章

[BAT 面试官是如何360°无死角考察候选人的（上篇）][BAT _360]

[每秒上万并发下的Spring Cloud参数优化实战][Spring Cloud]

[分布式事务如何保障实际生产中99.99%高可用][99.99]

[记一位朋友斩获 BAT 技术专家Offer的面试经历][BAT _Offer]

[亿级流量架构系列之如何支撑百亿级数据的存储与计算][Link 1]

![640?wx\_fmt=png][640_wx_fmt_png]

作者：藤伦柳揶

来源：https://dwz.cn/xZFW4J8S

## 背景介绍 ##

为了解决分布式链路追踪的问题，我们引入了实现OpenTracing的Jaeger来实现。然后我们为SpringBoot框架写了一个starter以让用户实现近零改造接入全链路。

由于公司有一个封装了SpringBoot的内部框架，然后我们的starter就以最新框架所使用的SpringBoot版本为基础进行开发。所以业务系统在接入的时候需要先升级框架，然后再引入我们的starter才行无缝接入全链路。

## 故障描述 ##

然后有一个业务系统就按照步骤，升级框架，引入starter就接入了全链路系统，并且功能测试压力测试都已经通过了。结果我们满怀信心地就上线了。结果，线上nginx报大量http 400错误。

## 故障排查 ##

出现故障后，业务系统的研发人员查了所有的日志，包括elk以及机器上的日志，都没有发现明显的错误日志。这个就。。。

几番挣扎后还是没有在线上的日志中找到任何蛛丝马迹。这个就比较绝望了。更奇怪的是在测试环境中是正常的，这个就比较诡异了。

然后我们猜想是不是之前压力测试做得不够啊，我们还是在压测环境中再压测一下看看会不会复现。

然后正好之前这个业务系统做过压测，那就赶紧找运维搭建一个压测环境。结果刚搭建完就非常给面子地复现了400错误。

> 然后运维同学就各种折腾，然后神奇般地在nginx中的location下加了一行配置后就好了.

然后就开始各种查这个配置是啥意思。

> 这个配置的主要是在nginx在转发htp请求的时候会加上实际的Host请求头。
> 
> 如http请求是  http://abc.com/hello，那么nginx在转发http请求的时候会原封不动的把host请求头(Host:abc.com)转发给后台服务。
> 
>  对于nginx而言，如果没有配置proxy\_set\_header HOST $host的时候会默认修改Host为upstream的名称。

然后我们又在压测环境中试了一下修改之前的版本，发现是正常的。我们nginx的配置大体如下

![640?wx\_fmt=png][640_wx_fmt_png 1]

那总结一下现在的现象：

*  在nginx没有配置`proxy_set_header HOST $host`的时候，修改之前的版本是正常的，修改之后的版本报400错误
 *  在nginx配置了`proxy_set_header HOST $host`之后，两个版本都是正常的

那我们到底修改了什么呢？

*  升级SpringBoot的版本
 *  引入全链路starter

> 然后我们试了下去掉全链路starter的引用，发现还是400错误。然后再回退SpringBoot版本，发现是正常的

综上：是因为升级了SpringBoot版本导致了该问题，又因为是http的头部变化导致的问题，故可以大胆猜测是因为**升级了Tomcat版本**导致的该问题。

> tomcat版本从8.5.11升级到8.5.31

## 故障本地复现 ##

由前面的分析可知，nginx在没有配置`proxy_set_header HOST $host` 的时候，在转发http请求的时候会默认把upstream的名称作为Host头部的内容。

> 也就是说新版的tomcat在接收Host为sc\_java（带有下划线）的http请求报了400错误

下面我们来复现一下这个错误，如下，本地部署两个使用新版本tomcat的后台服务，端口分别为8083和8084

![640?wx\_fmt=png][640_wx_fmt_png 2]

nginx配置如下。重点是upstream是带下划线的

![640?wx\_fmt=png][640_wx_fmt_png 3]

然后使用postman请求nginx，复现400错误

![640?wx\_fmt=png][640_wx_fmt_png 4]

调整nginx配置，主要修改upstream为没有下划线的

![640?wx\_fmt=png][640_wx_fmt_png 5]

然后再请求，发现是正常的

![640?wx\_fmt=png][640_wx_fmt_png 6]

## 故障修复方案 ##

*  回退tomcat版本。代价较大
 *  线上修改nginx配置：加上配置`proxy_set_header HOST $host` 或者修改upstream为没有下划线的名称

## 根因分析 ##

我们虽然知道了故障的原因，也知道了怎么修复这个故障。但是就是不知道新版的tomcat为什么出现这个问题。

带着这个疑问，我们组的同事在SpringBoot项目的issue中搜索了下400问题，发现确实有相关的issue

https://github.com/spring-projects/spring-boot/issues/13236

虽然看上去跟我们的问题是一样的，都是400问题，但是具体发生的原因是不一样的。

这个issue是说，如果domain name .ext 包含数字，比如 "domain.sf1m"，会出现400问题。这个问题也已经在tomcat的新版本中修复了。

但是即使我使用最新的8.5.x版本的tomcat，用带有下划线的Host的http去请求tomcat的时候依然会报400错误。

> 也就是说，带有下划线的Host的http请求，tomcat认为是有问题的

那为什么之前版本的tomcat是正常的呢?带着这个疑问我们来分析一下tomcat的源代码。

由于之前没有看过tomcat的源代码，所以要分析出到底是哪一行代码有问题是很困难的，所以我查看了下tomcat的相关的bug

https://bz.apache.org/bugzilla/show\_bug.cgi?id=62371

下面是bug中的错误stack

![640?wx\_fmt=png][640_wx_fmt_png 7]

发现对应的代码改动如下

![640?wx\_fmt=png][640_wx_fmt_png 8]

到这里我们也就知道了处理Host头部的类就是这个 **HttpParser ****类**。

然后我在本次check了下tomcat8.5.31 和8.5.11的代码，比对了一下HttpParser以及AbstractProcessor类。

对比结果如下:

![640?wx\_fmt=png][640_wx_fmt_png 9]

我们发现8.5.31版本的AbstractProcessor类中多了一个parseHost的方法，然后主要解析方法是Host.parse(valueMB);

![640?wx\_fmt=png][640_wx_fmt_png 10]

到这里我们就已经知道了为什么8.5.11版本的tomcat是正常的，主要是因为8.5.11版本的tomcat没有对Host头部进行校验，而在8.5.31版本的tomcat增加了该校验。

我们来看一下tomcat源代码的提交记录

![640?wx\_fmt=png][640_wx_fmt_png 11]

我们发现在 2018/4/6增加了对host/port的校验。

## 根因之根因 ##

那为什么tomcat增加了这个Host的校验呢，而且不允许使用带有下划线的Host呢？实际上这个是有规范的。具体点击这个链接

https://www.ietf.org/rfc/rfc1034.txt

## 经验教训 ##

好了，到这里我们就知道了，其实对于带有下划线的Host，tomcat是遵循的RFC1-1034的规范的，**所以tomcat的处理是正确的。**

**`但是tomcat在处理某些其他合法的Host的时候历史上出现过bug,但是对于下划线的处理一直是正确的。`**

所以，以后nginx在配置upstream的时候不能使用带有下划线的名称，还有最好在location位置上加上`proxy_set_header HOST $host`

**END**

**如有收获，请划至底部，点击“在看”，谢谢！**

![640?wx\_fmt=png][640_wx_fmt_png]

**推荐阅读**：

*  [简历写了会Kafka，面试官90%会让你讲讲acks参数对消息持久化的影响！][Kafka_90_acks]

*  [面试最让你手足无措的一个问题：你的系统如何支撑高并发？][Link 2]  
    
    
      
    
 *  [Java高阶必备：如何优化Spring Cloud微服务注册中心架构？][Java_Spring Cloud]

*  [高并发场景下，如何保证生产者投递到消息中间件的消息不丢失？][Link 3]

*  [从团队自研的百万并发中间件系统的内核设计看Java并发性能优化！][Java]

*  [如果20万用户同时访问一个热点缓存，如何优化你的缓冲架构？][20]

**更多文章：**

*  [2018年原创汇总][2018]
 *  [2019年原创汇总（持续更新）][2019]
 *  [爆款推荐][Link 4]
 *  [面试专栏][Link 5]

![640?wx\_fmt=png][640_wx_fmt_png]

欢迎长按下图关注公众号**石杉的架构笔记**

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg]

**BAT架构经验倾囊相授**

![640?wx\_fmt=gif][640_wx_fmt_gif]

[640_wx_fmt_png]: /images/20220113/2e1e99f3e81241859605fed64df61fec.png
[BAT _360]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247484144&idx=1&sn=a6b86d38a762e317ba78e2500fb1a8ff&chksm=fba6eaf3ccd163e5403a01be51216780040511b2ddc4d5750ace6e46b4242ceaf77d0432c680&scene=21#wechat_redirect
[Spring Cloud]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247483777&idx=1&sn=f144ee415bb743f5422314907fc7d819&chksm=fba6e982ccd160945aa5c53434e933e2f03e89d9faf634f0b573c1f7b6f4d6d2635cad091276&scene=21#wechat_redirect
[99.99]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247483876&idx=1&sn=51f8eadc16efd6b89eb1f3c6abe67e25&chksm=fba6e9e7ccd160f183b344d4773841ad8df9a2c099a16aae516ddb45aef7eaccb83570d171fe&scene=21#wechat_redirect
[BAT _Offer]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247484170&idx=1&sn=6c178884c1c5399e37562b9dc66cff6c&chksm=fba6eb09ccd1621ff8821b37f12d6df8a1d269ddc95ad10c0a4e71a3bf0017952bf19978d8ec&scene=21#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247483948&idx=1&sn=e75aa8b5cfae1363391801e2f74bd2ee&chksm=fba6ea2fccd163390520dbc62b6170c7f3d456207e623fce4ded036fea525a6782a31098b905&scene=21#wechat_redirect
[640_wx_fmt_png 1]: /images/20220113/a2c320279f5640f4a07f068a355821a2.png
[640_wx_fmt_png 2]: /images/20220113/1b1ca971d23a47d6ba2baec650c4efb6.png
[640_wx_fmt_png 3]: /images/20220113/b63a9b934fb1464ba38b96e6b2f3374e.png
[640_wx_fmt_png 4]: /images/20220113/9e1e5080ca694daca265e4de2b85f0e9.png
[640_wx_fmt_png 5]: /images/20220113/f688f98facfd49d88a94c2d3762d1575.png
[640_wx_fmt_png 6]: /images/20220113/f58be21213104a78b75c7c00420b78d4.png
[640_wx_fmt_png 7]: /images/20220113/fa238f29208049279d2af93a9288d4ad.png
[640_wx_fmt_png 8]: /images/20220113/8bc882818c5e44998f7b430de2f86f5d.png
[640_wx_fmt_png 9]: /images/20220113/aadcfbc67bfc48c9a1c0e6b189628006.png
[640_wx_fmt_png 10]: /images/20220113/2413586710f2456b9c0501c7bf427e23.png
[640_wx_fmt_png 11]: /images/20220113/22090633433747a686d623e716396f87.png
[Kafka_90_acks]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247485069&idx=1&sn=abd8ddc19fbb49c11c8ad9e1ffdff147&chksm=fba6ee8eccd1679874d5bd19109ed8cb3daadf59dabe67c906f8caed0714ba2dda16f5a032ce&scene=21#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247484429&idx=1&sn=d8038c21ecd733b8bb7ff784014243f9&chksm=fba6ec0eccd165189e92a294ab2b7cd6796982c188befe05c27f4e96ae5cd39f2baf436cf37d&scene=21#wechat_redirect
[Java_Spring Cloud]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247484680&idx=1&sn=d25e1f81ad75f68dd88755173843efad&chksm=fba6ed0bccd1641d7edfd05431904b96f2e3da7c04b3a75c2a350e374733f59971c01ddd9ae6&scene=21#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247484377&idx=1&sn=373832e0d050bb0618448f4403f02f2a&chksm=fba6ebdaccd162cca4a26199554cbfbc37c4aec56fe54c3864a0a9cfc3255884ed212512e5cd&scene=21#wechat_redirect
[Java]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247484395&idx=1&sn=46c756600ba36d94eb4439cf29810cae&chksm=fba6ebe8ccd162fef42bb35360df8ec6c75e1a9af1acc83ba333b3f35191ba8864c16e0a31da&scene=21#wechat_redirect
[20]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247484401&idx=1&sn=823cffa4a1aa73335bdfb7c02e8c85f0&chksm=fba6ebf2ccd162e422b1b496f5790ebdf7f6d11adb8d2e00957ca371dcca0514a3fde09af521&scene=21#wechat_redirect
[2018]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247485040&idx=2&sn=e6eba27a4a912cbd320f28e6d8716241&chksm=fba6ee73ccd16765d9d59ad38dc29bb983439f8c91bda5aef068e79ce35cc6c87869e96481cb&scene=21#wechat_redirect
[2019]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247485185&idx=2&sn=df2470abbcedee1792246dfb81acb446&chksm=fba6ef02ccd166143a04c7a233c1a32b43ce003e6790543354c0248a01d92421de6f3e3b42c5&scene=21#wechat_redirect
[Link 4]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247484866&idx=3&sn=b1018261f230a065b0888bc9b66d6df9&chksm=fba6edc1ccd164d70ff5cc4d31641562f9ba747e992b64041c29317b66f61e3c86566fce0a3d&scene=21#wechat_redirect
[Link 5]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247485185&idx=3&sn=278ce173dd5af6bce78ad9125bed2f45&chksm=fba6ef02ccd16614b5f562c021d18f5db2bc79ba3b33a2bf590db8cc121a3f8e94b4284990c4&scene=21#wechat_redirect
[640_wx_fmt_jpeg]: /images/20220113/8c347c726bae423fa37f2c575de6ae8d.png
[640_wx_fmt_gif]: /images/20220113/01a3464e18b04baea8c6385a0a582dda.png