【压力测试 2】JMeter压力测试之Internal server error 500 问题解决思路

r囧r小猫 2021-09-07 06:20 1393阅读 0赞

## 一、JMeter客户端实现有两种方式 ##

1、Java：选择压测时，链接是复用的（代码中的http调用都加了连接池）

2、httpclient4：压测时，每请求一次都创建一个新的链接，（jmeter5.0以前默认关闭了连接复用，5.0上是打开的：即每请求一次都会创建一个新的链接）

从JMeter 5.0开始，当使用默认的HC4实现时，JMeter将在每个线程组迭代时重置HTTP状态（SSL状态+连接）。如果您不想要此行为，请设置httpclient.reset\_state\_on\_thread\_group\_iteration = false

所以httpclient4 在连接复用设置打开的情况下，压测结果与java的是不一样的，因为java复用链接，httpclient4每次连接都会重新建立tcp连接，如果httpclient4吞吐量过低，需要考虑网络带宽的限制

java实现适合压榨性测试，httpclient4适合真实场景的模拟，

连接池的作用于原理：

正常访问数据库的过程中，每次访问都需要创建新的连接，这会消耗大量的资源；连接池的就是为数据库连接建立一个“缓冲区”，预先在缓冲池中放入一定数量的连接对象，当需要建立数据库连接时，只需从“缓冲池”中取出一个，使用完毕之后再放回去；且连接池允许多个客户端使用缓存起来的连接对象，这些对象可以连接数据库，它们是共享的、可被重复使用的；使用连接池可以节省大量资源，提高程序运行速度。

连接池的基本原理是：先初始化一定的数据库连接对象，并且把这些连接保存在连接池中。这些数据库连接的数量是由最小数据库连接数来设定的。连接池的最大数据库连接数量限定了这个连接池能占有的最大连接数，当应用程序向连接池请求的连接数超过最大连接数量时，这些请求将被加入到等待队列中。当程序需要访问数据库的时候，如果连接池中有空闲的连接，可直接得到一个连接；如果连接池对象中没有空闲的连接，且连接数没有达到最大，会创建一个新的连接从连接池中取出一个连接，数据库操作结束后，再把这个用完的连接重新放回连接池。

## 二、压测接口时，并发一段时间后，会报java.net.BindException: Address already in use: connect ##

### 原因： ###

Jmeter里的http sample勾选了keep alive，导致会话一直保持，而windows本身的端口有限，导致端口被占用完后，无法分配新的端口，因此会产生java.net.BindException: Address already in use: connect 报错。

### 解决方案： ###

HTTP SAMPLE 不勾选keep alive

## 三、Keep-Alive模式 ##

我们知道Http协议采用“请求-应答”模式，当使用普通模式，即非Keep-Alive模式时，每个请求/应答，客户端和服务器都要新建一个连接，完成之后立即断开连接；当使用Keep-Alive模式时，Keep-Alive功能使客户端到服务器端的连接持续有效，当出现对服务器的后继请求时，Keep-Alive功能避免了建立或者重新建立连接。

http1.0中默认是关闭的，需要在http头加入”Connection: Keep-Alive”，才能启用Keep-Alive；  
http 1.1中默认启用Keep-Alive，如果加入”Connection: close “才关闭。目前大部分浏览器都是用http1.1协议，也就是说默认都会发起Keep-Alive的连接请求了，所以是否能完成一个完整的Keep- Alive连接就看服务器设置情况。

开启Keep-Alive的优缺点：

优点：Keep-Alive模式更加高效，因为避免了连接建立和释放的开销。  
缺点：长时间的Tcp连接容易导致系统资源无效占用，浪费系统资源。

## 四、自动重定向与跟随重定向 ##

Redirect Automatically（自动重定向）：只针对Get和Head请求，勾选此项则“跟随重定向”失效；自动重定向可以自动转向到最终目标页面，但是Jmeter是不记录重定向的过程内容，比如在察看结果树中是无法找到重定向过程内容的（A重定向到B，此时只记录B的内容不去记录A的内容）

Follow Redirects（跟随重定向）：Http Request取样器的默认选项，当响应code是3xx时（301永久性转移，302暂时性转移），自动跳转到目标地址。与自动重定向不同，Jmeter会记录重定向过程中的所有请求响应，在查看结果树时可以看到服务器返回的内容，所以此时可以对响应的内容做关联。

## 五、internal server error是什么意思？ ##

internal server error错误通常发生在用户访问网页的时候发生，该错误的意思是因特网服务错误。能够引起internal server error报错的原因有多个，如果你是网站主的话，可以对下列情形进行一一排查。

### 1、服务器资源超载 ###

如果网站文件没有做过修改，最有可能的是同服务器的资源超载：即同一时间内处理器有太多的进程需要处理的时候，会出现500错误。借助SSH，可以在命令行中输入以下命令查看：ps faux ps faux |grep username 如果你查到某个进程消耗过多资源，可以用kill命令强制关闭这个进程，只需输入该进程的进程号(Pid)：kill -9 pid。

### 2、文件权限设置错误 ###

500错误还有可能是对文件设置了不正确的权限：后台目录和文件的权限默认应该是755，而图片，文字等html文件应该是644，所以如果在刚刚上传文件后出现500错误，应该主要检查文件权限设置。可以使用FTP软件选中所有文件，然后批量修改文件权限。

### 3、htaccess文件写入错误的代码 ###

在使用某些wordpress SEO插件的时候，插件会改写.htacess文件，如果语法错误的话就有可能造成500错误!

## 六、Internal server error 500 问题解决思路 ##

### 1、明确错误含义 ###

> **500 Internal Server Error**
> 
> 通用错误消息，服务器遇到了一个未曾预料的状况，导致了它无法完成对请求的处理。没有给出具体错误信息。

根据这个描述，基本可以排除客户端以及网络因素，需要重点关注服务端的状态。

我们系统服务端的架构如下图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b3J1aV9qYXZh_size_16_color_FFFFFF_t_70][]

接下来就要根据这个架构由前往后一层一层排查。

### 2、检查HAProxy ###

重点排查HAProxy当前是否可用，负荷是否超标，包括下面的一些指标。

<table> 
 <thead> 
  <tr> 
   <th>排查项</th> 
   <th>结果</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>CPU是否正常</td> 
   <td>正常</td> 
  </tr> 
  <tr> 
   <td>内存是否正常</td> 
   <td>正常</td> 
  </tr> 
  <tr> 
   <td>线程数是否超过配置上限</td> 
   <td>正常</td> 
  </tr> 
  <tr> 
   <td>连接数是否超过配置上限</td> 
   <td> <p>正常</p> </td> 
  </tr> 
 </tbody> 
</table>

排查之后发现一切正常，与版本更新前的数据作比较，也没有出现大幅度波动。

而在查看请求日志时，发现大量500错误信息，说明HAProxy出异常的可能性较小，错误更可能来自HAProxy之后的环节。

### 3、检查Jetty ###

重点排查jetty的配置信息。

<table> 
 <thead> 
  <tr> 
   <th>排查项</th> 
   <th>结果</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>配置是否有变动</td> 
   <td>正常</td> 
  </tr> 
  <tr> 
   <td>应用占用的线程数是否超过上限</td> 
   <td>正常</td> 
  </tr> 
  <tr> 
   <td>应用占用的线程数是否超过上限</td> 
   <td>正常</td> 
  </tr> 
 </tbody> 
</table>

虽然jetty配置信息检查正常，但是在access.log中存在大量500错误，定位到这里，有两种可能的原因：

应用代码逻辑问题。部分异常信息没有被拦截住，直接抛给Jetty，导致500错误。  
Jetty逻辑问题。请求没有到达应用，而是由于Jetty自身的某些逻辑导致请求被直接返回了。

### 4、检查应用 ###

为了验证是否第一个原因，我们继续走查了应用代码，发现所有的异常都被正确处理了，不存在继续往上抛的情况。另外，也检查了图片保存的代码，确认文件连接都正确释放了。

因此，由于应用逻辑问题导致错误的可能性很小，那么第二个原因的嫌疑最大，就是Jetty逻辑问题。

如果直接排查Jetty的源码，太费时费力，这个时候最好的办法是实时抓包，看看Jetty和应用服务之间到底发生了什么。

### 5、使用tcpdump抓包 ###

使用tcpdump命令抓取从jetty到应用服务之间所有的数据包，将结果输出到临时文件中。

tcpdump -i eth0:0 -s0 host 1X.XXX.XXX.XX -w /tmp/out1.cap

使用wireshark打开out1.cap文件，查找出现500错误的数据包，然后很意外的看到了下面的逻辑。

![2021032420424397.png][]

通过这段代码我们发现，jetty对于请求数据的大小做了限制，超过200000 byte的时候就会报错，返回错误码500。

App这次更新后，上传了很多大于200000 byte的图片，于是便出现了大量的500错误。

找到问题根源，修正起来就很简单了，在WEB-INF目录下添加jetty-web.xml 文件解决，文件内容如下：

<?xml version="1.0"?>
    
    <!DOCTYPE Configure PUBLIC "-//MortBay Consulting//DTD Configure//EN"
    
    "http://jetty.mortbay.org/configure.dtd">
    
    <Configure id="WebAppContext"class="org.eclipse.jetty.webapp.WebAppContext">
    
    <Set name="maxFormContentSize"type="int"> 0 </Set>
    
    </Configure>

### 6、总结 ###

出现Internal server error 500错误，往往意味着服务端出现一些未知异常，但是在排查的时候我们不能仅仅只是关注应用服务，而是要关注从服务端接收请求开始，一直到应用服务的整条链路。

以本文中的情景为例，就是从HAProxy 到 Jetty 再到 应用服务，中间的任何一个环节都有可能导致500错误。

另外，其实在一开始我们就可以采用抓包的方式去排查，因为在包数据中包含了完整请求/响应消息，比查看CPU、线程、配置信息要更加快捷，直接。

原创不易，参考：

[http://www.bubuko.com/infodetail-3659295.html][http_www.bubuko.com_infodetail-3659295.html]

[https://blog.csdn.net/qic1993/article/details/106208061][https_blog.csdn.net_qic1993_article_details_106208061]

[https://blog.csdn.net/weixin\_37672169/article/details/80283935][https_blog.csdn.net_weixin_37672169_article_details_80283935]

[http://blog.itpub.net/26675459/viewspace-2151336/][http_blog.itpub.net_26675459_viewspace-2151336]

[https://blog.csdn.net/u011391839/article/details/107376964][https_blog.csdn.net_u011391839_article_details_107376964]

[https://blog.csdn.net/wanf425/article/details/80953430][https_blog.csdn.net_wanf425_article_details_80953430]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b3J1aV9qYXZh_size_16_color_FFFFFF_t_70]: /images/20210813/5b2f5908520a431a82f2352b7d62b3cb.png
[2021032420424397.png]: /images/20210813/8667a9723e194f74bf3c633bc46c8b3a.png
[http_www.bubuko.com_infodetail-3659295.html]: http://www.bubuko.com/infodetail-3659295.html
[https_blog.csdn.net_qic1993_article_details_106208061]: https://blog.csdn.net/qic1993/article/details/106208061
[https_blog.csdn.net_weixin_37672169_article_details_80283935]: https://blog.csdn.net/weixin_37672169/article/details/80283935
[http_blog.itpub.net_26675459_viewspace-2151336]: http://blog.itpub.net/26675459/viewspace-2151336/
[https_blog.csdn.net_u011391839_article_details_107376964]: https://blog.csdn.net/u011391839/article/details/107376964
[https_blog.csdn.net_wanf425_article_details_80953430]: https://blog.csdn.net/wanf425/article/details/80953430