使用httpclient必须知道的参数设置及代码写法、存在的风险

淡淡的烟草味﹌ 2022-09-21 13:17 100阅读 0赞

如果使用httpclient 3.1并发量比较大的项目，最好升级到httpclient4.2.3上，保证并发量大时能抗住。httpclient 4.3.3，目前还有一些bug；还是用4.2.x稳定版本吧。

以库存项目为例：

httpclient一天并发量在1500w左右，峰值一秒7万。

在之前使用过程中，一直存在大量的

*org.apache.http.conn.ConnectionPoolTimeoutException*: *Timeout waiting for connection from pool*  
*atorg.apache.http.impl.conn.PoolingClientConnectionManager.leaseConnection*( *PoolingClientConnectionManager.java*: *232*)  
*atorg.apache.http.impl.conn.PoolingClientConnectionManager*$ *1.getConnection*( *PoolingClientConnectionManager.java*: *199*)  
*at org.apache.http.impl.client.DefaultRequestDirector.execute*( *DefaultRequestDirector.java*: *456*)

另外通过jstack查看线程，会发现：

"pool-21-thread-3" prio=10 tid=0x00007f6b7c002800 nid=0x40ff waiting on condition \[0x00007f6b37020000\]  
java.lang.Thread.State: TIMED\_WAITING (parking)  
at sun.misc.Unsafe.park(Native Method)  
\- parking to wait for <0x00000000f97918b8> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)  
at java.util.concurrent.locks.LockSupport.parkUntil(LockSupport.java:239)  
at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.awaitUntil(AbstractQueuedSynchronizer.java:2072)  
at org.apache.http.pool.PoolEntryFuture.await(PoolEntryFuture.java:129)  
at org.apache.http.pool.AbstractConnPool.getPoolEntryBlocking(AbstractConnPool.java:281)  
at org.apache.http.pool.AbstractConnPool.access$000(AbstractConnPool.java:62)  
at org.apache.http.pool.AbstractConnPool$2.getPoolEntry(AbstractConnPool.java:176)  
at org.apache.http.pool.AbstractConnPool$2.getPoolEntry(AbstractConnPool.java:172)  
at org.apache.http.pool.PoolEntryFuture.get(PoolEntryFuture.java:100)  
at org.apache.http.impl.conn.PoolingClientConnectionManager.leaseConnection(PoolingClientConnectionManager.java:212)

问题：

因为使用了连接池，但连接不够用，造成大量的等待；而且这种等待都有滚雪球的效应（和交易组最近使用的apache common dbcp存在的风险是类似的）。

解决方案

最终我们定了一些合理的参数值，目前来看还没有遇到问题。

思考

其实出问题的原因是我们对一些参数不了解，随意设置其值，不出现问题则好，出现问题很难排查到原因，因此我把使用httpclient必须设置的参数及代码写法及排查方法总结一下，供参考。

参数设置

1、httpclient 4.2.3

HttpParams params = new BasicHttpParams();

//设置连接超时时间

Integer CONNECTION\_TIMEOUT = 2 \* 1000; //设置请求超时2秒钟 根据业务调整

Integer SO\_TIMEOUT = 2 \* 1000; //设置等待数据超时时间2秒钟 根据业务调整

//定义了当从ClientConnectionManager中检索ManagedClientConnection实例时使用的毫秒级的超时时间

//这个参数期望得到一个java.lang.Long类型的值。如果这个参数没有被设置，默认等于CONNECTION\_TIMEOUT，因此一定要设置

Long CONN\_MANAGER\_TIMEOUT = 500L; //该值就是连接不够用的时候等待超时时间，一定要设置，而且不能太大 ()

params.setIntParameter(CoreConnectionPNames.CONNECTION\_TIMEOUT, CONNECTION\_TIMEOUT);

params.setIntParameter(CoreConnectionPNames.SO\_TIMEOUT, SO\_TIMEOUT);

params.setLongParameter(ClientPNames.CONN\_MANAGER\_TIMEOUT, CONN\_MANAGER\_TIMEOUT);

//在提交请求之前 测试连接是否可用

params.setBooleanParameter(CoreConnectionPNames.STALE\_CONNECTION\_CHECK, true);

PoolingClientConnectionManager conMgr = new PoolingClientConnectionManager();

conMgr.setMaxTotal(200);  //设置整个连接池最大连接数 根据自己的场景决定

//是路由的默认最大连接（该值默认为2），限制数量实际使用DefaultMaxPerRoute并非MaxTotal。

//设置过小无法支持大并发(ConnectionPoolTimeoutException: Timeout waiting for connection from pool)，路由是对maxTotal的细分。

conMgr.setDefaultMaxPerRoute(conMgr.getMaxTotal());//（目前只有一个路由，因此让他等于最大值）

//另外设置http client的重试次数，默认是3次；当前是禁用掉（如果项目量不到，这个默认即可）

httpClient.setHttpRequestRetryHandler(new DefaultHttpRequestRetryHandler(0, false));

此处解释下MaxtTotal和DefaultMaxPerRoute的区别：

1、MaxtTotal是整个池子的大小；

2、DefaultMaxPerRoute是根据连接到的主机对MaxTotal的一个细分；比如：

MaxtTotal=400 DefaultMaxPerRoute=200

而我只连接到http://sishuok.com时，到这个主机的并发最多只有200；而不是400；

而我连接到http://sishuok.com 和 http://qq.com时，到每个主机的并发最多只有200；即加起来是400（但不能超过400）；所以起作用的设置是DefaultMaxPerRoute。

2、httpclient 3.1

HttpConnectionManagerParams params = new HttpConnectionManagerParams();

params.setConnectionTimeout(2000);

params.setSoTimeout(2000);

// 最大连接数

params.setMaxTotalConnections(500);

params.setDefaultMaxConnectionsPerHost(500);

params.setStaleCheckingEnabled(true);

connectionManager.setParams(params);

HttpClientParams httpClientParams = new HttpClientParams();

// 设置httpClient的连接超时，对连接管理器设置的连接超时是无用的

httpClientParams.setConnectionManagerTimeout(5000); //等价于4.2.3中的CONN\_MANAGER\_TIMEOUT

httpClient = new HttpClient(connectionManager);

httpClient.setParams(httpClientParams);

//另外设置http client的重试次数，默认是3次；当前是禁用掉（如果项目量不到，这个默认即可）

httpClientParams.setParameter(HttpMethodParams.RETRY\_HANDLER, new DefaultHttpMethodRetryHandler(0, false));

参数类似 就不多解释了；

代码写法

1、httpclient 4.2.3

HttpResponse response = null;

HttpEntity entity = null;

try \{

HttpGet get = new HttpGet();

String url = "http://hc.apache.org/";

get.setURI(new URI(url));

response = getHttpClient().execute(get);

/ /处理响应

\} catch (Exception e) \{

//处理异常

\} finally \{

if(response != null) \{

EntityUtils.consume(response.getEntity()); //会自动释放连接

//如下方法也是可以的，但是存在一些风险；不要用

//InputStream is = response.getEntity().getContent();

//is.close();

2、httpclient 3.1

PostMethod postMethod = new PostMethod(yxUrl);

try \{

httpClient.executeMethod(postMethod);

\} catch (Exception e) \{

//处理异常

\} finally \{

if(postMethod != null) \{ //不要忘记释放，尽量通过该方法实现，

postMethod.releaseConnection();

//存在风险，不要用

//postMethod.setParameter("Connection", "close");

//InputStream is = postMethod.getResponseBodyAsStream();

//is.clsoe();也会关闭并释放连接的

存在的风险

1、httpclient 4.2.3 在释放连接时

if (managedConn.isOpen() && !managedConn.isMarkedReusable()) \{ //如果连接打开的且不可重用（not keepalive） close socket

try \{

managedConn.shutdown();

\} catch (IOException iox) \{

if (this.log.isDebugEnabled()) \{

this.log.debug("I/O exception shutting down released connection", iox);

// Only reusable connections can be kept alive

if (managedConn.isMarkedReusable()) \{

entry.updateExpiry(keepalive, tunit != null ? tunit : TimeUnit.MILLISECONDS);

if (this.log.isDebugEnabled()) \{

String s;

if (keepalive > 0) \{

s = "for " + keepalive + " " + tunit;

\} else \{

s = "indefinitely";

this.log.debug("Connection " + format(entry) + " can be kept alive " + s);

无风险

2、httpclient 3.1

1、如果走http1.1协议：如果proxy-connection/connection请求头设置为close；那么会关闭socket； 或者这两个头不等于close 也会自动关；

2、如果是keep-alive ，不会关闭；

3、如果协议小于等于http1.0协议没有问题；调用releaseConnection时会close socket；

4、其他情况不会close；

也就是说如果走http1.1且没有设置相关参数；那么socket其实是没有关闭的；可能造成很多TIME\_WAIT；因此如果是走短连接建议设置postMethod.setParameter("Connection", "close")。

其他注意事项：

1、使用keep-alive一定要设置Content-Length头（否则也不是长连接）。

2、在使用httpclient3.1时（4.2.3没问题）；尽量不要调用 byte\[\] getResponseBody() ：因为如果Content-Length没设置或者传输的数据大于1M，会有大量如下日志

LOG.warn("Going to buffer response body of large or unknown size. "

\+"Using getResponseBodyAsStream instead is recommended.");

如果大于1M可以设置该参数；但是-1的话就没办法了，就不要调用 byte\[\] getResponseBody()

httpClientParams.setLongParameter(HttpMethodParams.BUFFER\_WARN\_TRIGGER\_LIMIT, 2L \* 1024 \* 1024);

3、锁

httpclient 3.1 使用synchronized+wait+notifyAll，存在两个问题，量大synchronized慢和notifyAll可能造成线程饥饿；httpclient 4.2.3 使用 ReentrantLock（默认非公平） + Condition（每个线程一个）。

这里有个测试： [http://java.dzone.com/articles/synchronized-vs-lock][http_java.dzone.com_articles_synchronized-vs-lock] ，在我本机（jdk1.6.0\_43 ）测试结果明细锁的优势比较大

1x synchronized \{\} with 32 threads took 2.621 seconds

1x Lock.lock()/unlock() with 32 threads took 1.951 seconds

1x AtomicInteger with 32 threads took 4.113 seconds

1x synchronized \{\} with 64 threads took 2.621 seconds

1x Lock.lock()/unlock() with 64 threads took 1.983 seconds

这也是为什么在库存项目中使用httpclient 3.1 依然有大量的wait，而httpclient4.2.3 一个没有的问题所在。

如有问题，请赐教。

22  
顶

2  
踩

分享到： ![sina.jpg][] ![tec.jpg][]

[跟叶子学把妹——教程序猿把妹第一集][Link 1] | [《跟我学Shiro》PDF完结版下载][Shiro_PDF]

*  2014-07-09 08:43
 *  浏览 57505
 *  [评论(20)][20]
 *  分类:[企业架构][Link 2]
 *  [相关推荐][Link 3]

##### 参考知识库 #####

[![1466132253931_931.jpg][]][1466132253931_931.jpg 1]

[C语言知识库][1466132253931_931.jpg 1] 99 关注 | 941 收录

[![1465887837340_340.jpg][]][1465887837340_340.jpg 1]

[React知识库][1465887837340_340.jpg 1] 194 关注 | 155 收录

[![1464938192555_555.jpg][]][1464938192555_555.jpg 1]

[操作系统知识库][1464938192555_555.jpg 1] 632 关注 | 1706 收录

[![1464683375884_884.jpg][]][1464683375884_884.jpg 1]

[Redis知识库][1464683375884_884.jpg 1] 1167 关注 | 603 收录

##### 评论 #####

20 楼 [yudilan6][] 2016-02-15

请问下文中所说的路由的默认最大连接是2，这个值是在源码的哪个位置设置的呢？  
  
PoolingClientConnectionManager conMgr = new PoolingClientConnectionManager();  
conMgr.setMaxTotal(200); //设置整个连接池最大连接数 根据自己的场景决定  
//是路由的默认最大连接 **（该值默认为2）**，限制数量实际使用DefaultMaxPerRoute并非MaxTotal。

19 楼 [dirklei][] 2015-11-20

yjp322 写道

讨厌淡紫色 写道

请问下大神，我用工具类A  
static\{  
cm=new PoolingHttpClientConnectionManager();  
cm.setMaxTotal(200);  
cm.setDefaultMaxPerRoute(20);  
//将目标主机的最大连接数增加到50  
/\* HttpHost localhost = new HttpHost("http://api.map.baidu.com", 80);  
cm.setMaxPerRoute(new HttpRoute(localhost), 50);\*/  
\}我是直接静态块构造的，然后  
/\*\*  
\* 获取连接  
\* \*/  
public static CloseableHttpClient getConnection()\{  
CloseableHttpClient httpClient=HttpClients.custom().setConnectionManager(cm).build();  
return httpClient;  
\}这个静态方法获取  
外部调用类B  
CloseableHttpClient httpClient=A.getConnection();  
方法最后httpClient.close(),为什么这个操作会关闭连接池

解决了吗？同样的疑问，感觉是static 惹得祸

因为你的client对象默认是是IntenalHttpClient实例，  
看这个类中close方法的定义：  
public void close() \{  
this.connManager.shutdown();  
if (this.closeables != null) \{  
for (final Closeable closeable: this.closeables) \{  
try \{  
closeable.close();  
\} catch (final IOException ex) \{  
this.log.error(ex.getMessage(), ex);  
\}  
\}  
\}  
\}

18 楼 [yjp322][] 2015-11-10

讨厌淡紫色 写道

解决了吗？同样的疑问，感觉是static 惹得祸

17 楼 [讨厌淡紫色][Link 4] 2015-10-28

16 楼 [yanyinxi][] 2015-08-20

能否共享一下你的httpClient工具类

15 楼 [豆腐脑o][o] 2015-06-09

![icon_razz.gif][] ![icon_razz.gif][] ![icon_razz.gif][] ![icon_redface.gif][] ![icon_redface.gif][]

14 楼 [tobe][] 2014-07-10

![icon_idea.gif][]

13 楼 [jinnianshilongnian][] 2014-07-10

lz958942 写道

喜欢这种文章

![icon_biggrin.gif][]

12 楼 [jinnianshilongnian][] 2014-07-10

宋建勇 写道

又见到楼主了，very nice！

![icon_biggrin.gif][]

11 楼 [宋建勇][Link 5] 2014-07-10

又见到楼主了，very nice！

10 楼 [lz958942][] 2014-07-10

喜欢这种文章

9 楼 [jinnianshilongnian][] 2014-07-09

malie0 写道

好像很久没看到LZ了，本来在问答区还是很活跃的

谢谢，上班忙啊

8 楼 [jinnianshilongnian][] 2014-07-09

yixiandave 写道

卧槽。。。今天看了你的文章才发现commons-httpclient原来是07年的老版本。。。我还一直在用  
话说4.0接口变化真大，之前一个项目改了我一上午  
  
最后问下4.3.4版本有什么已知bug吗

[https://issues.apache.org/jira/browse/HTTPCLIENT-1478][https_issues.apache.org_jira_browse_HTTPCLIENT-1478] 现在说是修复了，没看最新的源代码。 用之前可以再看下源代码或者跑下量测试下。

7 楼 [yixiandave][] 2014-07-09

6 楼 [malie0][] 2014-07-09

好像很久没看到LZ了，本来在问答区还是很活跃的

5 楼 [jinnianshilongnian][] 2014-07-09

kidding87 写道

so\_timeout这个必须设置，否则pool就可能呆死在这里了  
  
  
这个是控制并发量的，两个都要设置  
cm.setDefaultMaxPerRoute(100);  
cm.setMaxTotal(200);  
  
不知道楼主那么大的并发不是针对相同的机器么，相同的话，keepalive能提升不少性能，减少了连接次数  
time\_wait 需要设置reuseaddr  
  
下面是官方默认给的  
httpClient.setHttpRequestRetryHandler(new DefaultHttpRequestRetryHandler());  
httpClient.setReuseStrategy(new DefaultConnectionReuseStrategy());  
httpClient.setKeepAliveStrategy(new DefaultConnectionKeepAliveStrategy());  
  
官方的例子还给了一个定期清理pool中connection的例子

Java代码 ![收藏代码][icon_star.png]

1.  class IdleConnectionMonitorThread extends Thread \{ 
2.  private final ClientConnectionManager connMgr; 
3.  private volatile boolean shutdown; 
4.  
5.  public IdleConnectionMonitorThread(ClientConnectionManager connMgr) \{ 
6.  super(); 
7.  this.setName("idle-connection-monitor"); 
8.  this.setDaemon(true); 
9.  this.connMgr = connMgr; 
10. this.start(); 
11. \} 
12. 
13. @Override
14. public void run() \{ 
15. try \{ 
16. while (!shutdown) \{ 
17. synchronized (this) \{ 
18.  wait(5000); 
19. // Close expired connections
20.  connMgr.closeExpiredConnections(); 
21. // Optionally, close connections
22. // that have been idle longer than 30 sec
23.  connMgr.closeIdleConnections(60, TimeUnit.SECONDS); 
24.  \} 
25.  \} 
26.  \} catch (InterruptedException ex) \{ 
27. // terminate
28.  \} 
29. \} 
30. 
31. public void shutdown() \{ 
32. synchronized (this) \{ 
33.  shutdown = true; 
34.  notifyAll(); 
35.  \} 
36. \}

恩，是相同机器 keepalive方式 我没有试，我是帮同事调试的，只是给他建议。

4 楼 [kidding87][] 2014-07-09

Java代码 ![收藏代码][icon_star.png]

[http_java.dzone.com_articles_synchronized-vs-lock]: http://java.dzone.com/articles/synchronized-vs-lock
[sina.jpg]: http://jinnianshilongnian.iteye.com/images/sina.jpg
[tec.jpg]: /images/20220721/034f2efabcd94a62b33edfed7b232e78.png
[Link 1]: http://jinnianshilongnian.iteye.com/blog/2090188
[Shiro_PDF]: http://jinnianshilongnian.iteye.com/blog/2049092
[20]: http://jinnianshilongnian.iteye.com/blog/2089792#comments
[Link 2]: http://www.iteye.com/blogs/category/architecture
[Link 3]: http://www.iteye.com/wiki/blog/2089792
[1466132253931_931.jpg]: http://img.knowledge.csdn.net/upload/base/1466132253931_931.jpg
[1466132253931_931.jpg 1]: http://lib.csdn.net/base/c
[1465887837340_340.jpg]: http://img.knowledge.csdn.net/upload/base/1465887837340_340.jpg
[1465887837340_340.jpg 1]: http://lib.csdn.net/base/react
[1464938192555_555.jpg]: http://img.knowledge.csdn.net/upload/base/1464938192555_555.jpg
[1464938192555_555.jpg 1]: http://lib.csdn.net/base/operatingsystem
[1464683375884_884.jpg]: http://img.knowledge.csdn.net/upload/base/1464683375884_884.jpg
[1464683375884_884.jpg 1]: http://lib.csdn.net/base/redis
[yudilan6]: http://yudilan6.iteye.com/
[dirklei]: http://dirklei.iteye.com/
[yjp322]: http://yjp322.iteye.com/
[Link 4]: http://yanchunfeng-love-126-com.iteye.com/
[yanyinxi]: http://yanyinxi.iteye.com/
[o]: http://201407225838.iteye.com/
[icon_razz.gif]: http://jinnianshilongnian.iteye.com/images/smiles/icon_razz.gif
[icon_redface.gif]: /images/20220721/236dd51b15244897b9f037b08492cde2.png
[tobe]: http://tobe.iteye.com/
[icon_idea.gif]: /images/20220721/c920f0eab8364e3fb6f70c3e52393cea.png
[jinnianshilongnian]: http://jinnianshilongnian.iteye.com/
[icon_biggrin.gif]: /images/20220721/e1ffe2883bf6490f9f54f30a6c330cbc.png
[Link 5]: http://songjianyong.iteye.com/
[lz958942]: http://gourmand.iteye.com/
[https_issues.apache.org_jira_browse_HTTPCLIENT-1478]: https://issues.apache.org/jira/browse/HTTPCLIENT-1478
[yixiandave]: http://yixiandave.iteye.com/
[malie0]: http://malie0.iteye.com/
[icon_star.png]: /images/20220721/f9aae7a07cc048d2a95c6965ef034052.png
[kidding87]: http://kidding87.iteye.com/