使用jsoup爬虫超时分析与处理

￡神魔★判官ぃ 2021-10-09 10:50 472阅读 0赞

### 1.请求头信息得一致 ###

当你捕获到一个采用`JSOUP` 去请求超时的链接，我是通过`catch` 去发现。

1.  `try{`
2.  `doc = Jsoup.connect(url)`
3.  `.header("User-Agent", "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:49.0) Gecko/20100101 Firefox/49.0")`
4.  `.header("Connection", "close")//如果是这种方式，这里务必带上`
5.  `.timeout(8000)//超时时间`
6.  `.get();`
7.  `} catch (Exception e) {//可以精确处理timeoutException`
8.  `//超时处理`
9.  `}`

通过`try···catch` 去发现超时，然后结合自己的处理，这里要说几个问题。

1.  请求头信息，在你尝试去爬取对方的内容的时候，需要尽可能的和你在http浏览器请求的请求头一致，注意是请求头，不是相应头。
2.  在请求头里务必加上`Connection：close` ，有同学可能会问，这个不是相应头里的吗？是的，有的时候你看到在请求头里，有的时候看到在相应头里，而且一般是 `Connection：keep-alive` ，你加上就可以了。下面会讲到。
3.  当发现对方拒绝请求的时候，把浏览器里看到的请求头全部加上，甚至  [Cookie][]  也加上，注意**换行和空格**，需要自己处理下。尽量一行。
4.  如果对方网站过弱，请采用单线程爬取，要不然会大量超时，甚至把对方`Kill` 了。
5.  如果对方有  [IP][]  限制，采用  [IP][]  代理，或者频率放缓慢一点。

下面看两张图对比下。

![2781529613][]

![1565786250][]

[Cookie]: https://www.sojson.com/tag_cookie.html
[IP]: https://www.sojson.com/tag_ip.html
[2781529613]: https://cdn.www.sojson.com/file/17-05-13-11-55-20/doc/2781529613
[1565786250]: https://cdn.www.sojson.com/file/17-05-13-11-56-19/doc/1565786250

发表评论取消回复

表情：

评论列表（有 0 条评论，472人围观）

还没有评论，来说两句吧...

相关阅读

相关网络爬虫——Jsoup的使用

这里写目录标题 1、Jsoup简介 2、jar包下载 3、请求URL 4、设置头信息 4.1、单

淩亂°似流年/ 2023年10月13日 18:32/ 0 赞/ 65 阅读

相关使用jsoup简单实现爬虫

此为jsoup官网地址：[https://jsoup.org/][https_jsoup.org] 从官网下载jar包后导入eclipse packa

骑猪看日落/ 2023年08月17日 15:38/ 0 赞/ 179 阅读

相关 java爬虫-jsoup

文章目录内容简介主要功能内容简介 jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供

男娘i/ 2023年02月11日 15:30/ 0 赞/ 265 阅读

相关 python爬虫超时的处理

1. \coding:utf-8 2. ''''' 3. Created on 2014-7-24 4. 5. @author: Administrato

曾经终败给现在/ 2022年09月30日 10:50/ 0 赞/ 181 阅读

相关使用jsoup爬虫抓取页面

httpclient 和jsoup都可以实现模拟浏览器抓取页面，前者发送请求，后者解析htm标签比较强大。本例直接使用jsoup实现请求和解析。 package co

骑猪看日落/ 2022年06月07日 13:59/ 0 赞/ 351 阅读

相关 Jsoup+HtmlUnit 爬虫

最近学习java的爬虫，爬取双色球网站的内容，刚开始只用了Jsoup，可以爬取到全部的内容，还以为自己的爬虫技术OK了；结果双色球网站更新了，就爬取不到了，只能继续学习；因

ゞ浴缸里的玫瑰/ 2022年06月01日 07:55/ 0 赞/ 283 阅读

相关 java使用jsoup爬虫入门

一、maven项目里pom添加jsoup依赖 <dependency> <groupId>org.jsoup</groupId> <a

左手的ㄟ右手/ 2022年05月24日 10:13/ 0 赞/ 309 阅读

相关爬虫之Jsoup

Jsoup简介 jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQu

「爱情、让人受尽委屈。」/ 2022年03月26日 15:41/ 0 赞/ 337 阅读

相关使用jsoup爬虫超时分析与处理

1.请求头信息得一致当你捕获到一个采用`JSOUP` 去请求超时的链接，我是通过`catch` 去发现。 1. `try{` 2. `doc = Jsoup.co

￡神魔★判官ぃ/ 2021年10月09日 10:50/ 0 赞/ 473 阅读

相关爬虫Jsoup

爬虫Jsoup 简介导入jar 简单示例简介 Jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提

旧城等待，/ 2021年10月06日 03:06/ 0 赞/ 579 阅读