网络爬虫——Jsoup的使用

淩亂°似流年 2023-10-13 18:32 42阅读 0赞

#### 这里写目录标题 ####

*   *  1、Jsoup简介
     *  2、jar包下载
     *  3、请求URL
     *  4、设置头信息
     *   *  4.1、单个设置
         *  4.2、批量设置
         *  4.3、添加User-Agent库和Referer库
     *  5、提交请求参数
     *  6、超时设置
     *  7、代理服务器的使用
     *  8、响应转输出流（图片、PDF等的下载）
     *  9、HTTPS请求认证
     *  10、大文件内容获取问题

### 1、Jsoup简介 ###

Jsoup 是一款基于 Java 语言的开源项目，主要用于请求 URL 获取网页内容、解析 HTML 和 XML 文档。使用 Jsoup 可以非常轻松地构建一些轻量级网络爬虫。

### 2、jar包下载 ###

<dependency>
    	<groupId>org.jsoup</groupId>
    	<artifactId>jsoup</artifactId>
    	<version>1.11.3</version>
    </dependency>

基于 pom.xml 文件的配置信息，可以下载 Jsoup 的 jar 包(版本是 1.11.3)。在 Jsoup 项目中，共包含 7 个 package  
![在这里插入图片描述][1d96904ebe2842adbef3f0a355359e96.png]

### 3、请求URL ###

org.jsoup.Jsoup 类可以用来处理连接操作。在 org.jsoup.Jsoup 类中提供了 connect(String url)方法来创建一个新连接，该方法的实现依赖于 Java 网络通信包 java.net。在创建连接之后，可通过具体请求方法(如 GET 和 POST)获取 URL 对应 的 HTML 文件。

下面程序为 Jsoup 请求该网页的一种方式，这里使用 get()方法执行请求，该方法返回一个 Document 类型的对象，使用 Element 类中的 html()方法可以将 Document 类型的对象转化为 String 类型。

public static void main(String[] args) throws IOException {
        
        //创建连接
        Connection connection = Jsoup.connect("http://www.baidu.com");
        //请求网页，也可以使用POST请求
        Document document = connection.get();
        //输出HTML
        System.out.println(document.html());
    }

另外，也可以利用 Jsoup 先获取响应 Response，再获取 HTML 内容，在获取响应时，method(Method method)方法中的参数为具体的 HTTP 请求方法， 这里共有 8 种。

在下面的程序中，设置的请求方法为 GET。程序的输出 结果如图所示，具体包括请求的 URL、响应状态码、响应数据类型、响应状态信 息以及 HTML 文件。如果将程序中的请求方法设置成 HEAD，重新运行程序，则 会发现无法输出 HTML 文件，但能获取响应头信息。

public static void main(String[] args) throws IOException {
        
        //获取响应
        Connection.Response response = Jsoup.connect("http://www.baidu.com")
                .method(Connection.Method.GET).execute();
        URL url = response.url();//查看请求的URL
        System.out.println("请求的URL为：" + url);
        int statusCode = response.statusCode();//获取响应状态码
        System.out.println("响应状态码：" + statusCode);
        String contentType = response.contentType();//获取响应数据类型
        System.out.println("响应类型为：" + contentType);
        String statusMessage = response.statusMessage();//响应信息
        System.out.println("响应信息为：" + statusMessage);
        //判断响应状态码是否为200
        if (statusCode == 200) {
        
            //通过这种方式可以获得响应的HTML文件
            String html = new String(response.bodyAsBytes(), "utf8");
            //获取HTML内容，但对应的是Document类型
            Document document = response.parse();
            //这里HTML和Document数据是一样的，但Document是经过格式化的
            System.out.println(html);
            System.out.println(document);
        }
    }

### 4、设置头信息 ###

在网络爬虫中，经常需要设置一些头信息。设置头信息的作用是伪装网络爬虫， 使得网络爬虫请求网页更像浏览器访问网页，进而降低了网络爬虫被网站封锁的风险。 Jsoup 中提供了两种设置头信息的方法，如下所示。

Connection header(String name, String value);
    
    Connection headers(Map<String,String> headers);

#### 4.1、单个设置 ####

第一种方法每次只可以设置一个请求头，如果要设置多个请求头，需要多次调用 此方法;

public class JsoupConnectHeader {
        
        public static void main(String[] args) throws IOException {
        
            Connection connect = Jsoup.connect("http://www.baidu.com");
            //设置一个请求头
            Connection conheader = connect.header("User-Agent", "Mozilla 5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36");
            Document document = conheader.get();
            System.out.println(document);
        }
    }

#### 4.2、批量设置 ####

第二种方法可以添加多个请求头至 Map 集合。

public class JsoupConnectHeaderMap {
        
        public static void main(String[] args) throws IOException {
        
            Connection connect = Jsoup.connect("http://www.baidu.com");
            //设置多个请求头
            Map<String, String> header = new HashMap<>();
            header.put("Host", "www.********.com.cn"); header.put("User-Agent", " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239. 108 Safari/537.36");
            header.put("Accept", "text/html,application/xhtml+xml, application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8");
            header.put("Accept-Language", "zh-cn,zh;q=0.5");
            header.put("Accept-Encoding", "gzip, deflate");
            header.put("Cache-Control", "max-age=0");
            header.put("Connection", "keep-alive");
            Connection conheader = connect.headers(header);
            Document document = conheader.get();
            System.out.println(document);
        }
    }

#### 4.3、添加User-Agent库和Referer库 ####

public class JsoupConnectHeaderList {
        
        public static void main(String[] args) throws IOException {
        
            Connection connect = Jsoup.connect("http://www.baidu.com");
            //实例化静态类
            Builder builder = new Builder(); //请求网页添加不同Host，也可以不设置
            builder.host = "www.********.com.cn"; //将Builder中的信息添加到Map集合中
            Map<String, String> header = new HashMap<String, String>(); header.put("Host", builder.host);
            header.put("User-Agent", builder.userAgentList.get(new Random().nextInt(builder.userAgentSize)) );
            header.put("Accept", builder.accept);
            header.put("Referer", builder.refererList.get(new Random().nextInt(builder.refererSize)));
            header.put("Accept-Language", builder.acceptLanguage); header.put("Accept-Encoding", builder.acceptEncoding);
            //设置头
            Connection conheader = connect.headers(header);
            Document document = conheader.get(); //发送GET请求
            System.out.println(document); //输出HTML
        }
    
    
        /**
         * 封装请求头信息的静态类 */
        static class Builder{
        
            //设置User-Agent库;根据需求添加更多User-Agent
            String[] userAgentStrs = {
        "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
                    "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
                    "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0",
                    "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko",
                    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)",
                    "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)",
                    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)"};
            List<String> userAgentList = Arrays.asList(userAgentStrs);
            int userAgentSize = userAgentList.size();
            //设置Referer库;根据需求添加更多Referer
            String[] refererStrs = {
        "https://www.*****.com/",
                    "https://www.*****.com/",
                    "http://www.****.com",
                    "https://www.**.com/"};
            List<String> refererList = Arrays.asList(refererStrs);
            int refererSize = refererList.size();
            //设置accept、accept-Language及accept-Encoding
            String accept = "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8";
            String acceptLanguage = "zh-cn,zh;q=0.5";
            String acceptEncoding = "gzip, deflate";
            String host;
        }
    }

### 5、提交请求参数 ###

网页提交表单数据，涉及一系列请求参数。GET 请求的参数，是通过 URL 传递 的，通常以“?key1=value1&key2=value2”的形式进行传递。POST 请求的参数，通常 是放在 POST 请求的消息体中，格式一般为 JSON。

Jsoup 提供了 5 种添加请求参数的方法，如下所示。

Connection data(String key, String value);
    Connection data(String... keyvals);
    Connection data(Map<String, String> data);
    Connection data(String key, String filename, InputStream inputStream); 
    Connection data(String key, String filename, InputStream inputStream, String contentType);
    Connection data(Collection<KeyVal> data);

在这 5 种方法中，使用较多的是前 3 种方法。

//第一种方式
    Connection connect = Jsoup.connect("http://www.*****.com/ems.php");
     //添加参数
     connect.data("wen","EH629625211CS").data("action", "ajax");
     Connection.Response response = connect.method(Connection.Method.GET).ignoreContentType(true).execute();
     //获取数据，转换成HTML格式
     Document document = response.parse();
     System.out.println(document);

//第二种方式
    Connection connect = Jsoup.connect("http://www.*****.com/ems.php"); //添加参数
    connect.data("wen", "EH629625211CS", "action", "ajax");
    Connection.Response response = connect.method(Connection.Method.GET).ignoreContentType (true).execute();
    //获取数据，转换成HTML格式
    Document document = response.parse();
    System.out.println(document);

//第三种方式
    Connection connect = Jsoup.connect("http://www.*****.com/ems.php");
    //添加参数
    Map<String, String> data = new HashMap<String, String>();
    data.put("wen", "EH629625211CS");
    data.put("action", "ajax");
    //获取响应
    Connection.Response response = connect.data(data).method(Connection.Method.GET).ignoreContentType(true).execute();
    //获取数据，转换成HTML格式
    Document document = response.parse();
    System.out.println(document);

### 6、超时设置 ###

在网络异常情况下，可能会发生连接超时，进而导致程序僵死而不继续往下 执行。针对连接超时问题，Jsoup 在请求 URL 时，可以由用户自行设置毫秒级超时时间。如果不使用 timeout 方法设置超时时间，则超时时间默认为 30 毫秒。

public class TimeOutDemo {
        
        public static void main(String[] args) throws IOException {
        
            //基于 timeout 设置超时时间
            Connection.Response response = Jsoup.connect("https://*******.com/")
                    .method(Connection.Method.GET).timeout(3*1000)
                    .execute();
            Document document = Jsoup.connect("https://*******.com/")
                    .timeout(10*1000).get();
        }
    }

### 7、代理服务器的使用 ###

在一般情况下，使用浏览器可以直接连接 Internet 站点获取网络信息，而代理服 务器(Proxy Server)是网络上提供转接功能的服务器。代理服务器是介于客户端和 Web 服务器之间的另一台服务器，基于代理服务器，浏览器不再直接从 Web 服务器 获取数据，而是向代理服务器发出请求，信号会先送发到代理服务器，由代理服务器 取回浏览器所需要的信息。可以将代理简单理解为中介。

在网络爬虫中，使用代理服务器访问网页内容，能够高度隐藏爬虫的真实 IP 地址， 从而防止网络爬虫被服务器封锁。另外，普通网络爬虫使用固定 IP 地址请求时，往往 需要设置随机休息时间，而通过代理服务器却不需要，从而提高了数据采集的效率。 目前，代理服务器可以来源于提供免费代理服务的一些网站或接口网站，但这些免 费代理 IP 地址的稳定性较差。另外，也可通过付费的方式获取商业级代理，其提供 的代理 IP 地址可用率较高，稳定性较强。

在 Jsoup 中，提供了两种方式设置代理服务器，如下所示。

Connection proxy(Proxy proxy);
    
    Connection proxy(String host, int port);

在设置代理服务器时，需要知道代理服务器的 IP 地址以及端 口。在本案例中，只使用了一个代理服务器请求网页，代理服务器的 IP 地址为 “171.221.239.11”，端口为 808。在实际应用中，往往需要构建代理服务器库，不断 地切换代理服务器去请求 URL 库。

public class JsoupConnectProxy1 {
        
        public static void main(String[] args) throws IOException {
        
            //使用第一种方式设置代理
            Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress("171.221.239.11", 808));
            Connection connection = Jsoup.connect("http://www.********.com.cn/b.asp")
                    .proxy(proxy);
            Connection.Response response = connection.method(Connection.Method.GET)
                    .timeout(10*1000).execute();
            //获取响应状态码
            int statusCode = response.statusCode();
            System.out.println("响应状态码为:" + statusCode);
        }
    }

public class JsoupConnectProxy2 {
        
        public static void main(String[] args) throws IOException {
        
            //使用第二种方式设置代理
            Connection connection = Jsoup.connect("http://www.********.com.cn/b.asp")
                    .proxy("171.221.239.11",808);
            Connection.Response response = connection.method(Connection.Method.GET)
                    .timeout (10*1000).execute();
            //获取响应状态码
            int statusCode = response.statusCode();
            System.out.println("响应状态码为:" + statusCode);
        }
    }

### 8、响应转输出流（图片、PDF等的下载） ###

使用 Jsoup 下载图片、PDF 和压缩等文件时，需要将响应转化成输出流。转化成 输出流的目的是增强写文件的能力，即以字节为单位写入指定文件。

以图片下载为例，使用 bodyStream()方法将响应转化成输出流，并以缓 冲流的方式写入指定文件。另外，针对图片和 PDF 等文件，在执行 URL 请求获取 Response 时，必须通过 ignoreContentType(boolean ignoreContentType)方法设置忽略响 应内容的类型，否则会报错。

public class JsoupConnectInputstream {
        
        public static void main(String[] args) throws IOException {
        
            String imageUrl = "http://i-4.******.com/2018/6/11/KDE5Mngp/ae0c2d4d-04fb-4066-872c-a8c7a7c4ea4f.jpg";
            Connection connect = Jsoup.connect(imageUrl);
            Connection.Response response = connect.method(Connection.Method.GET).
                    ignoreContentType(true).execute();
            System.out.println("文件类型为:" + response.contentType());
            //响应转化成输出流
            BufferedInputStream bufferedInputStream = response.
                    bodyStream();
            //保存图片
            saveImage(bufferedInputStream,"image/1.jpg");
        }
    
    
        /**
         * 保存图片操作
         * @param in  输入流
         * @param savePath 保存的文件目录
         * @throws IOException
         */
        static void saveImage(BufferedInputStream in, String savePath) throws IOException {
        
            byte[] buffer = new byte[1024];
            int len = 0;
            //创建缓冲流
            FileOutputStream fileOutStream = new FileOutputStream(new File(savePath));
            BufferedOutputStream bufferedOut = new BufferedOutputStream(fileOutStream);
            //图片写入
            while ((len = in.read(buffer, 0, 1024)) != -1) {
        
                bufferedOut.write(buffer, 0, len);
            }
            //缓冲流释放与关闭
            bufferedOut.flush(); 
            bufferedOut.close();
        }
    }

### 9、HTTPS请求认证 ###

以 https://为前缀的 URL 使用的是 HTTPS 协议。HTTPS 在 HTTP 的基础上加入了 SSL(安全套接层)。SSL 的作用是保障网络通信的安全性，其广泛应用于客户端与服 务器之间的身份认证和加密数据传输。

SSL 支持双向认证(服务器认证与客户端认证)，将服务器证书下载到客户端， 再将客户端的证书返回到服务器。目前，访问网站并不常用客户端证书，大部分用户 都没有自己的客户端证书，但 HTTPS 总要求使用客户端证书。其中，使用最多的客 户端证书是 X.509 证书。

查看 Jsoup 源码，发现在 org.jsoup.helper.HttpConnection 类中提供实现信任管理器的 initUnSecureTSL()方法。使用这种方法，可以成功请求以 https:// 为前缀的 URL。

![在这里插入图片描述][b1bc006f6ef04110b3e74254ef9d1acf.png]

但仔细阅读 org.jsoup.helper.HttpConnection 类中的 createConnection()方法对应的 源码时，发现 initUnSecureTSL()方法的调用是需要一定条件的，只有在 req.validateTLSCertificates()执行的结果为 false 的情况下，才 会执行 initUnSecureTSL()方法。而 validateTLSCertificates()方法实际返回的是静态类 Request 中的 validateTSLCertificates 成员变量(默认情况下为 true)。

因此，需要将 validateTSLCertificates 的值设置为 false 才能调用 initUnSecureTSL() 方法。在 org.jsoup.helper.HttpConnection 类中提供了设置 validateTSLCertificates 值的 方法：

public Connection validateTLSCertificates(boolean value) {
         		
    	req.validateTLSCertificates(value);
    	return this;
    }

Connection connect = Jsoup.connect("https://cn.*******.com")
     .validateTLSCertificates(false);
     
    Document document = connect.get();
    System.out.println(document);

另外，也可以在 Jsoup 创建 Connection 连接之前，调用自己编写的创建信任管理 器(不验证证书)的方法，也可以成功地请求以 https:// 为前缀的 URL。

public class JsoupConnectSSLInit {
        
        public static void main(String[] args) throws IOException {
        
            initUnSecureTSL();
            String url = "https://cn.*******.com";
            //创建连接
            Connection connect = Jsoup.connect(url); //请求网页
            Document document = connect.get(); //输出HTML System.out.println(document.html());
        }
    
    
        private static void initUnSecureTSL() {
        
            // 创建信任管理器(不验证证书)
            final TrustManager[] trustAllCerts = new TrustManager[]{
        
                    new X509TrustManager() {
        
                        //检查客户端证书
                        public void checkClientTrusted(final X509Certificate[] chain, final String authType) {
        
                            //do nothing 接受任意客户端证书
                        }
    
                        //检查服务器端证书
                        public void checkServerTrusted(final X509Certificate[] chain, final String authType) {
        
                            //do nothing 接受任意服务端证书
                        }
    
                        //返回受信任的X509证书
                        public X509Certificate[] getAcceptedIssuers() {
        
                            return null;
                        }
                    }
            };
            try {
        
                // 创建SSLContext对象，并使用指定的信任管理器初始化
                SSLContext sslContext = SSLContext.getInstance("SSL");
                sslContext.init(null, trustAllCerts, new java.security.SecureRandom());
                //基于信任管理器，创建套接字工厂
                SSLSocketFactory sslSocketFactory = sslContext.getSocketFactory();
                //为HttpsURLConnection配置套接字工厂
                HttpsURLConnection.setDefaultSSLSocketFactory(sslSocketFactory);
            } catch (Exception e) {
        
                e.printStackTrace();
            }
        }
    }

### 10、大文件内容获取问题 ###

在采集数据时，经常会遇到一些较大的文件，如包含大量文本信息的 HTML 文件、 大小超过 10M 的图片、PDF 和 ZIP 等文件。在默认情况下，Jsoup 最大只能获取 1M的文件。因此，直接使用 Jsoup 请求包含大量文本信息的 HTML 文件，将导致获取的 内容不全;请求下载大小超过 1M 的图片和 ZIP 等文件，将导致文件无法查看或解压。

但在 Jsoup 中，可以使用 maxBodySize(int bytes)设置请求文件大小限制，来避免这种 问题的出现。另外，在请求大文件时，设置的超时 时间也需尽量长些。

public class JsoupConnectBodySize1 {
        
        public static void main(String[] args) throws IOException {
        
            String url = "https://www-us.******.org/dist//httpd/httpd-2.4.37.tar.gz";
            //超时时间设置长一些，下载大文件
            Connection.Response response = Jsoup.connect(url)
                    .timeout(10*60*1000)
                    .maxBodySize(Integer.MAX_VALUE)
                    .method(Connection.Method.GET)
                    .ignoreContentType(true)
                    .execute();
            //如果响应成功，则执行下面的操作
            if (response.statusCode() == 200) {
        
                //响应转化成输出流
                BufferedInputStream bufferedInputStream = response.bodyStream();
                //保存图片
                saveFile(bufferedInputStream,"image/httpd-2.4.37.tar.gz");
            }
        }
    
    
        static void saveFile(BufferedInputStream inputStream, String savePath) throws IOException {
        
            //一次最多读取1KB
            byte[] buffer = new byte[1024];
            int len = 0;
            //创建缓冲流
            FileOutputStream fileOutStream = new FileOutputStream(new File(savePath));
            BufferedOutputStream bufferedOut = new BufferedOutputStream(fileOutStream);
            //文件写入
            while ((len = inputStream.read(buffer, 0, 1024)) != -1) {
        
                bufferedOut.write(buffer, 0, len);
            }
            //缓冲流释放与关闭
            bufferedOut.flush(); bufferedOut.close();
        }
    }

[1d96904ebe2842adbef3f0a355359e96.png]: https://img-blog.csdnimg.cn/1d96904ebe2842adbef3f0a355359e96.png
[b1bc006f6ef04110b3e74254ef9d1acf.png]: https://img-blog.csdnimg.cn/b1bc006f6ef04110b3e74254ef9d1acf.png