【Java开发】之网页爬取分析工具 Jsoup

待我称王封你为后i 2022-09-05 14:00 212阅读 0赞

## 一、Jsoup 简介 ##

--------------------

#### 1、Jsoup 介绍 ####

*Jsoup* 是一款 Java 的 HTML 解析器，可直接解析某个 URL 地址、HTML 文本内容。它提供了一套非常省力的API，可通过 *DOM，CSS* 以及类似于 *jQuery* 的操作方法来取出和操作数据（官网地址为：[https://jsoup.org/][https_jsoup.org]）。

#### 2、Jsoup 提供的主要功能 ####

*  从一个URL，文件或字符串中解析HTML；
 *  使用DOM或CSS选择器来查找、取出数据使用DOM或CSS选择器来查找、取出数据；
 *  可操作HTML元素、属性、文本可操作HTML元素、属性、文本。

**注意：** *Jsoup* 是基于 **MIT** 协议发布的，可放心使用于商业项目。

#### 3、Jsoup 相关 API 包和类 ####

*Jsoup* 提供用于开发应用程序的 API 包有如下：

*  *org.jsoup*
 *  *org.jsoup.examples*
 *  *org.jsoup.helper*
 *  *org.jsoup.nodes*
 *  *org.jsoup.parser*
 *  *org.jsoup.safety*
 *  *org.jsoup.salect*

提供的主要类有：

*  *Jsoup* 类提供了连接、清理和解析 *HTML* 文档的方法；
 *  *Document* 类提供了获取 *HTML* 文档的方法；
 *  *Element* 类提供了获取和操作 *HTML* 节点的相关方法。

## 二、Jsoup 实战 ##

--------------------

#### 1、引入 Maven 依赖 ####

<dependency>
        <groupId>org.jsoup</groupId>
        <artifactId>jsoup</artifactId>
        <version>1.14.1</version>
    </dependency>

#### 2、加载 HTML ####

从 *URL* 中加载 *HTML*

Document document = Jsoup.connect("http://www.baidu.com").get();
    System.out.println("title :" + document.title());

从文件中加载 *HTML*

Document document = Jsoup.parse(new File("D:\\index.html"),"utf-8");
    System.out.println("title :" + document.title());

从字符串中加载 *HTML*

String html = "<html><head><title>First parse</title></head>"
                    + "<body><p>Parsed HTML into a doc.</p></body></html>";
    Document document = Jsoup.parse(html);
    System.out.println("title :" + document.title());

#### 3、获取 HTML 元素信息 ####

根据 class 名称获取元素：

Document document = Jsoup.connect("http://www.baidu.com").get();
    Elements classElements = document.getElementsByClass("class_name");
    for (Element element : classElements) { 
        System.out.println(element);
    }

根据 tag 名获取元素：

Document document = Jsoup.connect("http://www.baidu.com").get();
    Elements tagElements = document.getElementsByTag("table");
    for (Element element : tagElements) { 
        System.out.println(element);
    }

**更多用法可以参考官网的 Cookbook**：[https://jsoup.org/cookbook/extracting-data/dom-navigation][https_jsoup.org_cookbook_extracting-data_dom-navigation]

[https_jsoup.org]: https://jsoup.org/
[https_jsoup.org_cookbook_extracting-data_dom-navigation]: https://jsoup.org/cookbook/extracting-data/dom-navigation