网络爬虫——Jsoup解析HTML

你的名字 2023-10-13 20:08 68阅读 0赞

#### 目录 ####

*   *  1、Jsoup解析HTML
     *   *  1.1解析静态HTML文件
         *  1.2、解析URL加载的Document
         *  1.3、Jsoup遍历元素
         *  1.4、Jsoup获取元素的其它方法
     *  2、支持Xpath语法的JsoupXpath

### 1、Jsoup解析HTML ###

Jsoup 依赖于 CSS 选择器与 jQuery 方法来操作 HTML 文件中的数据。使用 Jsoup 之前，需要了解 Jsoup 中的 Node、Element 和 Document 的概念。

*  节点(Node):HTML 文件中所包含的内容都可以看成一个节点。节点有很多种类 型，如属性(Attribute)节点、注释(Note)节点、文本(Text)节点和元素(Element) 节点等。解析 HTML 文件的过程，实际上就是对节点进行操作的过程。
 *  元素(Element):节点的子集，所以一个元素也是一个节点。
 *  文档(Document):整个 HTML 文档的源码内容。

#### 1.1解析静态HTML文件 ####

给定 HTML 字符串，可以使用 org.jsoup.Jsoup 类中的 parse(String html)方法，将 String 类型的 HTML 文件转化成 Document 类型。之后，可以使用 org.jsoup.nodes.Element 类 中的 select(String cssQuery)方法定位到所要解析的元素。

public class JsoupParseStaticFile {
        
        public static void main(String[] args) {
        
            //HTML静态文件
            String html = "<html><body><div id=\"w3school\"> <h1>浏览器 脚本教程</h1> <p><strong>从左侧的菜单选择你需要的教程!</strong></p> </div>"
                    + "<div> <div id=\"course\"> <ul> <li><a href=\"/ js/index.asp\" title=\"JavaScript 教 程 \">JavaScript</a></li> </ul> </div> </body></html>";
            //转化成Document
            Document document = Jsoup.parse(html);
            //基于CSS选择器获取元素
            Element element = document.select("div[id=w3school]").get(0);
            System.out.println("元素内容为:\n" + element);
        }
    }

元素内容为:
    <div id="w3school"> 
     <h1>浏览器 脚本教程</h1> 
     <p><strong>从左侧的菜单选择你需要的教程!</strong></p> 
    </div>

#### 1.2、解析URL加载的Document ####

指定 URL，可先使用 Jsoup 请求 URL，获取对应的 Document。之后，再使用 select (String cssQuery)方法定位要解析的内容。

public class JsoupParseURLDoc {
        
        public static void main(String[] args) throws IOException {
        
            //获取URL对应的Document
            Document doc = Jsoup.connect("https://m.runoob.com/java/")
                    .timeout(5000)
                    .get();
            //基于CSS选择器获取元素，这里换了一种方式
            Element element = doc.select("#content > div:nth-child(1) > a > h2").get(0);
            System.out.println("输出解析的元素内容为:");
            System.out.println(element);
            //从Element提取内容(抽取一条Node对应的信息)
            String text1 = element.text();
            System.out.println("文本信息：" + text1);
            String className = element.className();
            System.out.println("class：" + className);
        }
    }

输出解析的元素内容为:
    <h2 class="entry-title">Java 教程</h2>
    文本信息：Java 教程
    class：entry-title

#### 1.3、Jsoup遍历元素 ####

org.jsoup.nodes.Element 类中的 select(String cssQuery)方法返回的是 Elements 对象，即匹配得到 cssQuery 对应的所有元素集合。org.jsoup.select.Elements 类继承 了 ArrayList，所以，可以按照操作 ArrayList 集合的方式操作 Elements 对象，如获取某元素可使用 get(int index)方法。 同样，也可以按照遍历 ArrayList 集合的方式遍历 Elements 对象。

![在这里插入图片描述][0765c7a368504800bf229ee56674a35f.png]

遍历获取菜鸟教程的课程URL，页面HTML如下：  
![在这里插入图片描述][00384035c6f34f47b5848671eb033e4f.png]

public class JsoupParseEveryEle {
        
        public static void main(String[] args) throws IOException {
        
            //获取URL对应的Document
            Document doc = Jsoup.connect("https://www.runoob.com").timeout(5000).get();
            //层层定位到要解析的内容，可以发现包含多个li元素
            Elements elements = doc.select("body > div.container.main > div > div.col.middle-column-home > div.codelist.codelist-desktop.cate1").select("a");
            //遍历每一个li节点
            for (Element ele : elements) {
        
                String title = ele.select("h4").text();
                String describe = ele.select("strong").text();
                String url = ele.attr("href");
                System.out.println("标题为：" + title);
                System.out.println("描述为：" + describe);
                System.out.println("URL为：" + url);
                System.out.println();
            }
        }
    }

标题为：【学习 HTML】
    描述为：HTML，即超文本标记语言（Hyper Text Markup Language）
    URL为：//www.runoob.com/html/html-tutorial.html
    
    标题为：【学习 HTML5】
    描述为：HTML5 是下一代 HTML 标准
    URL为：//www.runoob.com/html/html5-intro.html
    
    标题为：【学习 CSS】
    描述为：层叠样式表（Cascading StyleSheet）
    URL为：//www.runoob.com/css/css-tutorial.html
    
    标题为：【学习 CSS3】
    描述为：CSS3是CSS技术的升级版本
    URL为：//www.runoob.com/css3/css3-tutorial.html
    
    标题为：【学习 Bootstrap3】
    描述为：Bootstrap，来自 Twitter，是目前最受欢迎的前端框架
    URL为：//www.runoob.com/bootstrap/bootstrap-tutorial.html
    
    标题为：【学习 Bootstrap4】
    描述为：Bootstrap4 前端框架
    URL为：//www.runoob.com/bootstrap4/bootstrap4-tutorial.html
    
    标题为：【学习 Bootstrap5】
    描述为：Bootstrap5 目前是 Bootstrap 的最新版本
    URL为：//www.runoob.com/bootstrap5/bootstrap5-tutorial.html
    
    标题为：【学习 Font Awesome】
    描述为：Font Awesome 是一套绝佳的图标字体库和CSS框架。
    URL为：//www.runoob.com/font-awesome/fontawesome-tutorial.html
    
    标题为：【学习 Foundation】
    描述为：Foundation 用于开发响应式的 HTML, CSS and JavaScript 框架
    URL为：//www.runoob.com/foundation/foundation-tutorial.html

#### 1.4、Jsoup获取元素的其它方法 ####

<table> 
 <thead> 
  <tr> 
   <th align="left">方法</th> 
   <th align="left">描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">Element getElementById(String id)</td> 
   <td align="left">基于 id 获取元素</td> 
  </tr> 
  <tr> 
   <td align="left">Elements getElementsByTag(String tagName)</td> 
   <td align="left">基于标签名称获取元素集合</td> 
  </tr> 
  <tr> 
   <td align="left">Elements getElementsByAttribute(String key)</td> 
   <td align="left">基于属性名称获取元素集合</td> 
  </tr> 
  <tr> 
   <td align="left">Elements getElementsByClass(String className)</td> 
   <td align="left">基于类名获取元素集合</td> 
  </tr> 
  <tr> 
   <td align="left">Elements getElementsByAttributeStarting(StringkeyPrefix)</td> 
   <td align="left">通过属性前缀获取元素集合</td> 
  </tr> 
  <tr> 
   <td align="left">Elements getElementsByAttributeValue(String key,String value)</td> 
   <td align="left">基于属性和属性值获取元素集合</td> 
  </tr> 
  <tr> 
   <td align="left">Elements getElementsByAttributeValueStarting(String key, String valuePrefix)</td> 
   <td align="left">基于属性和属性值前缀获取元素集合</td> 
  </tr> 
  <tr> 
   <td align="left">Elements getElementsByAttributeValueEnding(String key, String valueSuffix)</td> 
   <td align="left">基于属性和属性值后缀获取元素集合</td> 
  </tr> 
  <tr> 
   <td align="left">Elements getElementsByAttributeValueContaining(String key, String match)</td> 
   <td align="left">基于属性与属性值(包含某字符串)获取元素集合</td> 
  </tr> 
  <tr> 
   <td align="left">Elements getElementsByAttributeValueMatching(String key, String regex)</td> 
   <td align="left">基于属性与属性值(正则表达式)获取元素集合</td> 
  </tr> 
  <tr> 
   <td align="left">Elements siblingElements()</td> 
   <td align="left">获取兄弟元素集合，如果没有返回空列表</td> 
  </tr> 
  <tr> 
   <td align="left">Element nextElementSibling()</td> 
   <td align="left">获取下一个兄弟元素，如果没有返回 null</td> 
  </tr> 
  <tr> 
   <td align="left">Element previousElementSibling()</td> 
   <td align="left">获取上一个兄弟元素，如果没有返回 null</td> 
  </tr> 
  <tr> 
   <td align="left">Element firstElementSibling()</td> 
   <td align="left">获取第一个兄弟元素</td> 
  </tr> 
  <tr> 
   <td align="left">Element lastElementSibling()</td> 
   <td align="left">获取最后一个兄弟元素</td> 
  </tr> 
  <tr> 
   <td align="left">Elements children()</td> 
   <td align="left">获取子元素集合</td> 
  </tr> 
 </tbody> 
</table>

### 2、支持Xpath语法的JsoupXpath ###

Jsoup 在选择节点或元素时，支持的是 CSS 选择器，而不支持 Xpath 语法。而 JsoupXpath 则是在 Jsoup 的基础上扩展的支持 Xpath 语法的 HTML 文件解析器。  
使用 JsoupXpath 解析 HTML 文件之前，需要在 Maven 工程的 pom.xml 文件中添 加 JsoupXpath 对应的 dependency。

<dependency> 
    	<groupId>cn.wanghaomiao</groupId>
    	<artifactId>JsoupXpath</artifactId>
    	<version>2.2</version> 
    </dependency>

在 JsoupXpath 解析 HTML 时，可以先通过 JXDocument 类中提供的 4 种方法实例化 JXDocument 对象，如程序所示。这四种方法传递的参数分别是 Document 类型 的 HTML 文档、Elements 类型的元素集合、String 类型的 HTML 字符串和 String 类型 的 URL。

public static JXDocument create(Document doc){
         
    	Elements els = doc.children();
    	return new JXDocument(els);
    }
    
    public static JXDocument create(Elements els){
        
    	return new JXDocument(els); 
    }
    
    public static JXDocument create(String html){
         
    	Elements els = Jsoup.parse(html).children(); 
    	return new JXDocument(els);
    }
    
    public static JXDocument createByUrl(String url){
        
    	Elements els; 
    	try {
        
    		els = Jsoup.connect(url).get().children(); 
    	} catch (Exception e) {
        
    		throw new XpathParserException("url ",e); 
    	}
    	return new JXDocument(els); 
    }

示例，依旧解析课程URL

public class JsoupXpathDemo {
        
        public static void main(String[] args) {
        
            //基于URL创建
            JXDocument jxd = JXDocument.createByUrl("https://www.runoob.com");
            //Xpath语句
            String xpathStr = "//div[1]/a";
            //获取节点集合
            List<JXNode> list = jxd.selN(xpathStr);
            //遍历节点
            for (JXNode node : list) {
        
                String title = node.sel("./h4").get(0).asElement().text();
                String describe = node.sel("./strong").get(0).asElement().text();
                String url = node.asElement().attr("href");
                System.out.println("标题为：" + title);
                System.out.println("描述为：" + describe);
                System.out.println("URL为：" + url);
                System.out.println();
            }
        }
    }

[0765c7a368504800bf229ee56674a35f.png]: https://img-blog.csdnimg.cn/0765c7a368504800bf229ee56674a35f.png
[00384035c6f34f47b5848671eb033e4f.png]: https://img-blog.csdnimg.cn/00384035c6f34f47b5848671eb033e4f.png