爬虫二：Jsoup解析数据

秒速五厘米 2024-04-19 12:59 66阅读 0赞

# 1、Jsoup解析爬虫数据 #

解析数据本质上就是在解析HTML文档，需要使用一种可以在java客户端来解析HTML文档的技术 —>**jsoup**

### 1.1 导入jsoup依赖 ###

<dependency>
          <groupId>org.jsoup</groupId>
          <artifactId>jsoup</artifactId>
          <version>1.11.3</version>
        </dependency>

### 1.2 获取解析对象 ###

jsoup在使用之前必须先获取到document对象，获取document对象有四种方式：

@Test
        public void test4() throws Exception{
    
            //通常只在测试的时候使用
            Document document = Jsoup.connect("http://www.ujiuye.com/").get();
            Elements elements = document.getElementsByTag("title");
            System.out.println(elements.get(0).text());
        }
    
    
    
    
    
        @Test
        public void test3() throws Exception {
            //解析本地的一个html文件
            File file = new File("F:\\index.html");
    
            Document document = Jsoup.parse(file, "UTF-8");
    
            Elements elements = document.getElementsByTag("body");
    
            System.out.println(elements.get(0).text());
    
        }
    
    
    
        @Test
        public void test2() throws Exception {
    
            //2.解析不完整的html标签字符串
            String html = "<span>解析方式二</span>";
    
            //Document document = Jsoup.parse(html);
            Document document = Jsoup.parseBodyFragment(html);
    
            Elements elements = document.getElementsByTag("span");
    
            System.out.println(elements.get(0).text());
    
    
        }
    
        @Test
        public void test1(){
    
            //1.解析一段html标签字符串:
            String html = "<!DOCTYPE html>\n" +
                    "<html lang=\"en\">\n" +
                    "<head>\n" +
                    "    <meta charset=\"UTF-8\">\n" +
                    "    <title>解析方式一</title>\n" +
                    "</head>\n" +
                    "<body>\n" +
                    "    第一种解析方式\n" +
                    "</body>\n" +
                    "</html>";
    
            Document document = Jsoup.parse(html);
    
            Elements elements = document.getElementsByTag("title");
    
            System.out.println(elements.get(0).text());
    
        }

### 1.3 解析数据 ###

jsoup在进行解析HTML文档的时候提供了两中方法。

1.  基于js的方式来解析HTML文档；
2.  基于css或者jQuery的选择器来解析HTML文档（ id选择器 类选择器 元素选择器 层级选择器 属性选择器）；

#### 方式一： ####

（1）首先获取爬取数据，并返回

/*通过此方法返回数据*/
        public String reptileGet() throws Exception{
            //1、获取url
            String url = "http://www.xxx.com/";
            String s_info=null;
            //2、发送请求，获取数据
    
            //创建httpclient对象
            CloseableHttpClient aDefault = HttpClients.createDefault();
            //创建发送方式对象
            HttpGet get = new HttpGet(url);
            //设置请求方式，发送请求
            CloseableHttpResponse info = aDefault.execute(get);
    
            if(info.getStatusLine().getStatusCode()==200){
                //获取响应体对象
                HttpEntity entity = info.getEntity();
                //设置响应体编码格式(与url编码格式一致)
                s_info = EntityUtils.toString(entity, "gb2312");
    
                //System.out.println(s_info);
            }
    
            //httpClient对发送完成之后,最后关闭.
            aDefault.close();
            return s_info;
        }

（2）**使用原生js的方式解析HTML文档**

@Test
        public void test1() throws Exception{
            String s = reptileGet();
            //把数据加载到jsoup中解析
            Document parse = Jsoup.parse(s);
            /*找到第一个类名为nav_left的标签*/
            Element nav_left = parse.getElementsByClass("nav_left").get(0);
            /*找到nav_left标签下的所有li标签*/
            Elements li = nav_left.getElementsByTag("li");
            /*遍历每一个li标签*/
            for(Element info:li){
                /*找到第一个a标签*/
                Element a = info.getElementsByTag("a").get(0);
                /*找到span标签，并将内容转换成字符串*/
                String span = a.getElementsByTag("span").get(0).text();
                System.out.println(span);
            }
        }

#### 方式二： ####

//方法二：使用jquery选择器的方式解析数据
        @Test
        public void test2() throws Exception{
            String s = reptileGet();
    
            //把数据加载到jsoup中解析
            Document parse = Jsoup.parse(s);
            //类选择器    $(“.类名”)
            //A>B   获得A元素下面的所有B子元素。（父子关系）  [拿到nav_left类下的所有li标签下的所有a标签下的所有span标签]
            Elements select = parse.select(".nav_left>li>a>span");
            for(Element info:select){
                System.out.println(info.text());
            }
        }

# 2、Jsoup常用方法 #

1.  parse(String html) ; 获取document对象
2.  select(“选择器”); 根据指定的选择器获取元素
3.  text()/html(); 获取内容体的数据, text方法获取文本内容 html方法主要使用用来获取文本+html内容
4.  跳转首页
5.  attr(String key); 根据指定属性名称获取属性值