Java爬虫之利用Jsoup自制简单的搜索引擎

╰半夏微凉° 2022-05-28 09:26 267阅读 0赞

Jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。Jsoup的官方网址为： [https://jsoup.org/][https_jsoup.org]， 其API使用手册网址为：[https://jsoup.org/apidocs/overview-summary.html][https_jsoup.org_apidocs_overview-summary.html] .  
  本次分享将实现的功能为：利用Jsoup爬取某个搜索词语（暂仅限英文）的百度百科的介绍部分，具体的功能介绍可以参考博客：[Python爬虫——自制简单的搜索引擎][Python]。在上篇爬虫中我们用Python进行爬取，这次，我们将用Java来做爬虫，你没看错，就是Java.  
  在Eclipse中加入Jsoup包，下载网址为：[https://jsoup.org/download][https_jsoup.org_download] .  
  爬虫的具体代码如下：

package baiduScrape;
    
    /* * 本爬虫主要利用Java的Jsoup包进行网络爬取 * 本爬虫的功能： 爬取百度百科的开头介绍部分 * 使用方法： 输入关键字（目前只支持英文）即可 */
    
    import org.jsoup.Jsoup;
    import org.jsoup.nodes.Document;
    import java.net.*;
    import java.io.*;
    import java.util.Scanner;
    
    public class BaiduScrape {
    
        public static void main(String[] args) {
            Scanner input = new Scanner(System.in);
            String baseUrl = "https://baike.baidu.com/item/";
            String url = "";
    
            // 如果输入文字不是"exit"，则爬取其百度百科的介绍部分，否则退出该程序
            while(true) {
                System.out.println("Enter the word(Enter 'exit' to exit):");
                url = input.nextLine();
                if(url.equals("exit")) {
                    System.out.println("The program is over.");
                    break;
                }
                String introduction = getContent(baseUrl+url);
                System.out.println(introduction+'\n');
            }
        }
    
        // getContent()函数主要实现爬取输入文字的百度百科的介绍部分
        public static String getContent(String url){
            // 利用URL解析网址
            URL urlObj = null;
            try{
                urlObj = new URL(url);
    
            }
            catch(MalformedURLException e){
                System.out.println("The url was malformed!");
                return "";
            }
    
            // URL连接
            URLConnection urlCon = null;
            try{
                urlCon = urlObj.openConnection(); // 打开URL连接
                // 将HTML内容解析成UTF-8格式
                Document doc = Jsoup.parse(urlCon.getInputStream(), "utf-8", url);
                // 刷选需要的网页内容
                String contentText = doc.select("div.lemma-summary").first().text();
                // 利用正则表达式去掉字符串中的"[数字]"
                contentText = contentText.replaceAll("\\[\\d+\\]", "");
                return contentText;
            }catch(IOException e){
                System.out.println("There was an error connecting to the URL");
                return "";
            }
    
        }
    }

在上述代码中，url为输入词条（暂时仅限于英文），进入while循环可一直搜索，当输入为’exit’时退出。contentText为该词条的百度百科简介的网页形式，通过正则表达式将其中的文字提取出来。代码虽然简洁，但是功能还是蛮强大的，充分说明Java也是可以做爬虫的。  
  接下来是愉快的测试时间：

![运行结果][70]  
  
  本次分享到此结束，接下来也会持续更新Jsoup方面的相关知识，欢迎大家交流~~

[https_jsoup.org]: https://jsoup.org/
[https_jsoup.org_apidocs_overview-summary.html]: https://jsoup.org/apidocs/overview-summary.html
[Python]: https://blog.csdn.net/jclian91/article/details/77387842
[https_jsoup.org_download]: https://jsoup.org/download
[70]: /images/20220528/d9b9a5da41984cb3bac63a0f684e7eba.png