java文章采集爬虫代码示例

逃离我推掉我的手 2022-09-14 01:51 167阅读 0赞

# ![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5rSb6Ziz5rOw5bGx_size_17_color_FFFFFF_t_70_g_se_x_16][] #

# 前言 #

由于爬虫性质的特殊性，本文将部分爬取文章的网站例子，用\#\#\#代替，希望大家能学习java爬取代码技巧！！！

# pom文件引入所需要的依赖 #

<dependency>
                <groupId>org.jsoup</groupId>
                <artifactId>jsoup</artifactId>
                <version>1.13.1</version>
            </dependency>

jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

# 核心实现代码 #

import org.jsoup.Jsoup;
    import org.jsoup.nodes.Document;
    import org.jsoup.select.Elements;
    
    import java.io.IOException;
    
    /**
     * 文章采集
     * @author tarzan
     * @date 2021/5/31
     */
    public class ArticleCollect {
    
    
        //网站地址
        private static String webUrl="###";
    
        /**
         * @param url 访问路径
         * @return
         */
        public static Document getDocument(String url) {
            try {
                //5000是设置连接超时时间，单位ms
                return Jsoup.connect(url).timeout(5000).get();
            } catch (IOException e) {
                e.printStackTrace();
            }
            return null;
        }
    
        public static void main(String[] args) {
            int pageNum=0;
            while (true){
                pageNum++;
                if(!readPage(webUrl,pageNum)){
                    break;
                }
            }
    
        }
    
        public static String readArticle(String url) {
            Document doc=  getDocument(url);
            //获取文章标题
            Elements title = doc.select("title");
            System.out.println(title);
            //获取文章内容
            Elements content = doc.select("###");
            return content.html();
        }
    
        public static boolean readPage(String webUrl,int pageNum) {
            Document doc = getDocument(webUrl+"/article/list/"+pageNum);
            // 获取目标HTML代码
            Elements elements = doc.select("###");
            //文章列表
            Elements articles = elements.select("###");
            if (articles.size() == 0) {
                return false;
            }
            articles.forEach(e -> {
                String url = e.select("a").attr("href");
                readArticle(url);
                try {
                    //等待3秒
                    Thread.sleep(3000);
                } catch (InterruptedException interruptedException) {
                    System.out.println("线程中断故障");
                }
            });
            return true;
        }
    
    }

# 控制台运行输出 #

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5rSb6Ziz5rOw5bGx_size_20_color_FFFFFF_t_70_g_se_x_16][]

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5rSb6Ziz5rOw5bGx_size_17_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/d4c2725da37e4203989d65aa685f9a99.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5rSb6Ziz5rOw5bGx_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/316ca74968cf46a092f6b54d25cf5000.png