SpringBoot从入门到精通教程（三十一）- 爬虫框架集成

￡神魔★判官ぃ 2023-07-10 12:51 20阅读 0赞

# 需求背景 #

> SpringBoot用法：爬虫框架集成

# 业务场景 #

以抓取“今日头条”新闻举例说明

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbWluMTAwMw_size_16_color_FFFFFF_t_70][]

# 技术点 #

**1. 集成爬虫框架webmagic（更多了解webmagic，可以去[官方地址][Link 1]）**

<dependency>
        <groupId>us.codecraft</groupId>
        <artifactId>webmagic-extension</artifactId>
        <version>0.6.0</version>
    </dependency>

*WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫程序*

> 特性：
> 
> 1.  简单的API，可快速上手
> 2.  模块化的结构，可轻松扩展
> 3.  提供多线程和分布式支持

# 代码演示 #

**1. 项目目录结构**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbWluMTAwMw_size_16_color_FFFFFF_t_70 1][]

**2. pom.xml依赖组件**

<?xml version="1.0" encoding="UTF-8"?>
    <project xmlns="http://maven.apache.org/POM/4.0.0"
    	xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    	<modelVersion>4.0.0</modelVersion>
    
    	<parent>
    		<groupId>com.md</groupId>
    		<artifactId>spring-boot2-parent</artifactId>
    		<version>0.0.1-SNAPSHOT</version>
    		<relativePath>../pom.xml</relativePath>
    	</parent>
    
    	<artifactId>spring-boot2-crawler</artifactId>
    	<packaging>jar</packaging>
    
    	<name>spring-boot2-crawler</name>
    	<description>Spring Boot, MVC, Rest API for App</description>
    
    	<properties>
    		<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    		<java.version>1.8</java.version>
    	</properties>
    
    	<dependencies>
    		<dependency>
    			<groupId>org.springframework.boot</groupId>
    			<artifactId>spring-boot-starter</artifactId>
    		</dependency>
    		
    		<dependency>
    			<groupId>org.springframework.boot</groupId>
    			<artifactId>spring-boot-starter-web</artifactId>
    		</dependency>
    		<dependency>
    			<groupId>net.sf.json-lib</groupId>
    			<artifactId>json-lib-ext-spring</artifactId>
    		</dependency>
    		<dependency>
    			<groupId>org.projectlombok</groupId>
    			<artifactId>lombok</artifactId>
    			<optional>true</optional>
    		</dependency>
    		
    		<dependency>
    			<groupId>us.codecraft</groupId>
    			<artifactId>webmagic-extension</artifactId>
    			<version>0.6.0</version>
    		</dependency>
    		<dependency>
    			<groupId>org.nlpcn</groupId>
    			<artifactId>nlp-lang</artifactId>
    			<version>1.7</version>
    		</dependency>
    	</dependencies>
    
    	<build>
    		<plugins>
    			<plugin>
    				<groupId>org.springframework.boot</groupId>
    				<artifactId>spring-boot-maven-plugin</artifactId>
    			</plugin>
    		</plugins>
    	</build>
    
    </project>

**3. 爬虫核心解析类**

MyPageProcessor：

package com.md.demo.crawler.test;
    
    import java.util.List;
    
    import org.nlpcn.commons.lang.finger.SimHashService;
    
    import lombok.extern.slf4j.Slf4j;
    import us.codecraft.webmagic.Page;
    import us.codecraft.webmagic.Site;
    import us.codecraft.webmagic.Spider;
    import us.codecraft.webmagic.processor.PageProcessor;
    import us.codecraft.webmagic.selector.JsonPathSelector;
    
    /**
     * 官方地址：http://webmagic.io/
     * 
     * WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫。
     * 
     * @author Minbo
     *
     */
    @Slf4j
    public class MyPageProcessor implements PageProcessor {
    
    	private Site site = Site.me();
    
    	@Override
    	public void process(Page page) {
    		// 这里使用了jsonPath，因为今日头条返回的是json数据格式。如果是html内容，则使用xpath
    
    		// 第一层解析
    		String json = page.getRawText();
    		List<String> data = new JsonPathSelector("$.data").selectList(json);
    		// 第二层解析
    		for (int i = 0; i < data.size(); i++) {
    			String result = data.get(i);
    			// 文章ID
    			String item_id = new JsonPathSelector("$.item_id").select(result);
    			// 文章标题
    			String title = new JsonPathSelector("$.title").select(result);
    			// 是否有图
    			String has_image = new JsonPathSelector("$.has_image").select(result);
    			// 文章来源
    			String source = new JsonPathSelector("$.source").select(result);
    			// 文章时间
    			String datetime = new JsonPathSelector("$.datetime").select(result);
    			// 一般是根据文章详细内容生成内容指纹id，实现文章去重，这里只是举例说明拿了文章标题
    			// 更多阅读我的博客文章：https://blog.csdn.net/hemin1003/article/details/82819489（【应用算法】信息流-推荐系统的去重策略）
    			String fPrintId = String.valueOf(new SimHashService().fingerprint(title));
    
    			log.info("");
    			log.info("---------->>> 提取文章主信息：");
    			log.info("文章ID item_id=" + item_id);
    			log.info("文章标题 title=" + title);
    			log.info("是否有图 has_image=" + has_image);
    			log.info("文章来源 source=" + source);
    			log.info("文章时间 datetime=" + datetime);
    			log.info("内容指纹id fPrintId=" + fPrintId);
    
    			// webmagic官方还有很多案例，更多内容自行参考学习了，例如配置代理，自带url去重、网页去重等功能
    			// 官方文档地址：http://webmagic.io/docs/zh/
    		}
    	}
    
    	public Site getSite() {
    		return MySite.getSit(site);
    	}
    
    	public static void main(String[] args) {
    		// 今日头条/热点数据url
    		Spider.create(new MyPageProcessor()).addUrl(
    				"https://m.toutiao.com/list/?tag=news_hot&ac=wap&count=20&format=json_raw&as=A1551E75BC4CF9C&cp=5E5C3CEFB9DCAE1&max_behot_time=1583123351&_signature=CXZIuwAAVy.txcPhjSEcTwl2SK&i=1583123351")
    				.thread(1).run();
    	}
    }

MySite：

package com.md.demo.crawler.test;
    
    import us.codecraft.webmagic.Site;
    
    /**
     * 模拟请求头设置
     * 
     * @author Minbo
     *
     */
    public class MySite {
    
    	// 设置请求头
    	public static Site getSit(Site site) {
    		site.addHeader("Accept", "*/*");
    		site.addHeader("Accept-Encoding", "gzip, deflate, br");
    		site.addHeader("Accept-Language", "en-US,en;q=0.9,zh-CN;q=0.8,zh;q=0.7,zh-TW;q=0.6,cy;q=0.5");
    		site.addHeader("Connection", "keep-alive");
    		site.addHeader("Cookie",
    				"uuid=\"w:6eeae48e765542f8816b14bd1a8803f2\"; tt_webid=6799537520192783879; csrftoken=3eb88bcad1818058de0e3c0ca8a3f6d1; W2atIF=1; _ga=GA1.2.2115719807.1583140719; _gid=GA1.2.359266539.1583140719; __tasessionId=tr7vk2kgh1583140721519");
    		site.addHeader("Host", "m.toutiao.com");
    		site.addHeader("Referer", "https://m.toutiao.com/?w2atif=1&channel=news_hot");
    		site.addHeader("Sec-Fetch-Dest", "empty");
    		site.addHeader("Sec-Fetch-Mode", "cors");
    		site.addHeader("Sec-Fetch-Site", "same-origin");
    		site.addHeader("Upgrade-Insecure-Requests", "1");
    		site.addHeader("User-Agent",
    				"Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1");
    
    		site.setTimeOut(60000);
    		site.setCharset("UTF-8");
    		site.setRetryTimes(2);
    		return site;
    	}
    }

**4. 文章去重工具类**

TestNlp**：**

package com.md.demo.nlp.test;
    
    import org.nlpcn.commons.lang.finger.FingerprintService;
    import org.nlpcn.commons.lang.finger.SimHashService;
    
    /**
     * 指纹去重库Github地址：https://github.com/hemin1003/nlp-lang
     * 
     * 更多阅读：https://blog.csdn.net/hemin1003/article/details/82819489（【应用算法】信息流-推荐系统的去重策略）
     * 
     * @author Minbo
     */
    public class TestNlp {
    
    	/**
    	 * 任何一段信息文字，都可以对应一个不太长的随机数，作为区别它和其它信息的指纹（Fingerprint)。
    	 * 只要算法设计的好，任何两段信息的指纹都很难重复，就如同人类的指纹一样。信息指纹在加密、信息压缩和处理中有着广泛的应用。
    	 * 这里的做法是文章抽取特征词，压缩为md5指纹。利用这些指纹进行hash去重。广泛应用在搜索结果、推荐结果去重。
    	 */
    	public static void main(String[] args) {
    		
    		String content = "卓尔防线继续伤筋动骨 队长梅方出场再补漏说起来卓尔队长梅方本赛季就是个“补漏”的命！在中卫与右边后卫间不停地轮换。如果不出意外，今天与广州恒大一战梅方又要换位置，这也是汉军队长连续三场比赛中的第三次换位。而从梅方的身上也可以看出，本赛季汉军防线如此“折腾”，丢球多也不奇怪了。梅方自2009赛季中乙出道便一直司职中后卫，还曾入选过布拉泽维奇国奥队，也是司职的中卫。上赛季，梅方与忻峰搭档双中卫帮助武汉卓尔队中超成功，但谁知进入本赛季后从第一场比赛开始梅方便不断因为种种“意外”而居无定所。联赛首战江苏舜天时，也是由于登贝莱受伤，朱挺位置前移，梅方临危受命客串右边后卫。第二轮主场与北京国安之战梅方仅仅打了一场中卫，又因为柯钊受罚停赛4轮而不得不再次到边路“补漏”。随着马丁诺维奇被弃用，梅方一度成为中卫首选，在与上海东亚队比赛中，邱添一停赛，梅方与忻峰再度携手，紧接着与申鑫队比赛中移至边路，本轮忻峰又停赛，梅方和邱添一成为中卫线上最后的选择。至于左右边后卫位置，卓尔队方面人选较多，罗毅、周恒、刘尚坤等人均可出战。记者马万勇原标题：卓尔防线继续伤筋动骨队长梅方出场再补漏稿源：中新网作者：";
    		String content2 = "在中卫与右边后卫间不停地轮换。卓尔防线继续伤筋动骨 队长梅方出场再补漏说起来卓尔队长梅方本赛季就是个“补漏”的命！还曾入选过布拉泽维奇国奥队，也是司职的中卫。上赛季，梅方与忻峰搭档双中卫帮助武汉卓尔队中超成功，但谁知进入本赛季后从第一场比赛开始梅方便不断因为种种“意外”而居无定所。";
    
    		// 方式1
    //		String f1 = new FingerprintService().fingerprint(content);
    //		String f2 = new FingerprintService().fingerprint(content2);
    //		System.out.println(f1);
    //		System.out.println(f2);
    //		System.out.println(f1.equals(f2));
    
    		// 方式2
    		SimHashService service = new SimHashService();
    		String f3 = String.valueOf(service.fingerprint(content));
    		String f4 = String.valueOf(service.fingerprint(content2));
    		System.out.println(f3);
    		System.out.println(f4);
    		System.out.println(f3.equals(f4));
    
    //		System.out.println(service.hmDistance(content, content2));
    	}
    
    }

更多阅读：[【应用算法】信息流-推荐系统的去重策略][-]

**5. ****计划任务**

ScheduledTasks：

package com.md.demo.task;
    
    import org.springframework.scheduling.annotation.Scheduled;
    import org.springframework.stereotype.Component;
    
    import com.md.demo.crawler.test.MyPageProcessor;
    
    import lombok.extern.slf4j.Slf4j;
    import us.codecraft.webmagic.Spider;
    
    @Component
    @Slf4j
    public class ScheduledTasks {
    
    	/**
    	 * 每30秒执行一次
    	 */
    	@Scheduled(initialDelay = 5000, fixedDelay = 30000)
    	public void httTaskOfWechatPay() {
    		log.info("------------------------------------------------");
    		log.info("============爬虫数据任务，start===================");
    
    		// TODO 在这里，你可以把爬虫做成执行计划任务，或者动态执行计划（通过db配置，或quartz框架，或XXL-job任务调度计划框架）
    
    		log.info("开始爬虫数据...");
    		log.info("处理处理...可以入库db，或存入es中");
    
    		// 爬今日头条/热点数据url
    		Spider.create(new MyPageProcessor()).addUrl(
    				"https://m.toutiao.com/list/?tag=news_hot&ac=wap&count=20&format=json_raw&as=A1551E75BC4CF9C&cp=5E5C3CEFB9DCAE1&max_behot_time=1583123351&_signature=CXZIuwAAVy.txcPhjSEcTwl2SK&i=1583123351")
    				.thread(1).run();
    
    		log.info("爬虫结束...done");
    
    		log.info("============爬虫数据任务，end===================");
    		log.info("------------------------------------------------");
    	}
    
    }

注：可以改写成多线程模式，并发抓取多个tag分类的新闻数据，但频率不要很高，不然容易命中爬虫IP反作弊（可以加上ip代理）

**6. 启动类**

Application：

package com.md.demo;
    
    import org.springframework.boot.SpringApplication;
    import org.springframework.boot.autoconfigure.SpringBootApplication;
    import org.springframework.context.annotation.Bean;
    import org.springframework.scheduling.annotation.EnableScheduling;
    import org.springframework.web.cors.CorsConfiguration;
    import org.springframework.web.cors.UrlBasedCorsConfigurationSource;
    import org.springframework.web.filter.CorsFilter;
    
    /**
     * 程序主入口
     * 
     * @author Minbo
     *
     */
    @SpringBootApplication
    @EnableScheduling
    public class Application {
    
    	public static void main(String[] args) {
    		SpringApplication.run(Application.class, args);
    	}
    
    	/**
    	 * 开启过滤器功能
    	 * 
    	 * @return
    	 */
    	private CorsConfiguration buildConfig() {
    		CorsConfiguration corsConfiguration = new CorsConfiguration();
    		corsConfiguration.addAllowedOrigin("*");
    		corsConfiguration.addAllowedHeader("*");
    		corsConfiguration.addAllowedMethod("*");
    		return corsConfiguration;
    	}
    
    	/**
    	 * 跨域过滤器
    	 * 
    	 * @return
    	 */
    	@Bean
    	public CorsFilter corsFilter() {
    		UrlBasedCorsConfigurationSource source = new UrlBasedCorsConfigurationSource();
    		source.registerCorsConfiguration("/**", buildConfig());
    		return new CorsFilter(source);
    	}
    }

# 完整源码下载 #

我的[Github源码地址：][Github]

[https://github.com/hemin1003/spring-boot-study/tree/master/spring-boot2-study/spring-boot2-parent/spring-boot2-crawler][https_github.com_hemin1003_spring-boot-study_tree_master_spring-boot2-study_spring-boot2-parent_spring-boot2-crawler]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbWluMTAwMw_size_16_color_FFFFFF_t_70 2][]

# 下一章教程 #

[SpringBoot从入门到精通教程（三十二）- MybatisPlus框架动态数据源用法（支持多个DB，动态切换数据源）][SpringBoot_- MybatisPlus_DB]

# 该系列教程 #

[SpringBoot从入门到精通教程][SpringBoot]

# 我的专栏 #

*  [SpringBoot系列专栏][SpringBoot 1]
 *  [高可用高并发实战][Link 2][专栏][Link 3]
 *  [微服务架构实战][Link 4]
 *  [DevOps实战专栏][DevOps]
 *  [程序化广告实战专栏][Link 3]

至此，全部介绍就结束了

\-------------------------------

[我的CSDN主页][CSDN]

[关于我][Link 5]（个人域名）

[我的开源项目集Github][Github 1]

期望和大家***一起学习，一起成长***，共勉，O(∩\_∩)O谢谢

欢迎交流问题，可加个人QQ 469580884，

或者，加我的群号 **751925591**，一起探讨交流问题

不讲虚的，只做实干家

Talk is cheap，show me the code

![20180411181545874][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbWluMTAwMw_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200315180924211.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbWluMTAwMw==,size_16,color_FFFFFF,t_70
[Link 1]: http://webmagic.io/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbWluMTAwMw_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200315181226228.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbWluMTAwMw==,size_16,color_FFFFFF,t_70
[-]: https://blog.csdn.net/hemin1003/article/details/82819489
[Github]: https://github.com/hemin1003/spring-boot-study/tree/master/spring-boot2-study/spring-boot2-parent
[https_github.com_hemin1003_spring-boot-study_tree_master_spring-boot2-study_spring-boot2-parent_spring-boot2-crawler]: https://github.com/hemin1003/spring-boot-study/tree/master/spring-boot2-study/spring-boot2-parent/spring-boot2-crawler
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbWluMTAwMw_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200315180722116.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbWluMTAwMw==,size_16,color_FFFFFF,t_70
[SpringBoot_- MybatisPlus_DB]: https://blog.csdn.net/hemin1003/article/details/105145250
[SpringBoot]: https://hemin.blog.csdn.net/column/info/40170
[SpringBoot 1]: https://blog.csdn.net/hemin1003/article/category/9291077
[Link 2]: https://blog.csdn.net/hemin1003/article/category/9292134
[Link 3]: https://blog.csdn.net/hemin1003/article/category/9290971
[Link 4]: https://blog.csdn.net/hemin1003/article/category/9292162
[DevOps]: https://blog.csdn.net/hemin1003/article/category/9292130
[CSDN]: https://blog.csdn.net/hemin1003
[Link 5]: http://heminit.com/about/
[Github 1]: https://github.com/hemin1003
[20180411181545874]: https://img-blog.csdn.net/20180411181545874