如何用java中的webmagic爬取网页

àì夳堔傛蜴生んèń 2023-06-24 05:15 3阅读 0赞

说到爬虫，大家第一个想到的肯定是python的scrapyd爬虫。但是大家不知道吧，我们的java也有相应的爬虫工具。今天就给大家介绍一下我们java的爬虫工具。

我们今天要介绍的爬虫工具，名字叫做webmagic，webmagic的架构图如下所示：

![image][]

如图所示，它主要分为四个部分：

*  Downloader(页面下载)
 *  PageProcessor(页面分析及链接抽取)
 *  Scheduler(URL管理)
 *  Pipeline(后续处理和持久化)

webmagic的用法其实很简单，复杂的部分webmagic都替我们封装好了，接下来开始我们爬虫历程。

1.首先引入webmagic的依赖

<dependency>
                <groupId>us.codecraft</groupId>
                <artifactId>webmagic-core</artifactId>
                <version>0.6.1</version>
            </dependency>
    
            <dependency>
                <groupId>us.codecraft</groupId>
                <version>0.6.1</version>
                <artifactId>webmagic-extension</artifactId>
            </dependency>
    
            <dependency>
                <groupId>us.codecraft</groupId>
                <artifactId>webmagic-selenium</artifactId>
                <version>0.6.1</version>
            </dependency>
    
            <dependency>
                <groupId>org.seleniumhq.selenium</groupId>
                <artifactId>selenium-java</artifactId>
                <version>3.3.1</version>
            </dependency>

2.创建PageProcessor，用来处理网页数据

/**
     * @author linzhiqiang
     */
    public class CsdnBlogProcessor implements PageProcessor {
        private Site site = Site
                .me()
                .setDomain("csdn.net")
                .setSleepTime(3000)
                .setUserAgent(
                        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_2) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.65 Safari/537.31");
    
        @Override
        public void process(Page page) {
            System.out.println("html:"+page.getHtml());
        }
    
        @Override
        public Site getSite() {
            return site;
        }
    }

> site中放置爬取的网站域名、cookie、请求头等信息。 process用来处理爬取到的网页数据，处理完的数据可以通过page.putField()，再通过Pipeline获取存储到数据库。

3.创建Pipeline，存储处理好的网页数据

public class CsdnPipeline implements Pipeline {
        @Override
        public void process(ResultItems resultItems, Task task) {
            //文章题目
            String title = resultItems.get("title");
            //文章内容
            String context = resultItems.get("context");
            System.out.println("title:" + title);
            System.out.println("context:" + context);
        }
    }

> 在process中通过resultItems来获取PageProcessor存储的page数据，最后我们可以将数据存储到redis、数据库、文件等地方。

4.利用Scheduler调度爬取任务

public class RedisScheduler extends DuplicateRemovedScheduler implements
            MonitorableScheduler, DuplicateRemover {
        @Override
        public int getLeftRequestsCount(Task task) {
            return 0;
        }
    
        @Override
        public boolean isDuplicate(Request request, Task task) {
            return false;
        }
    
        @Override
        public void resetDuplicateCheck(Task task) {
        }
    
        @Override
        public int getTotalRequestsCount(Task task) {
            return 0;
        }
    
        private int num = 0;
    
        @Override
        public Request poll(Task task) {
            Request request = new Request("http://my.oschina.net/flashsword/blog/180623");
            return request;
        }
    }

> 我们可以将我们要爬虫的任务，添加到Scheduler中，然后按照顺序一一爬取。

5.启动爬虫程序，开始爬取数据

public static void main(String[] args) {
            RedisScheduler redisScheduler = new RedisScheduler();
            Spider.create(new CsdnBlogProcessor())
                    .setScheduler(redisScheduler)
                    .addPipeline(new CsdnPipeline())
                    .thread(1)
                    .run();
        }

从打印结果中，我们可以看到我们已经成功爬取到数据了。

![image][image 1]

官方文档：[http://webmagic.io/][http_webmagic.io]

想要更多干货、技术猛料的孩子，快点拿起手机扫码关注我，我在这里等你哦~

![aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9zdTUxaWJiaWF5dnhzZEkwODVpY1JNWWljTDVFaWIwMVkxZ0drcTVNdWxMdXJ6T0QzU251V2oydzA5cjgwSnBTdm5xSTJtV2g0QUJ5RmhJTnZ1bHhwS2I2b1JBLzY0MD93eF9mbXQ9anBlZw][]

**林老师带你学编程**：[https://wolzq.com][https_wolzq.com]

[image]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly93d3cud29senEuY29tLzIwMTkxMjE4LzEwMDEucG5n?x-oss-process=image/format,png
[image 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly93d3cud29senEuY29tLzIwMTkxMjE4LzEwMDIucG5n?x-oss-process=image/format,png
[http_webmagic.io]: http://webmagic.io/
[aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9zdTUxaWJiaWF5dnhzZEkwODVpY1JNWWljTDVFaWIwMVkxZ0drcTVNdWxMdXJ6T0QzU251V2oydzA5cjgwSnBTdm5xSTJtV2g0QUJ5RmhJTnZ1bHhwS2I2b1JBLzY0MD93eF9mbXQ9anBlZw]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9zdTUxaWJiaWF5dnhzZEkwODVpY1JNWWljTDVFaWIwMVkxZ0drcTVNdWxMdXJ6T0QzU251V2oydzA5cjgwSnBTdm5xSTJtV2g0QUJ5RmhJTnZ1bHhwS2I2b1JBLzY0MD93eF9mbXQ9anBlZw
[https_wolzq.com]: https://wolzq.com/