Webmagic 爬虫之通过cookie进行页面登录

绝地灬酷狼 2022-06-14 03:48 842阅读 0赞

## 介绍： ##

--------------------

首先先来介绍下webmagic这个爬虫框架，这个框架是大佬黄义华开源的爬虫框架，用起来非常的顺手， 跟之前用python中的scrapy框架一样，层次非常清晰，可扩展性也是非常的好。文档也比较齐全，并且现在还在一直更新。

优点就说这些，但是也有一些不足，在我学习的过程中，遇到了一些问题，比如就是没有关于登录的例子，并且没有google出相关的内容，这里是自己摸索的出的一种方法。

--------------------

在使用爬虫的过程中，有的网站的信息必须是要登录后才能查看的，这里就拿世纪佳缘网作为例子，来进行一个登陆的测试。

> 首先在没有用户登陆的情况下，我们是看不到世纪佳缘网上用户的一些经济信息的，如下图所示：

![这里写图片描述][20170608192145211]

--------------------

> 这是登陆后的页面，就可以看到用户的经济方面的信息了，同时使用chrome看到页面的cookie信息。

![这里写图片描述][20170608194703558]

--------------------

如果我想要爬取到这些信息，肯定是要进行登陆才可以的，这里就要获取到cookie的信息，webmagic中整合了Selenium这个模拟浏览器，来帮助我们进行登陆并，但是效率会有点慢，也可以使用phantomjs。

--------------------

首先先引入webmagic对Selenium的整合jar包，这里使用的是maven管理。

</dependency>
                <dependency>
                <groupId>us.codecraft</groupId>
                <artifactId>webmagic-selenium</artifactId>
                <version>0.5.2</version>
        </dependency>

--------------------

从上面的图可以看到cookie的信息非常的多，而登录需要的cookie就在其中，而且每个页面中的cookie也不是一样，我们不可能一个个去试，最要命的是webmagic中的site 没有 scrapy中的setCookies()函数，一次只能添加一个cookie信息。要想添加全部的cookie信息，就要使用下面的方法.

因为要模拟浏览器，所以要下载个当前浏览器的驱动，我使用的chrome  
这是驱动的下载地址[http://download.csdn.net/detail/leoe\_/9903768][http_download.csdn.net_detail_leoe_9903768]，如果使用的是其他的浏览器，可以自行去搜索下，让后把驱动放在 C:\\Windows\\System32 文件下就可以了。

废话不多说，上代码，如果没有接触过webmagic和Selenium可以先了解下，再去运行下面的代码。

--------------------

package org.will.WebMagic;
    
    import java.util.List;
    import java.util.Set;
    
    import org.openqa.selenium.By;
    import org.openqa.selenium.Cookie;
    import org.openqa.selenium.WebDriver;
    import org.openqa.selenium.chrome.ChromeDriver;
    
    import us.codecraft.webmagic.Page;
    import us.codecraft.webmagic.Site;
    import us.codecraft.webmagic.Spider;
    import us.codecraft.webmagic.processor.PageProcessor;
    
    public class Miai implements PageProcessor {
    
        private Site site = Site.me().setRetryTimes(3).setSleepTime(0).setTimeOut(3000);
    
        //用来存储cookie信息
        private Set<Cookie> cookies;
    
        @Override
        public void process(Page page) {    
            //获取用户的id
            page.putField("", page.getHtml().xpath("//div[@class='member_info_r yh']/h4/span/text()"));
    
            //获取用户的详细信息
            List<String> information = page.getHtml().xpath("//ul[@class='member_info_list fn-clear']//li/div[@class='fl pr']/em/text()").all();
            page.putField("information = ", information);
    
        }
    
        //使用 selenium 来模拟用户的登录获取cookie信息
        public void login()
        {
            WebDriver driver = new ChromeDriver();
            driver.get("http://login.jiayuan.com/?channel=200&position=204&pre_url=http%3A%2F%2Fsearch.jiayuan.com%2Fv2%2F");
    
            driver.findElement(By.id("login_email")).clear();
    
            //在******中填你的用户名
            driver.findElement(By.id("login_email")).sendKeys("*******");
    
            driver.findElement(By.id("login_password")).clear();
            //在*******填你密码
            driver.findElement(By.id("login_password")).sendKeys("*******");
    
            //模拟点击登录按钮
            driver.findElement(By.id("login_btn")).click();
    
            //获取cookie信息
            cookies = driver.manage().getCookies();
            driver.close(); 
        }
        @Override
        public Site getSite() { 
    
            //将获取到的cookie信息添加到webmagic中
            for (Cookie cookie : cookies) { 
                site.addCookie(cookie.getName().toString(),cookie.getValue().toString());
            }
    
            return site.addHeader("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"); 
        }
    
        public static void main(String[] args){
            Miai miai = new Miai();
    
            //调用selenium，进行模拟登录
            miai.login();
            Spider.create(miai)
            .addUrl("http://www.jiayuan.com/164830633")
            .run();
        }
    }

--------------------

这是代码运行的结果：已经可以爬下来用户的全部信息了。

![这里写图片描述][20170608200035529]

--------------------

可以结合代码自己找个页面试试，代码中有注释，这只是我想到的一种登录的方法，我也是刚学习这个框架，如果有什么不对请指出来，或者有更好的方法也可以分享下。

[20170608192145211]: /images/20220614/faf340c717034cab8608bb648d66251c.png
[20170608194703558]: /images/20220614/3f44f60ae32d4d9392b95162a64c42d7.png
[http_download.csdn.net_detail_leoe_9903768]: http://download.csdn.net/detail/leoe_/9903768
[20170608200035529]: /images/20220614/25615e5486d448328f8a791be84a7561.png