selenium点按钮报错_Selenium自动化轻松爬取公众号文章

布满荆棘的人生 2023-10-05 17:26 60阅读 0赞

![3f5c2820d22acc614cf2cb5771ab6a92.png][]

--------------------

大家好，今天我们来讲点 **Selenium** 自动化，你是否有特别喜欢的公众号？你有想过如何将一个公众号历史文章全部文章爬下来学习吗？现在我们就演示用Selenium实现这个功能。

![05ec6d43d7ea49977d6b6cac7e6a9878.gif][]

下面就来详细讲解如何一步步操作，文末附完整代码。

### **Selenium介绍** ###

**Selenium**是一个用于web应用程序**自动化测试**的工具，直接运行在浏览器当中，可以通过代码控制与页面上元素进行交互，并获取对应的信息。Selenium很大的一个优点是：**不需要复杂地构造请求**，访问参数跟使用浏览器的正常用户一模一样，访问行为也相对更像正常用户，不容易被反爬虫策略命中，所见即所得。而且在抓取的过程中，必要时还可人工干预(比如登录、输入验证码等)。

Selenium常常是面对一个严格反爬网站无从入手时的保留武器。当然也有缺点：操作均需要等待页面加载完毕后才可以继续进行，所以速度要慢，效率不高(某些情况下使用headless和无图模式会提高一点效率)。

### **需求分析和代码实现** ###

需求很明确：获取一个公众号全部推文的 **标题**、 **日期**、 **链接**。微信自身的推文功能只能通过其App查看，对App的抓取比较复杂。 有一个很方便的替代途径就是通过 **搜狗微信检索**。不过如果直接使用Requests等库直接请求，会涉及的反爬措施有 cookie 设置， js加密 等等，所以今天就利用Selenium大法！ 首先导入所需的库和实例化浏览器对象：

from selenium import webdriver
    from selenium.webdriver.common.by import By
    from selenium.webdriver.support import expected_conditions as EC
    from selenium.webdriver.support.wait import WebDriverWait
    # 导入第2-4行是为了马上会提到的 显式等待
    import time
    import datetime
    
    driver = webdriver.Chrome()
    driver.get('https://weixin.sogou.com/')

上述的代码就可以实现 **打开搜狗微信搜索**的操作，接下来需要往搜索框里输入文字，并且点击“搜文章”(不直接点搜公众号是因为已经取消通过公众号直接获取相应文章的功能)

![1809e4e6cf266f5b16b1dbf0890f99ab.png][]

wait = WebDriverWait(driver, 10)
    input = wait.until(EC.presence_of_element_located((By.NAME, 'query')))
    input.send_keys('早起Python')
    driver.find_element_by_xpath("//input[@class='swz']").click()

逻辑是设定 **最长等待时间**，在10s内发现了输入框已经加载出来后就输入公众号名称，这里我们以“早起Python”为例，并且根据“搜文章”按钮的xpath获取该位置并点击，这里就用到了 **显式等待**。Selenium请求网页等待响应受到网速牵制，如果元素未加载全而代码执行过快就会意外报错而终止，解决方式是 **等待**。 **隐式等待** 是在尝试发现某个元素的时候，如果没能立刻发现，就等待固定长度的时间 `driver.implicitly_wait(10)` ，显示等待明确了等待条件，只有该条件触发，才执行后续代码，如这里我用到的代码，当然也可以用time模块之间设定睡眠时间，睡完了再运行后续代码。 跳转了下一页后可以发现不是所有的文章都由“早起Python”推送：

![5c4480275eefee85c2f84e646f7e798d.png][]

另外只能获取前10页100条的结果，查看后续页面需要微信扫码登录：

![ddff05a9c779aa47556d5b5a95f1e763.png][]

因此从这里开始，代码的**执行逻辑**为：

*  先遍历前10页100个文章的作者名字，如果不是“早起Python”则跳过，是则获取对应的标题名字、发布日期和链接
 *  第10页遍历完成后自动点击登录，此时需要人工介入，扫码完成登录
 *  代码检测登录是否完成(可以简化为识别“下一页”按钮是否出现)，如果登录完成则继续从11页遍历到最后一页(没有“下一页”按钮)

由于涉及两次遍历则可以将解析信息包装成函数：

num = 0
    
    def get_news():
        global num # 放全局变量是为了给符合条件的文章记序
        time.sleep(1)
        news_lst = driver.find_elements_by_xpath("//li[contains(@id,'sogou_vr_11002601_box')]")
        for news in news_lst:
            # 获取公众号来源
            source = news.find_elements_by_xpath('div[2]/div/a')[0].text
            if '早起' not in source:
                continue
            num += 1
            # 获取文章标题
            title = news.find_elements_by_xpath('div[2]/h3/a')[0].text
            # 获取文章发表日期
            date = news.find_elements_by_xpath('div[2]/div/span')[0].text
            # 文章发表的日期如果较近可能会显示“1天前” “12小时前” “30分钟前”
            # 这里可以用`datetime`模块根据时间差求出具体时间
            # 然后解析为`YYYY-MM-DD`格式
            if '前' in date:
                today = datetime.datetime.today()
                if '天' in date:
                    delta = datetime.timedelta(days=int(date[0]))
                elif '小时' in date:
                    delta = datetime.timedelta(hours=int(date.replace('小时前', ' ')))
                else:
                    delta = datetime.timedelta(minutes=int(date.replace('分钟前', ' ')))
                date = str((today - delta).strftime('%Y-%m-%d'))
            date = datetime.datetime.strptime(date, '%Y-%m-%d').strftime('%Y-%m-%d')
            # 获取url
            url = news.find_elements_by_xpath('div[2]/h3/a')[0].get_attribute('href')
            print(num, title, date)
            print(url)
            print('-' * 10)
    
    for i in range(10):
        get_news()
        if i == 9:
            # 如果遍历到第十页则跳出循环不需要点击“下一页”
            break
        driver.find_element_by_id("sogou_next").click()

接下来就是点击“登录”，然后人工完成扫码，可以利用`while True`检测登录是否成功，是否出现了下一页按钮，如果出现则跳出循环，点击“下一页”按钮并继续后面的代码，否则睡3秒后重复检测：

driver.find_element_by_name('top_login').click()
    while True:
        try:
            next_page = driver.find_element_by_id("sogou_next")
            break
        except:
            time.sleep(3)
    next_page.click()

效果如图：

![76a63d746f5c7f4e51bac4b65ec75c97.png][]

然后就是重新遍历文章了，由于不知道最后一页是第几页可以使用`while循环`反复调用解析页面的函数半点击“下一页”，如果不存在下一页则结束循环：

while True:
        get_news()
        try:
            driver.find_element_by_id("sogou_next").click()
        except:
            break
    
    # 最后退出浏览器即可
    driver.quit()

是不是少了点什么？对，就是数据存储，在爬下来数据之后和之前一样利用`openpyxl`存储到excel中即可(如果不想用此模块的话也可以改用 csv 或者 pandas 保存表格文件)：

![c4928801dd1bddc2d987d0e1c039da10.png][]

现在我们就有了该公众号呢的全部文章标题和URL，还可以使用 Pdfkit 将每一个URL转成PDF格式，本文就不再展开叙述，可以参考之前的文章： 一键下载：将知乎专栏导出成电子书 如果对本次selenium自动化感兴趣的化可以下载源码深入学习，只需修改对应公众号名称就可以使用啦： https://pan.baidu.com/s/1ZDSDF84fOWxJl2UbZU\_L\_Q 密码: 8apj 注1:Selenium浏览器自动化需要依赖ChromeDriver，ChromeDriver要和你电脑上的Chrome版本一致，详细的配置请自行查询 注2:本文代码未考虑火狐浏览器，配置和代码会和Chrome浏览器略有不同

作者：陈熹

来源：早起Python

--------------------

\_往期文章推荐\_

【编程课堂】selenium祖传爬虫利器

--------------------

![27c69f79acc84c9499dfba7d7d634ec9.png][]

[3f5c2820d22acc614cf2cb5771ab6a92.png]: https://img-blog.csdnimg.cn/img_convert/3f5c2820d22acc614cf2cb5771ab6a92.png
[05ec6d43d7ea49977d6b6cac7e6a9878.gif]: https://img-blog.csdnimg.cn/img_convert/05ec6d43d7ea49977d6b6cac7e6a9878.gif
[1809e4e6cf266f5b16b1dbf0890f99ab.png]: https://img-blog.csdnimg.cn/img_convert/1809e4e6cf266f5b16b1dbf0890f99ab.png
[5c4480275eefee85c2f84e646f7e798d.png]: https://img-blog.csdnimg.cn/img_convert/5c4480275eefee85c2f84e646f7e798d.png
[ddff05a9c779aa47556d5b5a95f1e763.png]: https://img-blog.csdnimg.cn/img_convert/ddff05a9c779aa47556d5b5a95f1e763.png
[76a63d746f5c7f4e51bac4b65ec75c97.png]: https://img-blog.csdnimg.cn/img_convert/76a63d746f5c7f4e51bac4b65ec75c97.png
[c4928801dd1bddc2d987d0e1c039da10.png]: https://img-blog.csdnimg.cn/img_convert/c4928801dd1bddc2d987d0e1c039da10.png
[27c69f79acc84c9499dfba7d7d634ec9.png]: https://img-blog.csdnimg.cn/img_convert/27c69f79acc84c9499dfba7d7d634ec9.png