微信公众号爬虫（综合解决方案）

向右看齐 2022-01-30 02:27 2623阅读 0赞

# 最终解决方案 #

通过[搜狗微信][Link 1]先检索公众号，获取公众号主页链接，接着爬每一篇具体文章，具体用selenium实现，当然你也可以用webkit、Geoko渲染引擎自己去渲染。用selenium、webkit、Geoko能省去分析网页Js Ajax部分加载逻辑。关于selenium的一些常用操作，后续抽个时间单独写一篇博文儿～。

一般公司内部会部署自己爬虫平台，通过代理池能最终解决此问题，当然也可以用免费开源项目[IPProxyPool][]利用免费爬到的IP构建代理池。在没有用代理池遇到验证码反爬措施时，我们自动识别并填写并维护一个cookie池，即能降低验证码出现的频率。

遇到验证码时的理想状态是自动识别，可通过购买现成接口或自己用CNN训练个模型。本文用的是人肉识别手动填写…

# 难点 #

1.  通过[公众号检索页面][Link 2]检索时，超过一定次数后就会出现验证码。
2.  公众号主页的链接URL会失效。
3.  通过[搜狗微信][Link 1]平台检索出的结果页面HTML数据中，匹配到的公众主页URL不能直接而访问，直接访问会被反爬措施限制，需要经过js处理生成最终的请求URL才能访问(抓包的结果是最终的请求URL)。

# 现有解决方案 #

1.  Charles移动端、PC端抓包，获取公众号主页加密链接，再后续爬取。但得到的链接可能会失效，失效后还是需要人工手动去分析抓包结果，提取URL，无法做到自动化工程级别的微信爬虫。
2.  登录自己公众号，通过“检索功能”爬取其他公众号的文章。但检索有上限，500篇一天。
3.  八爪鱼模板傻瓜抓取。但高级功能收费，同样无法实现工程级别的部署，玩玩还是可以的 。
4.  自动化测试工具(如Airtest，基于图像识别和poco控件识别的一款UI自动化测试工具）网易团队刚出的，挺新奇，移动端、PC都能抓，有些许bug，可以当做code版免费八爪鱼。同样不太适用于工程级别的部署。

# 遇到验证码的解决办法 #

正确的解决办法是识别并破解，但这里我们可以直接通过selenium截图保存本地，人肉识别并把结果输入值CommandLine，再把cookie记录下来维护个cookie池，以后换着用。不过这并不是一个永久的解决方法，只不过苦于时间紧迫，没时间去整验证码识别相关的东西，大家有时间可以学习下[CNN训练验证码识别模型][CNN]。如下实现思路是，判断返回页面中是否存在验证码，若有则down到本地，识别后命令行输入。

from splinter import Browser
    from selenium import webdriver
    def get_html(url):
        with Browser("chrome", incognito=True,
                     headless=True) as browser:
            browser.driver.set_page_load_timeout(400)
            browser.driver.set_window_size(1200, 900)
            browser.visit(url)
    
            if "验证码" in browser.html:
                now = datetime.datetime.now()
                isValidCode = False
                while isValidCode != True:
                    # screen shot
                    browser.screenshot("/home/jiangbowen/wechat_identifying_code/codeToBeDealWith%s.png" % now)
                    # manually input code
                    code = input("你gg了, please inpute code:")
                    code_imput = browser.find_by_id("seccodeInput")
                    code_imput[0].click()
                    code_imput[0].fill(code)
                    submit_btn = browser.find_by_id("submit")
                    time.sleep(3)
    
                    code_imput[0].click()
                    time.sleep(1)
                    code_imput[0].fill(code)
                    browser.screenshot("/home/jiangbowen/wechat_identifying_code/afterFillingCode%s.png" % now)
                    time.sleep(1)
                    submit_btn[0].click()
                    # be careful
                    time.sleep(7)
                    browser.screenshot("/home/jiangbowen/wechat_identifying_code/afterclick%s.png" % now)
    
                    print(browser.driver.current_url)
                    return browser.html
            return browser.html

**特别提醒：**  
在模拟填入验证码并点击提交后，需要我们等待一段时间，用于留给微信后端验证，此过程较长，建议5s以上（填了很久才发现这个鬼原因）。否则通过browser.driver.current\_url获取到的仍然是验证页面的URL，而不是我们想要的检索页面。

每一步的ScreenShot如下：  
![在这里插入图片描述][20190517201140635.png]  
可以看到验证成功！  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3doZHhqYnc_size_16_color_FFFFFF_t_70]

# 保存Cookie的操作（建立Cookie池，略过此步亦可） #

用pickle来实现cookie的存取，注意**selenium在设置Cookie时需要先加载网站**：  
Login成功后保存Cookie：

import pickle
    
    # save cookie after login
    cookiess = browser.driver.get_cookies()
    # overwrite
    if not os.path.exists(LOCAL_COOKIE_PATH):
        os.mkdir(LOCAL_COOKIE_PATH)
    pickle.dump(cookiess, open(LOCAL_COOKIE_FILE, "wb"))

请求前读取Cookie：

LOCAL_COOKIE_PATH = "./cookies"
    LOCAL_COOKIE_FILE = "./cookies/cookie_qingbo.pkl"
    
    # add cookie
    try:
        # we should load website firstly
        browser.driver.get("weixin.sogou.com")
        loc_cookies = pickle.load(open(LOCAL_COOKIE_FILE, "wb"))
        browser.driver.delete_all_cookies()
    
        for cookie in loc_cookies:
            cookie_dict = { }
            cookie_dict['httpOnly'] = cookie.get('httpOnly')
    		# set other cookie items
            browser.driver.add_cookie(cookie_dict)
    
        browser.driver.refresh()
    
    except Exception as e:
        print("cookie parse error")

# 具体解析微信文章 #

根据公众号主页URL获取该页面下所有的文章Title与URL：

def get_titleurls_by_account_homepage_url(account_home_url):
        """ get_titles_urls_by_account_home_url :param account_home_url: public account home page's url :return: list of tuple (title, url) """
        main_page_html = get_html(account_home_url)
        account_name_reg = r"(?<=<title>)([\s\S]*?)(?=</title>)"
        url_title_reg = r"<div class=\"weui_media_bd\">([\s\S]*?)</h4>"
        url_sub_reg = r"(?<= hrefs=\")([\s\S]*?)(?=\">)"
        title_sub_reg = r"=\">([\s\S]*?)(?=</h4>)"  # need to remove top 3 char
    
        account_name = re.findall(account_name_reg, main_page_html)[0]
        url_title_arr = re.findall(url_title_reg, main_page_html)
    
        title_url_list = []
        for url_title in url_title_arr:
            article_url = "https://mp.weixin.qq.com" + re.findall(url_sub_reg ,url_title)[0].replace(";" ,"&")
            # remove <span> tag
            article_title = re.sub(r"(?=<span)[\s\S]*?</span>", '', url_title).strip()
            # remove HTML tags
            article_title = re.sub(r"<[^>]+>", '', article_title).strip()
            # remove blank
            article_title = re.sub(r"\n* * * *", '', article_title).strip()
    
            title_url_list.append((article_title, article_url))
        return title_url_list

# 根据公众号文章链接解析内容 #

def scrape_url_content(url, title, account_name):
        """ get wechat article detail content :param url: url """
        html = get_html(url)
        article = { }
    
        try:
            publish_time = re.findall(r"(?<=publish_time = \")[\s\S]*?(?=\")", html)[0]
            # Html that we care about
            tmp = re.findall('(?<=js_content">)[\s\S]*?(?=<script nonce)', html)[0]
            # remove html tag except <img>
            tmp = re.sub(r"<(?!img)[^>]*>", '', tmp)
            # tmp = re.sub(r"(<(?!/?(p|img|span)(\s|>))[^>]*>)", '', tmp) # except p/img/span
            # remove blank
            tmp = re.sub(r"\n* * * *", '', tmp)
            # remove <i> tags
            tmp = re.sub(r"<i [\w].*?>", '', tmp)
            cleaned_content_html = tmp
        except Exception as e:
            return
    
        article["body"] = cleaned_content_html
        article["title"] = title
        article["source"] = account_name
        article["publish_time"] = publish_time
    
        return article

# 最终效果： #

**图片会保留原始标签，大家可自行处理。**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3doZHhqYnc_size_16_color_FFFFFF_t_70 1]

[Link 1]: https://weixin.sogou.com/
[IPProxyPool]: https://github.com/qiyeboy/IPProxyPool
[Link 2]: https://weixin.sogou.com/weixin?type=1&s_from=input&query=%E6%9C%BA%E5%99%A8%E4%B9%8B%E5%BF%83
[CNN]: https://github.com/nickliqian/cnn_captcha
[20190517201140635.png]: /images/20220130/c7a028f1b8b74c908c01bfd6f717f6c9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3doZHhqYnc_size_16_color_FFFFFF_t_70]: /images/20220130/35c9d853750b455ab454c45bc398b87e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3doZHhqYnc_size_16_color_FFFFFF_t_70 1]: /images/20220130/7b4155713ef544f4813ba1b2b1a8ed69.png