爬虫---爬取公众号内容

╰+哭是因爲堅強的太久メ 2023-08-17 17:26 128阅读 0赞

前面写都是抓取一些网站上的数据，今天工作提前完成了，闲来无事写一篇如何抓取公众号数据。

# 爬取公众号 #

常见的爬取公众号有3种方法

1、通过抓包获取公众号数据（app端）

2、通过抓包获取公众号数据（PC端）

3、通过搜狗搜索公众号（目前只能显示前10篇文章）

今天写的是通过抓取PC端数据获取公众号内容。

# 抓取思路 #

### 1、选择需要抓取的公众号链接 ###

通过PC端微信选择需要抓取的公众号

![1171635-20190730172543775-2021886337.png][]

### 2、分析公众号数据格式 ###

通过fiddler查看请求信息

![1171635-20190730172730036-246441409.png][]

发现我们请求的地址为：https://mp.weixin.qq.com/mp/profile\_ext? 后面的为参数

这里会引入一个新的知识点Ajax。

通过分析数据得到（如何分析Ajax方法，下一篇单独写）

\_\_biz : 用户和公众号之间的唯一id，

uin ：用户的私密id

key ：请求的秘钥，一段时候只会就会失效。

offset ：数量

count ：每次请求的条数

### 3、通过requests请求获取数据 ###

import requests
    # 请求地址
    url = 'https://mp.weixin.qq.com/mp/profile_ext?'
    # 添加请求头
    headers = {
                'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'
    }
    # 请求参数
    params={
      '__biz': 'MjM5NDAwMTA2MA==',
            'uin': 'MTczODIyNzg3Nw==',
            'key': 'f0a7c0779e79e92b25b1a3f8779ec559b50f247ff4dd1ece070c17dd08d9dbdc602bbd8c5837e4b68c252507ac45796c2f928b87d1cdfdbd2852c1b48f9e019806524a1c8d633b8886c30d48f6a82a8c',
            'offset': 0,
            'count': 10,
            'action': 'getmsg',
            'f': 'json'
    }
    # 获取请求的json格式
    r = requests.get(url,headers=headers,params=params,verify = False).json()

### 4、解析请求数据获取我们想要内容 ###

下图为我们想要的数据公众号的名称，链接，图片等

**![1171635-20190730174350783-418544693.png][]**

通过json格式解析返回的json数据，拿到我们想要的数据

msg_list = json.loads(r['general_msg_list'])
    list = msg_list.get('list')
    for i in list:
        info_list = i['app_msg_ext_info']
        # 获取标题
        title = info_list['title']
        print(title)
        # 链接
        content_url = info_list['content_url']
        print(content_url)
        #发布时间
        datetime_list = i['comm_msg_info']['datetime']
        datetime = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(datetime_list))
        print(datetime)

请求结果：获取到了公众号的标题，公众号好的链接，公众号号的发布时间

![1171635-20190730175348404-800121745.png][]

这个地方也可以通过模拟url链接信息，然后获取全部数据，也可以再次请求公众号详情数据获取公众号发布的内容

###  5、分析分页规律，获取全部公众号全部文章信息 ###

通过分析发现控制分页的的是 offset 和 count 两个参数，通过观察发现规律，获取全部连接数据

# 这里模拟抓取5页的数据
    for i in range(0,5):
        print('开始抓取第%s页数据'%(i+1))
        params={
          '__biz': 'MjM5NDAwMTA2MA==',
                'uin': 'MTczODIyNzg3Nw==',
                'key': 'f0a7c0779e79e92b25b1a3f8779ec559b50f247ff4dd1ece070c17dd08d9dbdc602bbd8c5837e4b68c252507ac45796c2f928b87d1cdfdbd2852c1b48f9e019806524a1c8d633b8886c30d48f6a82a8c',
                'offset': (i*10)+122,
                'count': (i*10)+10,
                'action': 'getmsg',
                'f': 'json'
        }

![1171635-20190730204353195-1229278325.png][]

# 实例代码 #

# coding:utf-8
    import requests
    import json
    import urllib3
    import time
    urllib3.disable_warnings()
    # 请求地址
    url = 'https://mp.weixin.qq.com/mp/profile_ext?'
    # 添加请求头
    headers = {
                'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'
    }
    # 请求参数
    for i in range(0,5):
        print('开始抓取第%s页数据'%(i+1))
        params={
          '__biz': 'MjM5NDAwMTA2MA==',
                'uin': 'MTczODIyNzg3Nw==',
                'key': 'f0a7c0779e79e92b25b1a3f8779ec559b50f247ff4dd1ece070c17dd08d9dbdc602bbd8c5837e4b68c252507ac45796c2f928b87d1cdfdbd2852c1b48f9e019806524a1c8d633b8886c30d48f6a82a8c',
                'offset': (i*10)+122,
                'count': (i*10)+10,
                'action': 'getmsg',
                'f': 'json'
        }
        # 获取请求的json格式
        r = requests.get(url,headers=headers,params=params,verify = False).json()
        msg_list = json.loads(r['general_msg_list'])
        list = msg_list.get('list')
        for i in list:
            info_list = i['app_msg_ext_info']
            # 获取标题
            title = info_list['title']
            print(title)
            # 链接
            content_url = info_list['content_url']
            print(content_url)
            #发布时间
            datetime_list = i['comm_msg_info']['datetime']
            datetime = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(datetime_list))
            print(datetime)

**感觉写的对您有帮助的话，点个关注，持续更新中~~~~坚持每天学习2小时**

转载于:https://www.cnblogs.com/qican/p/11271760.html

[1171635-20190730172543775-2021886337.png]: /images/20230808/ef53a896a08e42d39ab33b1c0355298a.png
[1171635-20190730172730036-246441409.png]: /images/20230808/91fbf3d2b1d7469687aa279700de6aa9.png
[1171635-20190730174350783-418544693.png]: /images/20230808/f6bb9d5d13824ee0bfb73acc9f75ece8.png
[1171635-20190730175348404-800121745.png]: /images/20230808/da1ba50f426d42808b02aec520044cd3.png
[1171635-20190730204353195-1229278325.png]: /images/20230808/f3780280738a4000af8d216dd43b7f28.png