微博位置爬虫发布

爱被打了一巴掌 2022-09-11 13:30 204阅读 0赞

微博数据分析经常需要和地理位置相关联，比如查看某一话题下发博人员地理分布，或者用户爬虫下某人轨迹分布，等等；而这次的微博位置爬虫则是直接以位置为切入点爬取微博，只需要输入一个地名，就能抓取在该地点发过的微博具体信息，表结构类似话题爬虫。

这个位置爬虫的结果可以和用户信息爬虫联动，比如有这样一个分析任务：去北京环球影城的人，都发了什么微博，男生多还是女生多，年龄群体分布怎么样，等等。都可以先用这个微博位置爬虫，爬完后的 csv 交给用户信息爬虫处理即可。

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5pyI5bCP5rC06ZW_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center]

闲话不多说，首先在 公众号 **月小水长** 后台回复 **微博位置爬虫** 获取 pyd 文件（only for python3.6 64 bit)，然后在新建一个 py 文件，引用这个 pyd 文件即可

from WeiboLocationSpider import WeiboLocationSpider
    
    if __name__ == '__main__':
        WeiboLocationSpider(location_title='北京环球影城',
                            cookie='改成你自己的 cookie',
                            save_image=False)

首先是三个参数介绍，字面意思，第一个就是你要爬的地名，必选；

cookie 也是必选，如果不想在参数这指定，也可以新建个 cookie.json 文件，里面是如下形式

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5pyI5bCP5rC06ZW_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 1]

怎么获取这个 cookie 呢，打开下面这个网址(随便一个位置聚合页面都可) Chrome F12 Network Header 即可

> https://weibo.com/p/100101B2094654D36EA5FF459E

第三个非必选，意思是保存爬取到的微博的图片，并且是微博原图，清晰度比较高，所以下载比较慢，所以为了快速抓取，默认值为 False，不保存，想要保存的话指定为 True 即可；河南暴雨超话时，很多信息是通过图片发布的，所以图片信息也很重要，可以通过 OCR 技术提取出文本，尝试了下，由于该微博保存的图片是原图，图片里面的文本信息几乎都能解析出来。

如果 save\_image 设置为 True，图片保存如下：

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5pyI5bCP5rC06ZW_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 2]

一个地点无论大小，最多只能爬到四位数左右的微博数据，想要爬到更多怎么办，可以拆分成很多小地点，比如爬北京，你可以改成海淀区、朝阳区等等，或者把海淀区按照街道再细分，这样就能爬到更多的位置微博数据。

这个位置爬虫报错会有一些提示信息，如果出现 List IndexError，则一般是需要换 cookie 了，报错会同时保存配置信息，比如当前爬到哪一页了，换了 cookie 后可以继续爬取，配置信息格式如下，

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5pyI5bCP5rC06ZW_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 3]

一般来说，这个配置文件不需要人为修改，page = 15 表示当前爬到第 15 页了；

你可能会好奇为什么会有个 neighborhoods 字段，它保存的是当前爬取地点的附近地点信息，根据 less is more 原则，我设计时附近地点并不是自动抓取，如果想要抓取，需要做以下修改

*  用想要抓取附近地点的 place\_name 替代 location，比如 location 值改成 北京环球影城主题乐园
 *  location 同级新增一个 page\_root\_url 字段，取值为上一步 place\_name 对应的 place\_url
 *  把 page 改成 1

如图

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5pyI5bCP5rC06ZW_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 4]

在做这些修改之前，建议先把自动生成的配置文件备份一下。

有问题留言即可，可以先自查一下。

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5pyI5bCP5rC06ZW_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center]: /images/20220828/6047de67dd4d48af8146a7ad9a2124a2.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5pyI5bCP5rC06ZW_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 1]: /images/20220828/b4f3ff7a0a824672ae776effed54e5a2.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5pyI5bCP5rC06ZW_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 2]: /images/20220828/a9679367c21e4ef99badfb592a1a67ff.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5pyI5bCP5rC06ZW_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 3]: /images/20220828/a9bea6f7c0524b19b02469615c50e073.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5pyI5bCP5rC06ZW_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 4]: /images/20220828/42d35923e8c443f6984087f6fac9bc3a.png