Python爬虫实战演练：爬取微博大V的评论数据

柔光的暖阳◎ 2022-12-27 11:05 70阅读 0赞

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

以下文章来源于IT共享之家 ，作者： IT共享者

![1d5999491307aa0207f5dca00d778afc.png][]

# 理论篇 #

![90410d619eb05904b4da2af348818679.png][]

试想一个问题，如果我们要抓取某个微博大V微博的评论数据，应该怎么实现呢？最简单的做法就是找到微博评论数据接口，然后通过改变参数来获取最新数据并保存。首先从微博api寻找抓取评论的接口，如下图所示。

![f971ba4391e9575fbb638e2d7c7a9481.png][]

但是很不幸，该接口频率受限，抓不了几次就被禁了，还没有开始起飞，就凉凉了。

![051aafea2dd7bd4252de3e2e3a14a1a5.png][]

接下来小编又选择微博的移动端网站，先登录，然后找到我们想要抓取评论的微博，打开浏览器自带流量分析工具，一直下拉评论，找到评论数据接口，如下图所示。

![d26f2ab404cbea41fbd40f93c40de68c.png][]

之后点击“参数”选项卡，可以看到参数为下图所示的内容：

![d97e8f1ee7781b3dfdcc4e12724078ad.png][]

可以看到总共有4个参数，其中第1、2个参数为该条微博的id，就像人的身份证号一样，这个相当于该条微博的“身份证号”，max\_id是变换页码的参数，每次都要变化，下次的max\_id参数值在本次请求的返回数据中。

![fa64751ad372b4b791fa17cb0a6fee49.png][]

# 实战篇 #

有了上文的基础之后，下面我们开始撸代码，使用Python进行实现。

![a84bb58308afdcfd805c1a968d3bcbda.png][]

1、首先区分url，第一次不需要max\_id,第二次需要用第一次返回的max\_id。

![0b065090ffb04293ced13c4494b212ef.png][]

2、请求的时候需要带上cookie数据，微博cookie的有效期比较长，足够抓一条微博的评论数据了，cookie数据可以从浏览器分析工具中找到。

![fc63d8084534c735beae64531ae4b17a.png][]

3、然后将返回数据转换成json格式，取出评论内容、评论者昵称和评论时间等数据，输出结果如下图所示。

![0b194bc2deebdf9ef4b553614ad08a1c.png][]

4、为了保存评论内容，我们要将评论中的表情去掉，使用正则表达式进行处理，如下图所示。

![1c058b7b847af13d8dce4f49e5b95faf.png][]

5、之后接着把内容保存到txt文件中，使用简单的open函数进行实现，如下图所示。

![edc988a7d03a9e183184118e75bae7e3.png][]

6、重点来了，通过此接口最多只能返回16页的数据（每页20条），网上也有说返回50页的，但是接口不同、返回的数据条数也不同，所以我加了个for循环，一步到位，遍历还是很给力的，如下图所示。

![50c50e8e9feb4b7eb1814331dd28f38e.png][]

7、这里把函数命名为job。为了能够一直取出最新的数据，我们可以用schedule给程序加个定时功能，每隔10分钟或者半个小时抓1次，如下图所示。

![7fbd30ca129c7ee86d9d26a8db84e83f.png][]

8、对获取到的数据，做去重处理，如下图所示。如果评论已经在里边的话，就直接pass掉，如果没有的话，继续追加即可。

![15c87e1bd1e6f7bdc62948d565d6c731.png][]

这项工作到此就基本完成了。

[1d5999491307aa0207f5dca00d778afc.png]: /images/20221120/aa281b3b9ce9447d906f434f4c1bbaae.png
[90410d619eb05904b4da2af348818679.png]: /images/20221120/bb0acd7eec134f2cae309576d8f333c0.png
[f971ba4391e9575fbb638e2d7c7a9481.png]: https://img-blog.csdnimg.cn/img_convert/f971ba4391e9575fbb638e2d7c7a9481.png
[051aafea2dd7bd4252de3e2e3a14a1a5.png]: https://img-blog.csdnimg.cn/img_convert/051aafea2dd7bd4252de3e2e3a14a1a5.png
[d26f2ab404cbea41fbd40f93c40de68c.png]: https://img-blog.csdnimg.cn/img_convert/d26f2ab404cbea41fbd40f93c40de68c.png
[d97e8f1ee7781b3dfdcc4e12724078ad.png]: https://img-blog.csdnimg.cn/img_convert/d97e8f1ee7781b3dfdcc4e12724078ad.png
[fa64751ad372b4b791fa17cb0a6fee49.png]: https://img-blog.csdnimg.cn/img_convert/fa64751ad372b4b791fa17cb0a6fee49.png
[a84bb58308afdcfd805c1a968d3bcbda.png]: https://img-blog.csdnimg.cn/img_convert/a84bb58308afdcfd805c1a968d3bcbda.png
[0b065090ffb04293ced13c4494b212ef.png]: https://img-blog.csdnimg.cn/img_convert/0b065090ffb04293ced13c4494b212ef.png
[fc63d8084534c735beae64531ae4b17a.png]: https://img-blog.csdnimg.cn/img_convert/fc63d8084534c735beae64531ae4b17a.png
[0b194bc2deebdf9ef4b553614ad08a1c.png]: https://img-blog.csdnimg.cn/img_convert/0b194bc2deebdf9ef4b553614ad08a1c.png
[1c058b7b847af13d8dce4f49e5b95faf.png]: https://img-blog.csdnimg.cn/img_convert/1c058b7b847af13d8dce4f49e5b95faf.png
[edc988a7d03a9e183184118e75bae7e3.png]: https://img-blog.csdnimg.cn/img_convert/edc988a7d03a9e183184118e75bae7e3.png
[50c50e8e9feb4b7eb1814331dd28f38e.png]: https://img-blog.csdnimg.cn/img_convert/50c50e8e9feb4b7eb1814331dd28f38e.png
[7fbd30ca129c7ee86d9d26a8db84e83f.png]: https://img-blog.csdnimg.cn/img_convert/7fbd30ca129c7ee86d9d26a8db84e83f.png
[15c87e1bd1e6f7bdc62948d565d6c731.png]: https://img-blog.csdnimg.cn/img_convert/15c87e1bd1e6f7bdc62948d565d6c731.png