【爬虫】python爬取微博热搜榜top50

待我称王封你为后i 2022-08-30 05:30 379阅读 0赞

#### 1.说明 ####

微博热搜很有用，不用登录可以访问网页版[https://s.weibo.com/top/summary][https_s.weibo.com_top_summary]，我们可以通过requests爬取下来并且整理。请注意，我们要有良好的觉悟，不要随意爬取增加微博服务器压力，以下代码仅供学习

#### 2.代码 ####

from lxml import etree
    import requests
    
    def get_weibo_top():
        url = "https://s.weibo.com/top/summary?cate=realtimehot"
        request = requests.get(url)
        html = etree.HTML(request.text)
        nodes = html.xpath("//div[@class='data']/table/tbody/tr")
        all_hot_list = []
        for tr_node in nodes[1:]:
            rank_top = tr_node.xpath('./td[1]/text()')[0]
            if not rank_top or not rank_top.isdigit():
                continue
            keyword = tr_node.xpath('./td[2]/a/text()')[0]
            search_nums = tr_node.xpath('./td[2]/span/text()')[0]
            search_url = "https://s.weibo.com" + tr_node.xpath('./td[2]/a/@href')[0]
            hot_object = { 
                "rank_top": rank_top,
                "keyword": keyword,
                "search_nums": search_nums,
                "search_url": search_url
            }
            all_hot_list.append(hot_object)
        return all_hot_list
    
    if __name__ == '__main__':
        print(get_weibo_top())

[https_s.weibo.com_top_summary]: https://s.weibo.com/top/summary

发表评论取消回复

表情：

评论列表（有 0 条评论，379人围观）

还没有评论，来说两句吧...

相关阅读

相关【互联网有记忆】爬取微博热搜榜并存入数据库（python爬虫+存储过程后端实现）

一、爬虫代码 import random, time import requests, re import datetime import

淡淡的烟草味﹌/ 2023年07月18日 06:23/ 0 赞/ 12 阅读

相关 python百度热搜榜爬取

terminal中安装库 bs4 requests pip install bs4 requests import requests fro

矫情吗；*/ 2022年12月25日 06:57/ 0 赞/ 280 阅读

相关 python爬取知乎热榜Top50

python爬取知乎热榜Top50 1、导入第三方库 2、程序的主函数 3、正则表达式匹配数据 4、程序运行结果 5、程序源代码 1、导

淡淡的烟草味﹌/ 2022年11月12日 04:21/ 0 赞/ 292 阅读

相关微博热搜榜html源码,几行代码完成微博热搜榜爬虫

每天微博热搜都在不定时的变，通过抓取热搜数据，可以方便我们知道每天的热搜内容。 python的几行代码就能简单爬取到热搜的数据。 1.数据抓取首先，我们得知道微博热搜内

柔光的暖阳◎/ 2022年10月06日 10:46/ 0 赞/ 549 阅读

相关 JAVA——微博热搜爬虫

源代码：https://gitee.com/my-zstu/myzstu/blob/develop/myzstu-spyder/src/main/java/club/zstuc

小鱼儿/ 2022年09月08日 14:50/ 0 赞/ 217 阅读

相关从零到一学爬虫-爬取微博热搜示例

爬取微博热搜榜-简单示例使用爬虫模拟浏览器向微博热搜的服务器发送请求，得到响应，然后将响应的信息进行打印。当我们直接打开浏览器，输入https://s.weibo

迷南。/ 2022年09月08日 00:16/ 0 赞/ 295 阅读

相关【爬虫】python爬取微博热搜榜top50

1.说明微博热搜很有用，不用登录可以访问网页版[https://s.weibo.com/top/summary][https_s.weibo.com_top_summa

待我称王封你为后i/ 2022年08月30日 05:30/ 0 赞/ 380 阅读

相关 Python网络爬虫-爬取微博热搜

微博热搜的爬取较为简单，我只是用了lxml和requests两个库　　url=[https://s.weibo.com/top/summary?Refer=top\_hot

雨点打透心脏的1/2处/ 2022年01月07日 08:37/ 0 赞/ 383 阅读

相关 node puppeteer爬虫，爬取微博热搜数据

> 确保自己熟练使用async与await以及分析dom结构 `npm i puppeteer` 在node引用 const puppeteer = requ

刺骨的言语ヽ痛彻心扉/ 2021年10月01日 11:20/ 0 赞/ 446 阅读

相关用python爬虫爬取知乎热榜

用python爬虫爬取知乎热榜话不多说，直接上代码！ import requests import re from lxml import e

今天药忘吃喽~/ 2021年07月27日 00:57/ 0 赞/ 618 阅读