python百度热搜榜爬取

矫情吗；* 2022-12-25 06:57 280阅读 0赞

# terminal中安装库 bs4 requests
    # pip install bs4 requests
    import requests
    from bs4 import BeautifulSoup
    import bs4
    
    def get_html(url,headers):
        r = requests.get(url,headers=headers)
        r.encoding = r.apparent_encoding
        return r.text
    
    
    def get_pages(html):
        global s
        soup = BeautifulSoup(html,'html.parser')
        all_topics=soup.find_all('tr')[1:]
        for each_topic in all_topics:
            #print(each_topic)
            topic_times = each_topic.find('td',class_='last')#搜索指数
            topic_rank = each_topic.find('td',class_='first')#排名
            topic_name = each_topic.find('td',class_='keyword')#标题目
            if topic_rank != None and topic_name!=None and topic_times!=None:
                topic_rank = each_topic.find('td',class_='first').get_text().replace(' ','').replace('\n','')
                topic_name = each_topic.find('td',class_='keyword').get_text().replace(' ','').replace('\n','')
                topic_times = each_topic.find('td',class_='last').get_text().replace(' ','').replace('\n','')
                #print('排名：{}，标题：{}，热度：{}'.format(topic_rank,topic_name,topic_times))
                tplt = "排名：{0:^4}\t标题：{1:{3}^15}\t热度：{2:^8}"
                print(tplt.format(topic_rank,topic_name,topic_times,chr(12288)))
                s=s+topic_name.replace('search','')+'\n'
    
    
    
    url = 'http://top.baidu.com/buzz?b=1&fr=20811'
    headers= {
        'User-Agent':'Mozilla/5.0'}
    html = get_html(url,headers)
    s = ''
    get_pages(html)
    with open('百度热榜.txt','w',encoding='utf-8') as f:
        f.write(s)

发表评论取消回复

表情：

评论列表（有 0 条评论，280人围观）

还没有评论，来说两句吧...

相关阅读

相关 python爬取百度图片

1.查询数据打开网页。 [https://cn.bing.com/images/search?q=%E7%99%BE%E5%BA%A6%E5%9B%BE%E7%89%

绝地灬酷狼/ 2024年02月28日 01:14/ 0 赞/ 85 阅读

相关如何爬取百度热榜，百度热榜可以抓取吗

如何[爬取百度热榜][Link 1] 首先是设计方案一、设计方案 1.爬虫名称：爬取百度热榜 2.爬取内容：爬取网页热搜排名，标题，热度值。 3.方案概述：访问

「爱情、让人受尽委屈。」/ 2023年10月05日 09:49/ 0 赞/ 30 阅读

相关 python爬取百度图片

话不多说，上代码！ import re import requests from urllib import error from bs4

向右看齐/ 2023年07月01日 07:30/ 0 赞/ 30 阅读

相关 python百度热搜榜爬取

terminal中安装库 bs4 requests pip install bs4 requests import requests fro

矫情吗；*/ 2022年12月25日 06:57/ 0 赞/ 281 阅读

相关 python爬取知乎热榜Top50

python爬取知乎热榜Top50 1、导入第三方库 2、程序的主函数 3、正则表达式匹配数据 4、程序运行结果 5、程序源代码 1、导

淡淡的烟草味﹌/ 2022年11月12日 04:21/ 0 赞/ 293 阅读

相关【爬虫】python爬取微博热搜榜top50

1.说明微博热搜很有用，不用登录可以访问网页版[https://s.weibo.com/top/summary][https_s.weibo.com_top_summa

待我称王封你为后i/ 2022年08月30日 05:30/ 0 赞/ 380 阅读

相关 Python 爬取百度音乐

-------------------- Python：3.5 欢迎加入学习交流QQ群：657341423 -------------------- 获取歌曲信息

曾经终败给现在/ 2022年06月08日 00:18/ 0 赞/ 313 阅读

相关 Python 爬取百度图片

百度图片抓包数据: ![SouthEast][] 参数详情: ![SouthEast 1][] 数据解析: ![SouthEast 2][] ![South

不念不忘少年蓝@/ 2022年06月05日 09:25/ 0 赞/ 387 阅读

相关 PHP爬取百度热歌

使用php扩展curl爬取百度热歌单曲要求PHP扩展CURL 爬虫主要是运用正则技术 <?php / 抓取网站链接（http://music.

快来打我*/ 2022年02月23日 02:44/ 0 赞/ 230 阅读

相关用python爬虫爬取知乎热榜

用python爬虫爬取知乎热榜话不多说，直接上代码！ import requests import re from lxml import e

今天药忘吃喽~/ 2021年07月27日 00:57/ 0 赞/ 618 阅读