python爬虫难度排行_python爬虫全国最低气温排行

缺乏、安全感 2022-10-28 00:51 157阅读 0赞

![2ff34e647e2e3cdfd8dca593e17d9b0a.png][]

总述

爬取中国天气网中各省份，各城市的最低气温，并且对爬取的数据进行排序以及数据可视化。

分析html结构

映入眼帘的是一个名为conMidtab2的div盒子，这个盒子里放了一张表格，表格正文tbody里放了十多

个表行tr，每个tr中有几个标准单元格td。下面的div盒子结构完全一致，不再分析，结合下图：

我们知道，一个tbody中的第3个tr中的第1个td与第2个td中 ，分别存放着省份信息与第1个城市信息；

第4个tr中的第1个td中存放着第2个城市的信息；注意第1个城市的特殊情况！

![97eb7324ea536bbf80e74ad57ba2bbd6.png][]

![24c8e392a5ac881722c8b0eb39679847.png][]

requests & BeautifulSoup

1.requests

requests 是基于urllib的开源HTTP库

我们首先定制header，模拟浏览器访问网站

键入 r = requests.get('http://jueluo.xin')获取一个网页，键入 r.text 获取网页内容

2.BeautifulSoup

BeautifulSoup是一个从HTML或者XML中提取数据的python库。

键入conMidtab = soup.find('div', class\_='conMidtab')

搜索第一个带有 conMidtab 属性的div标签。

键入 conMidtab2\_list = conMidtab.find\_all('div', class\_='conMidtab2')

搜索所有带有conMidtab2属性的div标签

获取省份与城市

通过for循环遍历BeautifulSoup获取到的conMidtab2\_list数据

键入 tr\_list = x.find\_all('tr')\[2:\] 查找第三个及其以后的tr

再对tr\_list进行遍历，这里按照上面分析分为两类。，即第3个tr中第1个td是省份，第2个td是城市，

第8个td是最低气温；第4个tr及其以后tr中第1个td是城市；

![4971f34b8aaa4a8279a8893a1940b331.png][]

排序

使用sorted对爬取得到的各省份各城市的最低气温进行排序

键入 SORTED\_TEMPERATURE\_LIST = sorted(TEMPERATURE\_LIST, key=lambda x: (int(x\['min'\])))

为了展示需要，这里我只选择前20低的数据进行数据可视化

TOP20\_TEMPERATURE\_LIST = SORTED\_TEMPERATURE\_LIST\[0:20\]

数据可视化

选取排序后的20个数据进行数据可视化，我采取柱状图

bar = Bar('主标题','副标题')

bar.add("tem", 横坐标值, 纵坐标值, is\_more\_utils=True )

键入 bar.show\_config()

bar.render()

返回一个html在你的文件夹里

![9ad0c01482cac2b28114c1bcfadd3367.png][]

点击即可看见图表

![5de392616812af21b2e8bc89cb1df5bb.png][]

源码

[2ff34e647e2e3cdfd8dca593e17d9b0a.png]: /images/20221024/1a20db554864469a82725fa3e60fac78.png
[97eb7324ea536bbf80e74ad57ba2bbd6.png]: /images/20221024/7b9826d08f6742b8acdbddf34d058b07.png
[24c8e392a5ac881722c8b0eb39679847.png]: /images/20221024/450a4ea4c27b459cbde6269687947994.png
[4971f34b8aaa4a8279a8893a1940b331.png]: /images/20221024/40735dc581bd4ffa802faec71f8fd5fe.png
[9ad0c01482cac2b28114c1bcfadd3367.png]: /images/20221024/72a2b5d454d74b2e8d8a1ec4baaffff9.png
[5de392616812af21b2e8bc89cb1df5bb.png]: /images/20221024/fa91f526b3cc42a8941bfeaf12ba5f1b.png

发表评论取消回复

表情：

评论列表（有 0 条评论，157人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python爬虫新手入门教学（一）：爬取豆瓣电影排行信息

前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 Python爬虫、数据分析、网站开发等案例教程视频免费在线观

雨点打透心脏的1/2处/ 2023年01月10日 10:17/ 0 赞/ 247 阅读

相关 python爬虫

!/usr/bin/env python -- encoding: utf-8 -- ''' @File : csdn.py @Time : 2019

待我称王封你为后i/ 2022年12月13日 04:35/ 0 赞/ 148 阅读

相关 python爬虫难度排行_python爬虫全国最低气温排行

![2ff34e647e2e3cdfd8dca593e17d9b0a.png][] 总述爬取中国天气网中各省份，各城市的最低气温，并且对爬取的数据进行排序以及数据可视化。

缺乏、安全感/ 2022年10月28日 00:51/ 0 赞/ 158 阅读

相关 Python爬虫 | Selenium爬取当当畅销图书排行

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤江汉曾为客，相逢每醉还。 ![6

旧城等待，/ 2022年10月12日 01:50/ 0 赞/ 41 阅读

相关 Python爬虫

爬虫能做什么？采集网络数据自动化测试做一些萝莉手动的操作（帮人投票、12306抢票、微信聊天助手-itchat）-有操作浏览器的库去操作浏览器帮我们访

川长思鸟来/ 2022年09月05日 00:18/ 0 赞/ 250 阅读

相关 python 爬虫

_ coding:utf-8 _ 开发团队:中国软件开发团队开发人员:Administrator 开发时间:2019/3/

心已赠人/ 2022年09月02日 04:27/ 0 赞/ 221 阅读

相关 python排行反思

编程语言2012排行榜2月版已经出来了，这份2012年2月编程语言排行榜由TIOBE发布。与 [1月份的编程语言排行榜相比][1]，前三的位置并无变化。仍然是java、C、C\

骑猪看日落/ 2022年06月12日 05:07/ 0 赞/ 192 阅读

相关 python爬虫

爬虫定义请求网站并提取数据的自动化程序基本流程向服务器发起请求：即发送一个Request，请求可以包含额外的headers等信息，等待服务器的

逃离我推掉我的手/ 2022年02月23日 13:38/ 0 赞/ 351 阅读

相关 python爬虫-全国列车信息查询

列车信息代码： python import urllib from urllib.request import urlopen f

你的名字/ 2022年02月17日 15:50/ 0 赞/ 201 阅读

相关 Python 爬虫

一、爬虫是什么？从技术层面来说就是通过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据（图片、视频）爬到本地，进而提取自己需要的数据

落日映苍穹つ/ 2021年11月10日 14:54/ 0 赞/ 458 阅读