爬取天气数据并解析温度值

绝地灬酷狼 2023-03-04 15:26 24阅读 0赞

# 一、概述 #

获取北京周边城区的天气数据，链接如下：[http://www.weather.com.cn/weather1d/101010100.shtml\#input][http_www.weather.com.cn_weather1d_101010100.shtml_input]

![format_png][]

最终需要得到以下数据：

[
      {
        'location': '香河', 'high': '36', 'low': '23°C'},
      ...
    ]

# 二、分析页面 #

## 地区 ##

可以发现数据在 id="around"这个div里面，地区的值在a标签中。

![format_png 1][]

那么xpath规则为：

//*[@id="around"]//a[@target="_blank"]/span/text()

效果如下：

![format_png 2][]

## 温度 ##

温度也是在同一个div里面，温度的值在i标签中

![format_png 3][]

那么xpath规则为：

//*[@id="around"]/div/ul/li/a/i/text()

效果如下：

![format_png 4][]

# 三、完整代码 #

![aHR0cHM6Ly9pbWFnZXMuY25ibG9ncy5jb20vT3V0bGluaW5nSW5kaWNhdG9ycy9Db250cmFjdGVkQmxvY2suZ2lm][] ![aHR0cHM6Ly9pbWFnZXMuY25ibG9ncy5jb20vT3V0bGluaW5nSW5kaWNhdG9ycy9FeHBhbmRlZEJsb2NrU3RhcnQuZ2lm][]

import requests
    from lxml import etree
    
    url = 'http://www.weather.com.cn/weather1d/101010100.shtml#input'
    with requests.get(url) as res:
        content = res.content
        html = etree.HTML(content)
    
    location = html.xpath('//*[@id="around"]//a[@target="_blank"]/span/text()')
    temperature = html.xpath('//*[@id="around"]/div/ul/li/a/i/text()')
    data = dict(zip(location, temperature))
    # print(data,len(data))
    
    # 数据列表
    data_list = []
    for i in data:
        # 切割
        high,low = data[i].split('/')
        dic = {
         'location':i,'high':high,'low':low}
        data_list.append(dic)
    
    print(data_list)

执行输出：

![aHR0cHM6Ly9pbWFnZXMuY25ibG9ncy5jb20vT3V0bGluaW5nSW5kaWNhdG9ycy9Db250cmFjdGVkQmxvY2suZ2lm][] ![aHR0cHM6Ly9pbWFnZXMuY25ibG9ncy5jb20vT3V0bGluaW5nSW5kaWNhdG9ycy9FeHBhbmRlZEJsb2NrU3RhcnQuZ2lm][]

[{
         'location': '香河', 'high': '36', 'low': '23°C'}, {
         'location': '涿州', 'high': '36', 'low': '25°C'}, {
         'location': '唐山', 'high': '34', 'low': '24°C'}, {
         'location': '沧州', 'high': '33', 'low': '26°C'}, {
         'location': '天津', 'high': '34', 'low': '27°C'}, {
         'location': '廊坊', 'high': '36', 'low': '24°C'}, {
         'location': '太原', 'high': '32', 'low': '23°C'}, {
         'location': '石家庄', 'high': '34', 'low': '26°C'}, {
         'location': '涿鹿', 'high': '32', 'low': '20°C'}, {
         'location': '张家口', 'high': '30', 'low': '17°C'}, {
         'location': '保定', 'high': '36', 'low': '24°C'}, {
         'location': '三河', 'high': '35', 'low': '23°C'}, {
         'location': '北京孔庙', 'high': '37', 'low': '23°C'}, {
         'location': '北京国子监', 'high': '37', 'low': '23°C'}, {
         'location': '中国地质博物馆', 'high': '37', 'low': '23°C'}, {
         'location': '月坛公园', 'high': '37', 'low': '22°C'}, {
         'location': '明城墙遗址公园', 'high': '37', 'low': '23°C'}, {
         'location': '北京市规划展览馆', 'high': '35', 'low': '24°C'}, {
         'location': '什刹海', 'high': '37', 'low': '22°C'}, {
         'location': '南锣鼓巷', 'high': '37', 'low': '23°C'}, {
         'location': '天坛公园', 'high': '35', 'low': '24°C'}, {
         'location': '北海公园', 'high': '35', 'low': '24°C'}, {
         'location': '景山公园', 'high': '35', 'low': '24°C'}, {
         'location': '北京海洋馆', 'high': '37', 'low': '23°C'}]

注意：这里2个列表转换为一个字典，使用了zip()函数。

本文参考链接：

[https://github.com/jackzhenguo/python-small-examples/][https_github.com_jackzhenguo_python-small-examples]

[http_www.weather.com.cn_weather1d_101010100.shtml_input]: http://www.weather.com.cn/weather1d/101010100.shtml#input
[format_png]: /images/20230208/a3c98ae548c944ddbd3a024affa942a7.png
[format_png 1]: /images/20230208/df449ef4238e43339959f51372589ab7.png
[format_png 2]: /images/20230208/d8725d04594442c8b4d301ed79a395ba.png
[format_png 3]: /images/20230208/b964fc58ddf1427bae849506e4772c7c.png
[format_png 4]: /images/20230208/24dc04a1654f486fa7895cfad176df4c.png
[aHR0cHM6Ly9pbWFnZXMuY25ibG9ncy5jb20vT3V0bGluaW5nSW5kaWNhdG9ycy9Db250cmFjdGVkQmxvY2suZ2lm]: http://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMuY25ibG9ncy5jb20vT3V0bGluaW5nSW5kaWNhdG9ycy9Db250cmFjdGVkQmxvY2suZ2lm
[aHR0cHM6Ly9pbWFnZXMuY25ibG9ncy5jb20vT3V0bGluaW5nSW5kaWNhdG9ycy9FeHBhbmRlZEJsb2NrU3RhcnQuZ2lm]: /images/20230208/d4570f7d1db74516bc55c055fe2a24bc.png
[https_github.com_jackzhenguo_python-small-examples]: https://github.com/jackzhenguo/python-small-examples/