Python爬虫获取新冠肺炎数据

你的名字 2022-10-31 13:35 231阅读 0赞

本文描述了最基本的爬虫使用方法。  
目标网站：https://news.qq.com/zt2020/page/feiyan.htm\#/global  
获取网站中外国某国家疫情感染人数。

## 一.网站分析 ##

按F12进入开发者模式，查看目标网站的信息，以google浏览器为例子：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FieXNzd2F0Y2hlcjE_size_16_color_FFFFFF_t_70]选择network中的XHR，可以看到name中有很多项，在网页中点开目标国家（俄罗斯）的具体信息，可以看到在name栏中最下方出现了一个新的信息，查看具体信息可以看到一些相关的信息。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FieXNzd2F0Y2hlcjE_size_16_color_FFFFFF_t_70 1]http请求为post，参数为country，URL也可以查看。  
url最后类似于乱码形式的字符串为国家名转码以后的文本。如果需要获取其他国家的数据，只需要将url变为  
https://api.inews.qq.com/newsqa/v1/query/pubished/daily/list?country=国家名称&，  
在拼接时无法使用中文，可以使用quote方法进行转码。

from urllib import parse # urllib为Python中用于处理http请求，parse子模块用于处理url
    
    URL = "https://api.inews.qq.com/newsqa/v1/query/pubished/daily/list?country=%s&"#基本格式
    
    country = input("请输入查询国家：")
    
    print(URL%(parse.quote(country)))# 使用unquote方法解析url

输入目标国家后即可进行转码：  
![在这里插入图片描述][20210222202812360.png]

## 二.数据获取 ##

requests模块是Python中的http请求库，需要进行安装。  
浏览器在发送请求时会携带一些信息，为了达到模拟浏览器的目的，爬虫也需要加入这些信息进行伪装，可以直接将浏览器中对应信息直接粘贴过来。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FieXNzd2F0Y2hlcjE_size_16_color_FFFFFF_t_70 2]`在这里插入代码片`

request的使用格式：

requests.post(url,[data,] [headers,] [proxies,] *args)

**-url：服务器对应的地址。  
\-data：请求时携带的数据。  
\-headers：HTTP请求中headers字段。  
\-proxies：设置代理IP地址**

获取数据的程序如下：

## 三.处理保存数据 ##

数据本身并不直观，需要进行处理。数据时字符串形式的字典（json）, 将其转化为字典，然后使用pandas进行处理，最后保存至Excel文件中。  
最后的完整代码如下：

from urllib import parse # urllib为Python中用于处理http请求，parse子模块用于处理url
    import requests
    
    def get_response(country):
        URL = "https://api.inews.qq.com/newsqa/v1/automation/foreign/daily/list?country=%s&"#基本格式
        headers = {
        
        "Referer":"https://news.qq.com/",
        "Host":"api.inews.qq.com",
        "Origin":"https://news.qq.com",
        "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36"
        }
        url = URL%(parse.quote(country))
        data = {
        
        "country": country,
        }
        response = requests.post(url,data=data,headers=headers)
        print(url)
        return response
    
    # 查看获取的内容
    country = input("请输入查询国家：")
    res = get_response(country)
    #print(res.text) # resposne.text 查看响应中的文本信息
    with open("yiqing.txt","a") as f:
        f.write(res.text)
    data = res.text
    data = eval(data) # 转为字典
    # 数据中只有data对应的键值对为数据
    data = data["data"]
    # 导入pandas ，需要进行安装
    import pandas as pd # 使用as给包起别名
    df = pd.DataFrame(data) # DataFrame为pandas中的一个数据结构，类似于二维表格
    df.to_excel("yiqing.xls", index=False) # to_csv可以写入到csv文件中
    df = pd.read_excel("yiqing.xls", index_col=None)
    df

运行演示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FieXNzd2F0Y2hlcjE_size_16_color_FFFFFF_t_70 3]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FieXNzd2F0Y2hlcjE_size_16_color_FFFFFF_t_70 4]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FieXNzd2F0Y2hlcjE_size_16_color_FFFFFF_t_70]: /images/20221024/08c349dba44a4720ac84bbb678e35dad.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FieXNzd2F0Y2hlcjE_size_16_color_FFFFFF_t_70 1]: /images/20221024/811bc4e60eb9410e9486ef51faf8f1c3.png
[20210222202812360.png]: /images/20221024/571116ece9f14a3f8263f859c2422a81.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FieXNzd2F0Y2hlcjE_size_16_color_FFFFFF_t_70 2]: /images/20221024/f3261a82585c4d15b1bcefae6401f58d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FieXNzd2F0Y2hlcjE_size_16_color_FFFFFF_t_70 3]: /images/20221024/83c3af61e5bc4395b9a6805393bd8254.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FieXNzd2F0Y2hlcjE_size_16_color_FFFFFF_t_70 4]: /images/20221024/179acf8bac1b4258a3a6e090883f595a.png