Pyecharts“可视化大屏“，带你重温 “2020东京奥运会“，不看直播尽知其事！

本是古典何须时尚 2022-09-05 06:12 119阅读 0赞

> 本文禁止其他人转载，违者必究！

## 目录 ##

1、项目背景  
  2、奥运会相关信息爬取  
   ① 导入相关库  
   ② 爬虫代码完整讲解  
  3、数据预处理  
   ① 数据替换  
   ② 数据分组  
   ③ 中英文名映射转换  
  4、可视化展示  
   ① 2020东京奥运会各国金牌分布地图  
   ② 2020东京奥运会奖牌榜详情堆积柱形图  
   ③ 2020东京奥运会奖牌榜总数前十名柱形图  
   ④ 2020东京奥运会金牌榜总数前十名柱形图  
   ⑤ 2020东京奥运会中国各项目获奖详情饼图  
   ⑥ 中国选手每日获得奖牌数折线图  
   ⑦ 中国选手每日获得金牌数折线图  
   ⑧ 中国选手夺金详细数据表格  
   ⑨ 组合为可视化大屏

## 整体思路 ##

![在这里插入图片描述][649b6f93fc29496f84b7176de993fee2.png_pic_center]

## 1、项目背景 ##

奥运会刚刚过去，你是否已经看过2020东京奥运会呢？本文将手把手带你爬取奥运会相关信息，并利用可视化大屏为你展示奥运详情。让一个没关注过奥运会的朋友，也能够秒懂奥运会。

学完本文后，你将学会如下可视化大屏的制作。  
![在这里插入图片描述][c7c5809a8d9f4b1fbe9f4089c69e1558.png]

## 2、奥运会相关信息爬取 ##

*  **爬取字段：** 国家、国家ID、排名、金牌数、银牌数、铜牌数、奖牌总数、项目名、运动员、获奖类型、获奖时间；
 *  **爬取说明：** 基于两个接口的数据爬取【json格式的数据】，直接采用键值对的方式获取相关数据；
 *  **使用工具：** Pandas+requests

本文是基于`两个接口`的数据爬取，相对容易的多。

# 这个链接主要展示：各国的金银铜牌及其总数！
    https://app-sc.miguvideo.com/vms-livedata/olympic-medal/total-table/15/110000004609
    
    # 这个链接主要展示：每个参赛队员的参赛项目和获得的奖牌情况！
    https://app-sc.miguvideo.com/vms-livedata/olympic-medal/total-table/15/110000004609

#### ① 导入相关库 ####

import requests
    import pandas as pd
    from pprint import pprint

*  `requests`库用于发起网页请求，获取网页中的源代码；
 *  `pandas`库用于存储和读取获取到的信息；
 *  `pprint`库是漂亮的打印，对于json格式的数据，能够很好的展示结构，方便我们解析；

#### ② 爬虫讲解 ####

url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/total-table/15/110000004609'
    data = requests.get(url).json()
    pprint(data)

三行代码就可以获取到网页的源代码，利用`pprint`库，可以清晰的展示json结构，对于我们解析数据很有帮助。  
![在这里插入图片描述][d9ebf8444d0741ed94200c5aa5b326d0.png]  
从图中可以很清晰地看到，我们要的数据，都存在于`body`键下面的`allMedalData`键中，allMedalData键的值是一个列表，里面有很多字典组成的键值对信息，就是我们要爬取的数据。

直接利用键获取对应的值信息，代码如下：

df1 = pd.DataFrame()
    for info in data1['body']['allMedalData']:
        name = info['countryName']
        name_id = info['countryId']
        rank = info['rank']
        gold = info['goldMedalNum']
        silver = info['silverMedalNum']
        bronze = info['bronzeMedalNum']
        total = info['totalMedalNum']
        # 组织数据
        orangized_data = [[name,name_id,rank,gold,silver,bronze,total]]
        # 然后追加df
        df1 = df1.append(orangized_data)
    df1.columns = ['名称', 'ID', '排名', '金牌', '银牌', '铜牌', '奖牌总数']
    df1

结果如下：  
![在这里插入图片描述][77698d102db843a89c7fde007c5661fe.png]  
对于另外一个网页，我们采取同样的方式。

url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/detail-total/15/110000004609'
    data2 = requests.get(url).json()
    pprint(data2)

结果如下：  
![在这里插入图片描述][de2b7fd428c04ee79a54837d8541131a.png]  
是不是此时感觉结构更清楚了？

df2 = pd.DataFrame()
    for info in data2['body']['medalTableDetail']:
        english_name = info['countryName']
        name_id = info['countryId']
        award_time = info['awardTime']
        item_name = info['bigItemName']
        sports_name = info['sportsName']
        medal_type = info['medalType']
        # 组织数据
        orangized_data = [[english_name,name_id,award_time,item_name,sports_name,medal_type]]
        # 然后追加df
        df2 = df2.append(orangized_data)
    df2.columns = ['英文缩写', 'ID', '获奖时间', '项目名', '运动员', '金牌类型']
    df2

结果如下：  
![在这里插入图片描述][c6879582d03e4185ad91f8f17e0f2745.png]

#### 3、数据预处理 ####

对于爬取到的数据，往往是有问题的，我们需要提前预处理一下，方便后续做可视化展示。

#### ① 数据替换 ####

对于上述爬取到的数据，我们做一个数据筛选。

df1 = pd.read_excel("各国奖牌数.xlsx")
    df1[df1["名称"].str.contains("中国")]

结果如下：  
![在这里插入图片描述][2281b1e56eb84056bcb6feb3c351f09c.png]  
虽说中国香港、中国台湾都单独参加了奥运会，但她们都属于中国，我们将她们的都改为中国，ID也都改为26。

df1["名称"].replace(["中国台北","中国香港"],"中国",inplace=True)
    df1["ID"].replace([31,38],26,inplace=True)
    df1[df1["名称"].str.contains("中国")]

结果如下：  
![在这里插入图片描述][78eaae7fc4094e4cb0fa4392d9cb650d.png]

#### ② 数据分组 ####

经过上述处理，那么中国就相当于有3条数据了。我们以`名称+ID`作为联合字段，进行分组，然后求和，将这3条数据进行合并。最后，再以`金牌`字段为基准，进行降序排列。

df2 = df1.groupby(["名称","ID"])[["金牌","银牌","铜牌","奖牌总数"]].sum().reset_index().sort_values(by="金牌",axis=0,ascending=False)
    df2.head(10)

结果如下：  
![在这里插入图片描述][72bce373462e4d73bfe3bf56f3e6358d.png]

#### ③ 中英文名映射转换 ####

由于使用pyecharts绘制世界地图时，名称必须是英文的，所以我们需要将这里的`中文名称`映射为`英文名称`。于是我在网上找到了下面这个文件：  
![在这里插入图片描述][5eae668974d04deb8a9066fafb6e94a9.png]  
我们要做的就是将它与表格中的数据，做个`映射转换`。先把它转换为一个Excel文件吧，方便我们以后直接使用。

with open("国家名中英文对照表.txt","r",encoding="utf-8") as f:
        x = f.read()
    
    df3 = pd.DataFrame()
    for i in x.split("\n"):
        x = i.split(":")[0].strip()
        y = i.split(":")[1].strip()
        orangined_data = [[x,y]]
        df3 = df3.append(orangined_data)
    df3.columns = ["名称","英文名称"]
    df3.to_excel("国家名中英文对照表.xlsx",index=None)

然后，在和上述的df2表格做一个`左连接`即可。

df4 = pd.merge(df2,df3,on="名称",how="left")
    df4

结果如下：  
![在这里插入图片描述][b355bc423152412c8329357ed1784ea8.png]

#### 4、可视化展示 ####

关于可视化部分，使用的是`pyecharts`库。这部分一共分以下8个主题：

*  ① 2020东京奥运会各国奖牌分布图；
 *  ② 2020东京奥运会奖牌榜详情；
 *  ③ 2020东京奥运会奖牌榜总数前十名；
 *  ④ 2020东京奥运会金牌榜总数前十名；
 *  ⑤ 2020东京奥运会中国各项目获奖详情；
 *  ⑥ 中国选手每日获得奖牌数；
 *  ⑦ 中国选手每日获得金牌数；
 *  ⑧ 中国选手夺金详细数据；

#### ① 2020东京奥运会各国金牌分布图 ####

![在这里插入图片描述][ca9f8cd05ca54d50b4c71948cc6428ca.png]

#### ② 2020东京奥运会奖牌榜详情 ####

![在这里插入图片描述][c3595bea5ac04be89164543bc7db4c42.png]

#### ③ 2020东京奥运会奖牌榜总数前十名 ####

![在这里插入图片描述][12c1ec8b53a14c5597c000d0923f343e.png]

#### ④ 2020东京奥运会金牌榜总数前十名 ####

![在这里插入图片描述][353d3833a6c84189b4757680fe37723b.png]

#### ⑤ 2020东京奥运会中国各项目获奖详情 ####

![在这里插入图片描述][eef74d61372240b6bf75a762c14d79d3.png]

#### ⑥ 中国选手每日获得奖牌数 ####

![在这里插入图片描述][5eec0b5adb654c18afb4c4c240f7384a.png]

#### ⑦ 中国选手每日获得金牌数 ####

![在这里插入图片描述][3609f55aa6914aa29ff268ae5ddd2e61.png]

#### ⑧ 中国选手夺金详细数据 ####

![在这里插入图片描述][5c06edd7109b43a699377d05400ec1fc.png_pic_center]

#### ⑨ 组合为可视化大屏 ####

![在这里插入图片描述][08954618f5a549c8bccc4ec9f96077cf.png]  
**说明：** 这里就不做结果分析了，因为通过上图，相信大家应该能够很清晰的了解到2020东京奥运会，哪怕你没看过。

[649b6f93fc29496f84b7176de993fee2.png_pic_center]: /images/20220829/3165006438284cfb9530958da38e0d7b.png
[c7c5809a8d9f4b1fbe9f4089c69e1558.png]: /images/20220829/a7fea80c3456465489323d871bc8c83b.png
[d9ebf8444d0741ed94200c5aa5b326d0.png]: /images/20220829/abbaf7bb19dc485b9e80467ae2405755.png
[77698d102db843a89c7fde007c5661fe.png]: /images/20220829/9c60085b93fd4c428618ab417a9baf4c.png
[de2b7fd428c04ee79a54837d8541131a.png]: /images/20220829/4ef17836c8e744fabfea68455cc80406.png
[c6879582d03e4185ad91f8f17e0f2745.png]: /images/20220829/c2c8be78b50b4918b973088c4f04d8bb.png
[2281b1e56eb84056bcb6feb3c351f09c.png]: /images/20220829/bf8cb23d4ef6497d8b320205f5c03990.png
[78eaae7fc4094e4cb0fa4392d9cb650d.png]: /images/20220829/8f05f125721c4e6f8a953cbf8a5d6ccc.png
[72bce373462e4d73bfe3bf56f3e6358d.png]: /images/20220829/eaa7a2c0807641c190737a5c64b46f6f.png
[5eae668974d04deb8a9066fafb6e94a9.png]: /images/20220829/a3228e56718f4a8fb068619ec2c9c680.png
[b355bc423152412c8329357ed1784ea8.png]: /images/20220829/6ea18987407642e9b9c49d13eeb44ca7.png
[ca9f8cd05ca54d50b4c71948cc6428ca.png]: /images/20220829/7e258cb683fc4983a70a0a29cad03a64.png
[c3595bea5ac04be89164543bc7db4c42.png]: /images/20220829/d80b24ad648e4cc3a39f3f92b09f4fc5.png
[12c1ec8b53a14c5597c000d0923f343e.png]: /images/20220829/c0b6cd6bb66649f1b82cc4c3a4698776.png
[353d3833a6c84189b4757680fe37723b.png]: /images/20220829/bbbb0f9c3fc34659b6b7db1d9b47ec3f.png
[eef74d61372240b6bf75a762c14d79d3.png]: /images/20220829/552652fade964140a536365ae5d95e82.png
[5eec0b5adb654c18afb4c4c240f7384a.png]: /images/20220829/34f4c07b30464dfca7de20a822cd796e.png
[3609f55aa6914aa29ff268ae5ddd2e61.png]: /images/20220829/a3aa4094107040c891fb2437b7e52df4.png
[5c06edd7109b43a699377d05400ec1fc.png_pic_center]: /images/20220829/1892748f13714a509adcbf2f03d545a5.png
[08954618f5a549c8bccc4ec9f96077cf.png]: /images/20220829/2eaed9e7733b47de968efb33c9568f2c.png