NBA数据爬取及存取

- 日理万妓 2023-01-08 04:25 184阅读 0赞

凯文杜兰特2020-2021赛季  截至2021.1.18前10场数据

from urllib import request
    import json
    
    def fetch_data(url):
        req = request.Request(url)  # 请求url（GET请求）
        with request.urlopen(req) as f:     # 打开url请求（如同打开本地文件一样）
            return json.loads(f.read().decode('utf-8'))  # 读数据 并编码同时利用json.loads将json格式数据转换为python对象
    
    # 测试
    URL = 'https://data.zhibo8.cc/manage/public/app.php?_url=/nba_v2_player/player&random=0.13216511047375334&playerId=83212'
    data = fetch_data(URL)
    # 将 Python 字典类型转换为 JSON 对象
    json_str = json.dumps(data['data'])
    print(json_str)  # 结果 {"name": "pengjunlee", "age": 32, "vip": true, "address": {"province": "GuangDong", "city": "ShenZhen"}}
    
    # 将 JSON 对象类型转换为 Python 字典
    user_dic = json.loads(json_str)['seasonGames']
    print(user_dic['items'])  # 结果 {'province': 'GuangDong', 'city': 'ShenZhen'}
    print(user_dic['list'])
    
    
    m=len(user_dic['items'])
    
    with open('KDdata.csv', 'w', encoding='utf8') as f:
        for col in user_dic['items']:
            print(col)
            m-=1
            if m==0:
                f.write(col + '')
            else:
                f.write(col + ',')
        f.write('\n')
    
        for dic in user_dic['list']:
            # print(dic)
            n = len(dic)
            for key ,values in dic.items():
                # print(key+" "+values)
                n -= 1
                if n == 0:
                    f.write(values + '')
                else:
                    f.write(values + ',')
            f.write('\n')

发表评论取消回复

表情：

评论列表（有 0 条评论，184人围观）

还没有评论，来说两句吧...

相关阅读

相关 Scrapy框架爬取数据

因为对爬虫有着很大的好奇心，所以又找了一些资料继续开始了学习之旅。文章目录一、Scrapy框架简介二、爬取网络数据 2.1爬取单个网

比眉伴天荒/ 2023年02月26日 10:28/ 0 赞/ 4 阅读

相关 Java爬取网页数据

文章目录 1、导入依赖 2、源代码 1、导入依赖  <dependency>

灰太狼/ 2023年01月17日 03:27/ 0 赞/ 242 阅读

相关 NBA数据爬取及存取

凯文杜兰特2020-2021赛季截至2021.1.18前10场数据 from urllib import request import json

- 日理万妓/ 2023年01月08日 04:25/ 0 赞/ 184 阅读

相关使用xpath爬取数据

> 使用xpath来提取数据，爬取数据的简单语法。下载模块 [快速下载模块][Link 1] pip install lxml 导入模块

曾经终败给现在/ 2023年01月01日 03:37/ 0 赞/ 185 阅读

相关 Python爬取新闻网数据

前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 PS：如有需要Python学习资料的小伙伴可以加点击下方链接

柔情只为你懂/ 2022年12月23日 09:47/ 0 赞/ 280 阅读

相关爬取NBA球员生涯数据，并在Excel中可视化显示

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。以下文章最早早起Python ，作者投稿君 ![9d3cf27cc15

àì夳堔傛蜴生んèń/ 2022年12月22日 09:45/ 0 赞/ 191 阅读

相关 python爬虫抓包爬取NBA中文网近20年球员数据

爬取NBA中文网近20年的球员数据因为NBA中文网球员数据是通过json异步加载的，所以需要抓包实现 import time import r

系统管理员/ 2022年06月08日 11:19/ 0 赞/ 435 阅读

相关爬取手机APP数据

爬取APP数据流程： 1、使用抓包工具； 2、手机使用代理； 3、获取并分析接口； 4、反编译apk获取key； 5、突破反爬限制。工具： 1、夜神

朴灿烈づ我的快乐病毒、/ 2022年02月22日 10:25/ 0 赞/ 631 阅读

相关 python爬取app数据

python环境部署 python环境部署这里不做叙述 MYSQL操作安装MySQL驱动由于MySQL服务器以独立的进程运行，并通过网络对外服务，所以，需

桃扇骨/ 2021年12月21日 13:15/ 0 赞/ 393 阅读

相关 python 爬取动态数据

按照：[https://dryscrape.readthedocs.io/en/latest/installation.html][https_dryscrape.readth

落日映苍穹つ/ 2021年11月11日 04:20/ 0 赞/ 520 阅读