4399小游戏童年的乐趣，python爬取4399全站小游戏

末蓝、 2022-12-11 04:24 27阅读 0赞

## 前言 ##

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

[python免费学习资料以及群交流解答点击即可加入][python]

## 基本环境配置 ##

*  python 3.6
 *  pycharm
 *  requests
 *  parsel

相关模块pip安装即可  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center]

''' 动作类游戏：http://www.4399.com/flash_fl/2_1.htm 体育类游戏：http://www.4399.com/flash_fl/3_1.htm 益智类游戏：http://www.4399.com/flash_fl/5_1.htm 射击类游戏：http://www.4399.com/flash_fl/4_1.htm ... '''

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 2]

import requests
    import parsel
    import csv
    f = open('4399游戏.csv', mode='a', encoding='utf-8-sig', newline='')
    
    csv_writer = csv.DictWriter(f, fieldnames=['游戏地址', '游戏名字'])
    csv_writer.writeheader()
    for page in range(1, 106):
        url = 'http://www.4399.com/flash_fl/5_{}.htm'.format(page)
        headers = { 
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
        }
        response = requests.get(url=url, headers=headers)
        response.encoding = response.apparent_encoding
        selector = parsel.Selector(response.text)
        lis = selector.css('#classic li')
        for li in lis:
            dit ={ }
            data_url = li.css('a::attr(href)').get()
            new_url = 'http://www.4399.com' + data_url.replace('http://', '/')
            dit['游戏地址'] = new_url
            title = li.css('img::attr(alt)').get()
            dit['游戏名字'] = title
            print(new_url, title)
            csv_writer.writerow(dit)
    f.close()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 3]  
数据还是很多的，这里只保存了32548条数据

[python]: https://jq.qq.com/?_wv=1027&k=kQrKxXXR
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/182de80c67da49758e1511a0987601c8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/f07e191cb1a348e19304bdd9353c81f8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/81fc4387309d49f1b9018f427bf620b8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/a929a8ab2c1049b28e1c870c6b184002.png