python爬取豆瓣电影图片并生成评分柱状图

古城微笑少年丶 2022-09-02 03:59 154阅读 0赞

博主在学习python爬虫后，实现了一个爬取豆瓣电影评分并形成柱状图，并下载电影海报，实现效果如图所示  
![请添加图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Blbmd4aWFuZzE5OTg_size_16_color_FFFFFF_t_70]

![请添加图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Blbmd4aWFuZzE5OTg_size_16_color_FFFFFF_t_70 1]  
python爬取电影信息需要按此步骤  
模拟浏览器发送请求(获取网页代码)->提取有用的数据->存放于数据库或文件中  
首先需要分析获取数据的url  
![请添加图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Blbmd4aWFuZzE5OTg_size_16_color_FFFFFF_t_70 2]  
此时打开其headers![请添加图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Blbmd4aWFuZzE5OTg_size_16_color_FFFFFF_t_70 3]  
访问这个url

https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=20&page_start=0

![请添加图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Blbmd4aWFuZzE5OTg_size_16_color_FFFFFF_t_70 4]  
网上都是分析其起始页的方式循环访问，这种方式较为麻烦，我们可以修改其每页条数  
![请添加图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Blbmd4aWFuZzE5OTg_size_16_color_FFFFFF_t_70 5]  
至此，访问的url便获取成功了

接下来便是编写代码来访问了

def get_data():
        url = 'https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=330&page_start=0'
        headers = { 
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36'
        }
        json_data = requests.get(url,headers = headers)
        print(json_data.content)
        print(json_data.text)
        data = json_data.text
        json_data = json.loads(data)#将数据转化为字典
        subjects = json_data['subjects']
        result = []
        for movie in subjects:
            row = { 
                'movie_rate': movie['rate'],
                'movie_name': movie['title'],
                'movie_url' : movie['url'],
                'movie_img': movie['cover']
            }
            result.append(row)
        return result

调用获取数据，进行图片下载，图片命名为电影名称.jpg

data=get_data()
    for x in data[0:20]:
        r = requests.get(x['movie_img'])
        with open('./images/'+x['movie_name']+'.jpg', 'wb') as f:#with是处理异常
            f.write(r.content)

引入刚刚的test模块，使用pyechart来进行数据视图显示

from pyecharts import Bar
    import test
    data=test.get_data()
    columns=[]
    data1=[]
    for x in data[0:14]:#数据太多，只截取14条即可
    	columns.append(x['movie_name'])
    	data1.append(x['movie_rate'])
    print(columns)
    bar = Bar("柱状图", "影片评分")
    bar.add('评分',columns, data1,is_stack=True)
    bar.render()#默认生成render.html

至此，我们通过python爬取的数据的过程便完成了，通过我们爬取的数据我们可以做数据分析，或者将数据信息保存到我们的数据库，文件中供我们使用。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Blbmd4aWFuZzE5OTg_size_16_color_FFFFFF_t_70]: /images/20220829/c33ad965324449e5aa53fdca606da942.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Blbmd4aWFuZzE5OTg_size_16_color_FFFFFF_t_70 1]: /images/20220829/6cc7f8e99d944ea9a251f7bc454305a9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Blbmd4aWFuZzE5OTg_size_16_color_FFFFFF_t_70 2]: /images/20220829/748c00d8f737494baf6dd331d02471bb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Blbmd4aWFuZzE5OTg_size_16_color_FFFFFF_t_70 3]: /images/20220829/fa3f3a7f33f141ed955f6ebae6d1d129.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Blbmd4aWFuZzE5OTg_size_16_color_FFFFFF_t_70 4]: /images/20220829/f15fb110a0764c40b8efaa3359e90ed4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Blbmd4aWFuZzE5OTg_size_16_color_FFFFFF_t_70 5]: /images/20220829/499a15a162a2459e9552def0154cd2b6.png