基于python的电影票房数据爬取与可视化系统的设计与实现

野性酷女 2024-03-18 00:22 85阅读 0赞

目 录  
摘 要 I  
Abstract II  
第1章 绪论 1  
1.1 网络爬虫的背景 1  
1.2 网络爬虫的研究现状 1  
第2章 Python及Pycharm简介 3  
2.1 Python简介 3  
2.2 Pycharm简介 3  
第3章 运行环境和系统结构 5  
第4章 项目设计 6  
4.1 环境搭建 6  
4.2 设计思路 6  
4.3 第三方类库的简介和安装 7  
4.3.1 Scarpy简介及安装 7  
4.3.2 Numpy简介及安装 8  
4.3.3 Pandas简介及安装 9  
4.3.4 JieBa简介及安装 10  
4.3.5 WordCloud简介及安装 10  
4.3.6 Matplotlib简介及安装 11  
4.3.7 Pygal简介及安装 12  
4.3.8 re简介 13  
4.3.9 json简介 14  
4.4 Scrapy详解 15  
4.4.1 架构介绍 15  
4.4.2 数据流 16  
4.4.3 项目结构 17  
4.5 影视基本数据爬取 18  
4.5.1 新建Python项目 18  
4.5.2 项目里安装Scrapy 19  
4.5.3 豆瓣电影top250网站分析 19  
4.5.4 创建一个Scrapy项目 20  
4.5.5 创建一个Spider 21  
4.5.6 定义Rule 21  
4.5.7 解析豆瓣电影top250页面 23  
4.5.8 保存文件 25  
4.5.9 settings配置 26  
4.5.10 运行蜘蛛 28  
4.6 影评数据爬取 30  
4.6.1 影评网站分析 30  
4.6.2 创建一个Spider 32  
4.6.3 重写start\_requests方法 32  
4.6.4 解析影评页面 33  
4.6.5 保存文件 34  
4.6.6 运行蜘蛛 34  
4.7 数据可视化及分析 35  
4.7.1 影评数据词云可视化 35  
4.7.2 近年来排行榜电影各类图 37  
4.7.3 电影种类数量饼图 38  
4.7.4 各国电影柱形图 39  
4.7.5 作品数量前十导演 40  
4.7.6 人气前二十的电影对比图 41  
4.7.7 绘图代码 42  
4.8 小结 45  
结 论 47  
致 谢 48  
参考文献 49  
第3章 运行环境和系统结构  
运行环境：Windows操作系统下的Python3环境。  
系统结构：本爬虫系统分为数据爬取模块（爬取豆瓣TOP250排行榜以及电影详细数据）、数据分析模块（数据预处理及分析）、数据可视化模块（词云展示以及绘图展示），如图3.1所示。  
![在这里插入图片描述][edf288d7aef1499db4a0a8afaf70af27.png]

图3.1 系统结构

from flask import Flask,render_template
    import sqlite3
    
    app = Flask(__name__)
    
    
    @app.route('/')
    def index():
        return render_template("index.html")
    
    
    @app.route('/index')
    def home():
        #return render_template("index.html")
        return index()
    
    
    @app.route('/movie')
    def movie():
        datalist  = []
        con = sqlite3.connect("movie.db")
        cur = con.cursor()
        sql = "select * from movie250"
        data = cur.execute(sql)
        for item in data:
            datalist.append(item)
        cur.close()
        con.close()
        print(datalist)
        return render_template("movie.html",movies = datalist)
    
    
    
    @app.route('/score')
    def score():
        score = []  #评分
        num = []    #每个评分所统计出的电影数量
        con = sqlite3.connect("movie.db")
        cur = con.cursor()
        sql = "select score,count(score) from movie250 group by score"
        data = cur.execute(sql)
        for item in data:
            score.append(str(item[0]))
            num.append(item[1])
    
        cur.close()
        con.close()
        return render_template("score.html",score= score,num=num)
    
    
    @app.route('/word')
    def word():
        return render_template("word.html")
    
    @app.route('/team')
    def team():
        return render_template("team.html")
    
    
    if __name__ == '__main__':
        app.run()

![在这里插入图片描述][0918f3d8da2b44a09768c9442cd2c898.png_pic_center]  
![在这里插入图片描述][c0f0f56db0b3400584731dc7999d8d37.png_pic_center]  
![在这里插入图片描述][256799a3d3114e47806d373744395239.png_pic_center]  
![在这里插入图片描述][83e9dff0e7464b769bdefcb3054ca131.png_pic_center]  
![在这里插入图片描述][e7408f76aaaf4e89aa8151a77fce778f.png_pic_center]  
![在这里插入图片描述][df1416b826c64c32a0ef5aa3aac4d3ee.png_pic_center]  
![在这里插入图片描述][24b6a86bf9ce4acebe45354291cb1202.gif_pic_center]  
![在这里插入图片描述][0c21a5a411f34edaa556508be2ee2a10.png_pic_center]  
![在这里插入图片描述][3f1f1b997358418abd8bc2e4dc67e00b.png_pic_center]  
![在这里插入图片描述][1f1e07cb53a1474ea3c4abacf1e2fc54.png_pic_center]  
![在这里插入图片描述][172d4475e87e498499faf18f2b78e205.png_pic_center]  
![在这里插入图片描述][5edb767f220b4f699b8ec986661abadd.png_pic_center]  
![在这里插入图片描述][d3223c22cbf0427d94b477e230baed8a.png_pic_center]  
![在这里插入图片描述][21ed3cb09fb449b8ab6f6d3e1fcfdbcb.png_pic_center]  
![在这里插入图片描述][32fa907a31784fb59c734dd9d10bbf11.gif_pic_center]  
![在这里插入图片描述][a680b3ccca4942699548726a1d681b4f.gif_pic_center]  
![在这里插入图片描述][ea6b45a837ce4ccd81ac6b142e1c81bc.gif_pic_center]  
![在这里插入图片描述][d7f24799b7ec469286a43f581666f487.png_pic_center]  
![在这里插入图片描述][7af89518bf984ca382d47cd376c7a222.png_pic_center]

[edf288d7aef1499db4a0a8afaf70af27.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/a995669a8a1248aaa2db27bb4fccfc6c.png
[0918f3d8da2b44a09768c9442cd2c898.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/7c83260bd493454ca466edaec5b9c9a5.png
[c0f0f56db0b3400584731dc7999d8d37.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/fbbab08414db4e1f91dbd603c69feaad.png
[256799a3d3114e47806d373744395239.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/bf35df5476a446fbab0a1667f567750a.png
[83e9dff0e7464b769bdefcb3054ca131.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/bf93ad0825dc4983aa40770421481ffd.png
[e7408f76aaaf4e89aa8151a77fce778f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/c5f23d5c66d74ae9a529f81328d669c3.png
[df1416b826c64c32a0ef5aa3aac4d3ee.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/b5e7b9aa4eb74fc18faaf833600c478e.png
[24b6a86bf9ce4acebe45354291cb1202.gif_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/21954f8bfd17467c88e8be91f4ba4c1a.png
[0c21a5a411f34edaa556508be2ee2a10.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/da180be8a8d74f85bd28b2d9b6705f28.png
[3f1f1b997358418abd8bc2e4dc67e00b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/3a55efc0a2d447f9a5b5c9e6829d2e39.png
[1f1e07cb53a1474ea3c4abacf1e2fc54.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/0d7c32ffc5fb45deb2531ce635eee3af.png
[172d4475e87e498499faf18f2b78e205.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/bb98cb430b3746a5858fa985cc9d0db7.png
[5edb767f220b4f699b8ec986661abadd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/645ff9d9ad014723b492db9597dd5c7d.png
[d3223c22cbf0427d94b477e230baed8a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/5f84374445c94b05b52137b9ec02b326.png
[21ed3cb09fb449b8ab6f6d3e1fcfdbcb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/fcd7b0fddafe44abb4e1300cdfd46369.png
[32fa907a31784fb59c734dd9d10bbf11.gif_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/ab27ee3ac6ba46ba96f072fe0f21234d.png
[a680b3ccca4942699548726a1d681b4f.gif_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/aae4e99a2195413c8f3ed3948cf0d6af.png
[ea6b45a837ce4ccd81ac6b142e1c81bc.gif_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/f9cddf9d66e74e1aa85ca42af116a5c2.png
[d7f24799b7ec469286a43f581666f487.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/ce9d261a616d49e4831dfd392f3d3b8a.png
[7af89518bf984ca382d47cd376c7a222.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/8598ae92a75a479c90ccd8032795f33a.png