基于分布式爬虫的电影数据可视化分析系统

红太狼 2024-03-27 08:44 84阅读 0赞

目 录  
1 绪论 2  
1.1 研究背景 2  
1.1.1 SourceForge.net 2  
1.1.2 需求复用 2  
1.1.3 实验项目 2  
1.1.4 爬虫简介 3  
1.2 国内外研究现状 3  
1.2.1 java爬虫框架 3  
1.2.2 python爬虫框架 3  
1.3 本文的主要研究内容 4  
2 分布式爬虫综述 5  
2.1 分布式爬虫类型 5  
2.1.1 应用于搜索引擎 5  
2.2.2 基于主题的爬虫 5  
2.2.3 用户个性化爬虫 6  
2.2 MapReduce 6  
2.3 分布式爬虫系统的架构 7  
2.3.1 主从式 7  
2.3.2 自治式 8  
2.3.3 混合式 8  
2.4 爬取策略 9  
2.5 部署网络 9  
3.功能需求描述 11  
3.1系统的划分 11  
3.2 数据爬取子系统的功能 12  
3.2.1 数据爬取的用例图 12  
3.2.2 数据爬取用例的描述 13  
3.3 数据可视化子系统的功能 13  
3.3.1 数据可视化子系统的用例图 13  
3.3.2 数据可视化子系统的用例描述 其一 14  
3.3.3 数据可视化子系统的用例描述 其二 15  
3.4 数据库系统的功能 16  
3.4.1 数据库系统的用例图 16  
3.4.2 数据库系统用例的描述 17  
4. 详细设计 18  
4.1 分布式爬虫架构 18  
4.2 CenterNode模块 19  
4.3 TaskNode模块 22  
5. 软件原型 27  
参考文献 33

1 绪论  
1.1 研究背景  
1.1.1 SourceForge.net  
SourceForge.net是一个开源软件平台，用户不仅可以在网站上搜索到很多实用的软件，还能够给软件评分，向软件的开发者提需求建议等等。这些项目都有各自的适用领域、特征以及优缺点，用户可以通过搜索关键词，查看分类目录或者根据网站的推荐来找到自己的目标软件。  
1.1.2 需求复用  
对于一款产品，明确其需求是最关键的一步，可是客户的需求往往空乏而且充满不确定性，这给需求分析带来的巨大的挑战。不仅如此，客户与开发人员之间的沟通也存在隔阂。对于一项新的需求，开发人员需要从头开始调研、分析、建模，这会耗费很多精力。如果能够复用其他类似项目的需求，以他们开发人员的需求分析作为参考，就能在减少需求分析所需时间的同时还提高精确度。  
常见的需求复用的原型有以下三种\[1\]：

1.  旧的经验，没有任何文字记录，采用口耳相传的方法。
2.  已有的需求规格书，重用已经有的文档和规格。
3.  领域模型。  
    1.1.3 实验项目  
    本合作实验就是在对SourceForge.net做需求复用的基础上展开的，现阶段有两个目标：
4.  根据网站上开源项目的描述、特征、所在目录和用户需求对项目精准定位。
5.  采用领域工程的方法，对各个类别下的开源软件进行领域分析，建立特征模型。最终实现让软件开发人员直接根据需求和特征模型就能找到合适的开源软件进行需求复用。  
    我个人的项目是这个实验整体的第一步：获取数据。  
    1.1.4 爬虫简介  
    在如今信息爆炸的时代，获取有用信息对于互联网的使用者来说成为了越来越复杂的一件事。它们分布在不同的网页中，那么从这些网页上爬取信息就成为了一个重要的议题。网络爬虫是一项从网页中获取信息的技术。早期的爬虫程序运行在单台计算机上，爬虫程序设置url队列，先将要爬取的url加入队列，然后从队列中依次取出url，爬取相应网站的内容\[2\]。但是随着信息量的剧增和需要分析的数据的范围持续扩大，在单一计算机上运行的爬虫程序已经无法满足客户的需要，这时将爬虫程序与分布式系统结合以处理大量数据的思路就应运而生。  
    分布式系统是由一组通过网络进行通信、为了完成共同的任务而协调工作的计算机节点组成的系统。它的目标是利用软件使多台普通的机器链接在一起，协同解决大量数据的处理和检索问题\[2\]。其思想是是把需要大量计算的，单个计算机无法完成的任务分配给若干个较小的模块，让多台计算机分别处理，统一储存运算结果以便接下来分析数据。分布式系统关注系统的可扩展性、可用性、可靠性、负载均衡、一致性等。  
    对于分布式爬虫，简单来说就是让每台服务器各自爬取一部分数据，最后将结果汇总起来。它关注任务的分配和调度，要求在提高整个系统爬虫效率的同时保证系统的可扩展性、可靠性和负载均衡。当然，由于可以使用不同的分布式架构，不同的分布式爬虫系统之间也千差万别。  
    1.2 国内外研究现状  
    1.2.1 java爬虫框架  
    Nutch：专为搜索引擎设计，以Apache Hadoop数据结构为基础。它提供了可扩展的功能接口，使得其对各种网页内容的解析，各种数据的采集、查询、集群、过滤等功能能够方便的进行扩展\[3\]。  
    Heritrix：可配置参数多，可定制性强，但是使用起来比较复杂。  
    1.2.2 python爬虫框架  
    scrapy：使用python开发的最流行的爬虫框架，使用布隆过滤器对url去重，底层使用异步框架twisted，支持高并发，很好地契合了搜索引擎的要求。  
    pyspider：与scrapy相比较轻量级，能够基于web查看运行状态，支持抓取javascript的页面。  
    1.3 本文的主要研究内容  
    在网络上可以找到一些开源的分布式爬虫框架，但是这些项目项目实现复杂，很多功能对于本项目来说是冗余的，所以我选择独立实现一个分布式爬虫系统。本文主要阐述了分布式爬虫系统不同维度下的分类、本项目采用的技术、需求分析、体系结构以及项目的背景与展望。该系统具有内部逻辑清晰、实现修改简单、使用过程友好等特点。

# This is an auto-generated Django model module.
    # You'll have to do the following manually to clean this up:
    #   * Rearrange models' order
    #   * Make sure each model has one field with primary_key=True
    #   * Make sure each ForeignKey has `on_delete` set to the desired behavior.
    #   * Remove `managed = False` lines if you wish to allow Django to create, modify, and delete the table
    # Feel free to rename the models, but don't rename db_table values or field names.
    from django.db import models
    
    
    class Actor(models.Model):
        actorid = models.IntegerField(primary_key=True, blank=True, null=False)
        name = models.TextField(blank=True, null=True)
        filmid = models.IntegerField(blank=True, null=True)
    
        class Meta:
            managed = False
            db_table = 'Actor'
    
    
    class Director(models.Model):
        directorid = models.IntegerField(primary_key=True, blank=True, null=False)
        name = models.TextField(blank=True, null=True)
        filmid = models.IntegerField(blank=True, null=True)
    
        class Meta:
            managed = False
            db_table = 'Director'
    
    
    class Film(models.Model):
        filmid = models.IntegerField(primary_key=True, blank=True, null=False)
        name = models.TextField(blank=True, null=True)
        type = models.TextField(blank=True, null=True)
        score_rate = models.TextField(blank=True, null=True)
        score_num = models.TextField(blank=True, null=True)  # This field type is a guess.
        date = models.TextField(blank=True, null=True)
        boxoffice = models.TextField(blank=True, null=True)  # This field type is a guess.
        day_boxoffice = models.TextField(blank=True, null=True)  # This field type is a guess.
        week_boxoffice = models.TextField(blank=True, null=True)  # This field type is a guess.
        score = models.TextField(blank=True, null=True)  # This field type is a guess.
    
        class Meta:
            managed = False
            db_table = 'Film'
    
    
    class Type(models.Model):
        typeid = models.IntegerField(primary_key=True, blank=True, null=False)
        name = models.TextField(blank=True, null=True)
        filmid = models.IntegerField(blank=True, null=True)
    
        class Meta:
            managed = False
            db_table = 'Type'

![在这里插入图片描述][029ac385910e49cbbab7996feaa1549a.png_pic_center]  
![在这里插入图片描述][d7a6edc451f546c2b4cabdafded98e70.png_pic_center]  
![在这里插入图片描述][cd6099a1bb30474dbd4856243698d64f.png_pic_center]  
![在这里插入图片描述][a6a791e8600a4512a4ce3281bd4e0c16.png_pic_center]  
![在这里插入图片描述][d12ccc1dd227477285354671054d29c1.png_pic_center]  
![在这里插入图片描述][a032ed323a0c4ab7ab1a0f3baaffcf80.png_pic_center]  
![在这里插入图片描述][bd1f686ae2274354bd35b07a095f9337.png_pic_center]  
![在这里插入图片描述][ef6fda1ac5354c7cbad31a9031748672.png_pic_center]  
![在这里插入图片描述][3773db8641a444a59ede68731eedfe39.png_pic_center]  
![在这里插入图片描述][339caa3fd05649a6a14afa8257e04f22.png_pic_center]  
![在这里插入图片描述][734c3473b7f74ca2b62dc68e1c60f756.png_pic_center]  
![在这里插入图片描述][3993bd4e6ee9436887893aef5bcc6160.png_pic_center]  
![在这里插入图片描述][4666183d982844e4be551a0f1213ae96.png_pic_center]  
![在这里插入图片描述][33dcfcd324cd470c919bcd0044fc001b.png_pic_center]  
![在这里插入图片描述][60197969413d42cd862e84a4e2ab9e3a.png_pic_center]  
![在这里插入图片描述][faff5469351e4fcbbed3c6627e2108fd.png_pic_center]  
![在这里插入图片描述][1036991c91e14971a30906450a3135fc.png_pic_center]  
![在这里插入图片描述][99d8838b88d94a0e8e84c28521d36211.png_pic_center]  
![在这里插入图片描述][0e80fc4682ce43f79913e6e10b3bbe7b.png_pic_center]

[029ac385910e49cbbab7996feaa1549a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/dce975fe3f9f4347bd842dc206e2bdfc.png
[d7a6edc451f546c2b4cabdafded98e70.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/bda294409ec343c9b87bee4ff6911801.png
[cd6099a1bb30474dbd4856243698d64f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/9e105cda8df2424b9ba0aa9cdae0d10a.png
[a6a791e8600a4512a4ce3281bd4e0c16.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/4fc9843dd77c4af781aabb727044f94c.png
[d12ccc1dd227477285354671054d29c1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/75092d1b6d064f82b34d118c080949d0.png
[a032ed323a0c4ab7ab1a0f3baaffcf80.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/a3d11ff9c273407391ae0d430c2f1e8d.png
[bd1f686ae2274354bd35b07a095f9337.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/a3ed461e3919488ba3aabdcf2b1f3b7f.png
[ef6fda1ac5354c7cbad31a9031748672.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/c632e482f8724bd8af1bd34b6e59acf4.png
[3773db8641a444a59ede68731eedfe39.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/75c27b879aef43169af9b6dd50c8172a.png
[339caa3fd05649a6a14afa8257e04f22.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/96a74b306ad948d99f5c320b5a2c48b3.png
[734c3473b7f74ca2b62dc68e1c60f756.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/3b9cd9efb2ea40b892683fe1b5615087.png
[3993bd4e6ee9436887893aef5bcc6160.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/d20eeac4815042feb8ddfb21b1512f1d.png
[4666183d982844e4be551a0f1213ae96.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/025d83b0be204e04a5af340593a1629d.png
[33dcfcd324cd470c919bcd0044fc001b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/cf7dfd73329c4dec808a305b326374d7.png
[60197969413d42cd862e84a4e2ab9e3a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/26cd7c1131bb48cc97a77913a57ef01d.png
[faff5469351e4fcbbed3c6627e2108fd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/93ba5630de914884b0201d5a4dda94fd.png
[1036991c91e14971a30906450a3135fc.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/cce53c705eef42b890fda428cd6edccd.png
[99d8838b88d94a0e8e84c28521d36211.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/5425af47d046455387eecf6453448d6e.png
[0e80fc4682ce43f79913e6e10b3bbe7b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/a59012192c104e6f81ba5809ced6f00b.png