基于hadoop平台hive数据库处理电影数据

灰太狼 2024-04-03 12:46 68阅读 0赞

[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/86954452  
[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/86954452  
目录  
1 开发背景 3  
1.1开发背景与意义 4  
1.2 开发环境与工具 4  
2 可行性分析 7  
2.1 可行性分析 8  
2.2 需求可行性 8  
2.3 技术可行性 8  
2.4 操作可行性 8  
2.5经济可行性 9  
3 系统总体设计 10  
3.1 总体设计方案 10  
3.2 基础数据准备 10  
3.3 环境准备 13  
3.4 软件准备 13  
4 系统详细设计 13  
4.1 安装前准备 14  
4.2 Hadoop集群安装 15  
5 创建表结构 25  
5.1 分析需求 26  
5.2 创建数据库 26  
5.3 创建t\_user表 27  
5.4 创建t\_movie表 27  
5.5 创建t\_rating表 28  
5.6 导入数据 28  
6 分析各年评分最高的电影类型 29  
6.1 分析思路 29  
6.2 完整SQL 30  
2 可行性分析  
2.1 可行性分析  
本部分主要阐述了从技术角度，需求角度，经济角度和操作角度论证项目的可行性。需求角度是从项目的需求方面谈了做日志分析的可行性，技术角度主要考虑Hadoop技术对处理日志分析是否合适，操作性主要考虑搭建Hadoop集群和运行日志分析操作上是否简单可靠，经济性主要考虑是实现需求的经济价值，是否在经济应允的范围等。

2.2 需求可行性  
Hadoop是开源的大数据解决方案，有本地模式、伪分布式模式、完全分布式模式。这里基于要处理大量的日志数据和更加能模拟和贴近生产的真是环境，这里选择完全分布式的搭建模式。该模式有较好的数据吞吐率和数据分布式备份存储的特性，能较好的满足实验的需要。  
Hadoop天生的大数据处理专家，基于map，reduce的处理能力，能并行快速的处理大量数据，可以很好的做日志的分析。  
2.3 技术可行性  
从技术角度来看，Hadoop是用java来开发的只需要配置好java环境，没有其他额外的要求。Hadoop是Apache下的开源项目，官方的文档和demo都比较全面，可以按照文档来一步步操作。Hadoop是运行在linux环境下的，这里可以选用免费的centos发行版，只需要有合适的ssh工具，就能做到hadoop在linux环境下的安装，配置等。Hadoop还提供了web-ui的管理界面，方便对Hadoop集群做监控，管理。

2.4 操作可行性  
Hadoop内置的分布式文件系统hdfs，可以做到文件的备份，只需简单的配置备份因子参数，就能实现文件不丢失。Mapreduce程序是用java语言开发的，只需本地开发好达成jar包提交到yarn集群上就可以执行，提交的任务运行状态可以在ResourceManager的web-ui上查看，任务执行过程中产生的日志文件可以用于辅助查看任务的运行情况和分析错误。Hdfs的文件浏览web-ui也能方便的查看准备的数据和校对查看生成的数据。

2.5经济可行性  
Hadoop集群对单机的配置要求不高，可以在本机或云端搭建一台虚拟机，然后在虚拟机上创建一些hadoop集群的节点。hadoop是基于zookeeper做高可用的，一般机器是奇数台即可，可以尽量减少机器的浪费，同时达到最高的可用性。本文转载自http://www.biyezuopin.vip/onews.asp?id=13650我们只需要准备个人电脑一台（内存/硬盘尽量大一点）,需要的虚拟机软件，Hadoop的安装包，ssh的工具，开源的jdk等免费软件即可在个人电脑上搭起一套完全分布式的Hadoop集群。

3 系统总体设计  
3.1 总体设计方案  
本系统主要设计完成两件工作，一是搭建分布式的hadoop的集群环境，二是基于分布式的集群环境做日志分析。  
环境搭建部分：先安装虚拟机，在虚拟机上安装centos系统，在一台机器上安装好hadoop的配置，另外两台机器直接clone，简化安装的步骤。三台机器准备好后，配置ssh的免密访问，将新加入的两台机器加入到slave里。确保环境搭建好后，做日志清洗任务，验证日志分析的准确性。

需要创建电影数据库movie，在movie数据库中创建3张表，t_user，t_movie，t_rating
    t_user:userid bigint,sex string,age int,occupation string,zipcode string
    t_movie:movieid bigint,moviename string,movietype string
    t_rating:userid bigint,movieid bigint,rate double,times string
    最初数据是以::进行切分的，所以需要使用能解析多字节分隔符的Serde即可
    使用RegexSerde
    需要两个参数：
    input.regex = "(.*):: (.*):: (.*)"
    output.format.string = "%1$s %2$s %3$s"

![在这里插入图片描述][7c1e4e1770a445248e1cf88351514672.png_pic_center]  
![在这里插入图片描述][8bbc99e34d044c088d36f469622c92b1.png_pic_center]  
![在这里插入图片描述][16caeb4b9cc04b34987bc9817af9a7ea.png_pic_center]  
![在这里插入图片描述][f4a3333971d34de79f5ba08d20a4d6a0.png_pic_center]  
![在这里插入图片描述][ea0a70e3fa3d44afae0b6807b55a6ae4.png_pic_center]  
![在这里插入图片描述][c214ba54b72542d4bffc629184b33f12.png_pic_center]  
![在这里插入图片描述][efe833ff0c2b4db7840d8c69dc800e7d.png_pic_center]  
![在这里插入图片描述][dab2661eb4fe4872b8d0ce3f5fb8f330.png_pic_center]  
![在这里插入图片描述][1e56e06155af4b448565971cf664b4b1.png_pic_center]  
![在这里插入图片描述][7ccac2910889434aabd55635f24c8bf6.png_pic_center]  
![在这里插入图片描述][337fdc76fd74481083eac8ca06647ef9.png_pic_center]  
![在这里插入图片描述][c6f44ce5d86e4c07a3c94c1fcef1328d.png_pic_center]  
![在这里插入图片描述][852860c3902b465f9fb40eac6c9fa138.png_pic_center]  
![在这里插入图片描述][9c12ae65bcf942518d070f6e9e65348f.png_pic_center]  
[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/86954452  
[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/86954452

[Link 1]: https://download.csdn.net/download/sheziqiong/86954452
[7c1e4e1770a445248e1cf88351514672.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/a32a967b5c254f1686474c9ece89e54f.png
[8bbc99e34d044c088d36f469622c92b1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/dabc1bc363a54574816d614f7dd4419e.png
[16caeb4b9cc04b34987bc9817af9a7ea.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/aff5122b13e44cba852be4c8dc66c61c.png
[f4a3333971d34de79f5ba08d20a4d6a0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/8e5932f69b3f42d08f9757c3292e3b21.png
[ea0a70e3fa3d44afae0b6807b55a6ae4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/e88009a6a42045a9b0d0c842c865941e.png
[c214ba54b72542d4bffc629184b33f12.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/f7b43c8492a447a4b227ff3570e146ff.png
[efe833ff0c2b4db7840d8c69dc800e7d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/73050242a69248dd8b126ffade36346a.png
[dab2661eb4fe4872b8d0ce3f5fb8f330.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/0cdfa642d43647ddbbada34372f6e138.png
[1e56e06155af4b448565971cf664b4b1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/c8574e48a0ef48a6896cdbe24c56a95e.png
[7ccac2910889434aabd55635f24c8bf6.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/09cb45f1eb514343bb74f117e3764606.png
[337fdc76fd74481083eac8ca06647ef9.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/dd1867f987fe4b67ac0d41066d429669.png
[c6f44ce5d86e4c07a3c94c1fcef1328d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/f21b7d67f1384a34add21a1ffdec28ce.png
[852860c3902b465f9fb40eac6c9fa138.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/0b32c7d92bfb4e06b0bc2bc11ffd70f0.png
[9c12ae65bcf942518d070f6e9e65348f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/f301f5efc28c416dae71768be4098424.png