CBoard可视化工具以及大数据分析平台的设计与实现

深藏阁楼爱情的钟 2022-05-17 07:52 288阅读 0赞

\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*数据可视化cboard\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*  
CBoard运行环境：JDK1.8、Maven3（源码编译）、MySQL5+/SQLServer（系统元数据存储）、PhantomJS 2.1+（用于看板导出和邮件发送）、Chrome  
\#环境准备  
\#安装phantomjs-2.1.3  
下载地址：https://bitbucket.org/ariya/phantomjs/downloads/  
tar -xjvf phantomjs-2.1.1-linux-x86\_64.tar.bz2  
vim /etc/profile  
export PHANTOMJS\_HOME=/home/hadoop/apps/phantomjs-2.1.1  
export PATH=$PATH:$\{PHANTOMJS\_HOME\}/bin  
source /etc/profile  
执行phantomjs运行正常即安装成功

\#cboard安装配置  
cboard的github地址：https://github.com/yzhang921/CBoard

\#修改配置文件  
\#\#系统配置  
CBoard/src/main/resources/config.properties  
jdbc\_url=jdbc:mysql://192.168.137.100:3306/cboard  
jdbc\_username=hive  
jdbc\_password=hive123  
phantomjs\_path=/home/hadoop/apps/phantomjs-2.1.1/bin/phantomjs

\#\#中英文显示配置  
CBoard/src/main/webapp/org/cboard/Settings.js

var settings = \{  
    preferredLanguage: "cn" // en/cn: Switch language to Chinese  
\};

\#maven打包前需要提前安装maven以及在root用户/etc/profile配置maven环境变量

\#maven打包：  
\#\#sqlserver的jdbc驱动包添加到maven库  
mvn install:install-file -Dfile=lib/sqljdbc4-4.0.jar -DgroupId=com.microsoft.sqlserver -DartifactId=sqljdbc4 -Dversion=4.0 -Dpackaging=jar  
\#\#打包  
mvn clean package

\#在mysql中创建数据库cboard  
create database cboard;  
\#从CBoard源码包的/sql/mysql目录下找到mysql.sql文件  
\#在mysql命令行中执行sql脚本文件  
mysql> source /bigdata/CBoard/sql/mysql/mysql.sql

\#解压tomcat  
\#拷贝编译好的cboard.war包到tomcat的webapps目录下  
cp /bigdata/CBoard/target/cboard.war /home/hadoop/apps/tomcat-7/webapps

\#修改tomcat-7/conf目录下server.xml服务相关配置项  
\#绑定端口号8080  
<Connector port="8080" protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="8443" />  
\#绑定IP  
<Host name="192.168.137.100"  appBase="webapps" unpackWARs="true" autoDeploy="true">

\#启动tomcat  
bin/startup.sh

\#关闭tomcat  
bin/shutdown.sh

\#在浏览器中访问cboard  
http://192.168.137.100:8080/cboard

\#初始登录用户名密码  
admin  
root123

首先到192.168.137.102，192.168.137.103，192.168.137.104上启动kafka

\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*kafka\*\*\*\*\*\*\*\*\*\*\*\*\*  
\#创建主题  
bin/kafka-topics.sh --create --zookeeper 192.168.137.100:2181 --replication-factor 1 --partitions 3 --topic userlog2

\#查看kafka中已经创建的主题列表  
bin/kafka-topics.sh --list --zookeeper 192.168.137.100:2181

//\#删除主题  
//bin/kafka-topics.sh --delete --zookeeper //192.168.137.100:2181 --topic userlog1

\#在192.168.137.102使用kafka自带的消费者客户端脚本  
bin/kafka-console-consumer.sh --zookeeper 192.168.137.100:2181 --from-beginning --topic userlog2

●●提前在/home/hadoop/apps目录下创建userlog目录

\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*模拟日志生成\*\*\*\*\*\*\*\*\*\*\*\*\*

\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*flume日志收集\*\*\*\*\*\*\*\*\*\*\*\*\*  
\#hdfs创建/data/userlog目录  
hadoop fs -mkdir /data/userlog

\#在192.168.137.100启动用户日志收集客户端  
bin/flume-ng agent --conf conf --conf-file conf/logagent.conf --name logagent -Dflume.root.logger=INFO,console

\#后台运行  
bin/flume-ng agent --conf conf --conf-file conf/logagent.conf --name logagent >/dev/null 2>&1 &

\#在node01和node02分别启动日志收集collector，在192.168.137.101启动  
\#\#bin/flume-ng agent --conf conf --conf-file \#\#conf/collectagent100.conf --name collectagent -\#\#Dflume.root.logger=INFO,console  
bin/flume-ng agent --conf conf --conf-file conf/collectagent101.conf --name collectagent -Dflume.root.logger=INFO,console  
bin/flume-ng agent --conf conf --conf-file conf/collectagent.conf --name collectagent >/dev/null 2>&1 &

\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*hive数据仓库\*\*\*\*\*\*\*\*\*\*\*\*\*  
\#一、创建原始日志临时存储ods库  
create database ods;

\#\#1.创建用户日志外部分区表  
\#用户id，使用的客户端版本号，地域id，用户行为，时间戳  
create external table ods.userlog\_external\_pt(  
user\_id string,  
client\_version string,  
area\_id string,  
user\_behavior int,  
time string  
)  
partitioned by(dt string)  
row format delimited  
fields terminated by ','  
lines terminated by '\\n'  
stored as textfile  
location '/data/userlog';

\#二、创建历史明细数据长期存储pdw库  
create database pdw;

\#\#1.创建用户日志明细表  
//用户id，使用的客户端版本号，客户端类型，地域id，地域名称，时间戳，曝光，点击  
create table pdw.userlog\_detail\_pt(  
user\_id string,  
client\_version string,  
client\_type string,  
area\_id string,  
area\_name string,  
time string,  
pv\_cnt int,  
click\_cnt int  
)  
partitioned by(dt string)  
row format delimited  
fields terminated by '\\t'  
lines terminated by '\\n'  
stored as RCFILE;

\#\#2.创建新增用户明细表（用于计算新增用户数，累计用户）  
//新增用户id，时间戳  
create table pdw.new\_user\_detail\_pt(  
user\_id string,  
time string  
)  
partitioned by(dt string)  
row format delimited  
fields terminated by '\\t'  
lines terminated by '\\n'  
stored as RCFILE;

●●首先在/home/hadoop/apps目录下创建hive\_test/data目录，然后将课上老师给2个文件area\_data.txt和client\_version\_type\_data.txt利用rz命令导入

\#三、创建存储维度关系表的rel库  
create database rel;  
\#\#1.创建地域表  
//字段信息：地域编码、地域名称  
create table rel.area\_info(  
id string,  
name string  
)  
row format delimited  
fields terminated by '\\t'  
lines terminated by '\\n'  
stored as textfile;      
//导入数据：  
load data local inpath '/home/hadoop/apps/hive\_test/data/area\_data.txt' into table area\_info;

\#\#2.创建客户端版本与客户端类型的映射关系表  
create table rel.client\_version\_type\_info(  
version\_id string,  
type string  
)  
row format delimited  
fields terminated by '\\t'  
lines terminated by '\\n'  
stored as textfile;

//导入数据：  
load data local inpath '/home/hadoop/apps/hive\_test/data/client\_version\_type\_data.txt' into table client\_version\_type\_info;

\#离线报表

●●首先需要在/home/hadoop/apps/hive\_test路径下创建task目录，然后将课程老师发的四个sh脚本devict\_type\_pv\_click\_report\_task\_daily.sh、ods\_user\_log\_2\_rcfile\_daily.sh、pdw\_new\_user\_detail\_daily.sh、user\_overview\_report\_task\_daily.sh利用rz命令导入

\#时间戳最小时的用户ID，即新增用户  
\#限制该用户没有在pdw.new\_user\_detail\_pt中出现过，才为新增用户

脚本路径：/home/hadoop/apps/hive\_test/task  
\#\#hive task，原始数据ETL -> 明细数据  
//用户明细  
ods\_user\_log\_2\_rcfile\_daily.sh  
//新增用户  
pdw\_new\_user\_detail\_daily.sh  
\#\#报表任务  
//新增用户数、活跃用户数、累计用户数  
user\_overview\_report\_task\_daily.sh

//日期、客户端类型、曝光量、点击量  
devict\_type\_pv\_click\_report\_task\_daily.sh

\#实时报表  
\#\#创建mysql数据库bi  
create database bi;

\#\#创建实时关键指标表realtime\_pv\_click\_report\_daily  
CREATE TABLE \`realtime\_pv\_click\_report\_daily\` (  
\`pv\_cnt\` int(11) NOT NULL,  
\`click\_cnt\` int(11) NOT NULL,  
\`date\_time\` varchar(512) DEFAULT NULL  
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

执行StreamPvClickAnalytics.scala程序