电商推荐系统二：工具环境搭建

Bertha 。 2022-10-28 10:15 187阅读 0赞

# 二、工具环境搭建 #

### 目录 ###

*  二、工具环境搭建
 *   *  2.1 MongoDB（单节点）环境配置
     *  2.2 Redis（单节点）环境配置
     *  2.3 Spark（单节点）环境配置
     *  2.4 Zookeeper（单节点）环境配置
     *  2.5 Flume-ng（单节点）环境配置
     *  2.6 Kafka（单节点）环境配置

我们的项目中用到了多种工具进行数据的存储、计算、采集和传输，本章主要简单介绍设计的工具环境搭建。  
如果机器的配置不足，推荐只采用一台虚拟机进行配置，而非完全分布式，将该虚拟机CPU的内存设置的尽可能大，推荐为CPU > 4、MEM > 4GB。

## 2.1 MongoDB（单节点）环境配置 ##

// 通过WGET下载Linux版本的MongoDB
    [bigdata@linux ~]$ wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel62-3.4.3.tgz
    // 将压缩包解压到指定目录
    [bigdata@linux backup]$ tar -xf mongodb-linux-x86_64-rhel62-3.4.3.tgz -C ~/
    // 将解压后的文件移动到最终的安装目录
    [bigdata@linux ~]$ mv mongodb-linux-x86_64-rhel62-3.4.3/ /usr/local/mongodb
    // 在安装目录下创建data文件夹用于存放数据和日志
    [bigdata@linux mongodb]$ mkdir /usr/local/mongodb/data/
    // 在data文件夹下创建db文件夹，用于存放数据
    [bigdata@linux mongodb]$ mkdir /usr/local/mongodb/data/db/
    // 在data文件夹下创建logs文件夹，用于存放日志
    [bigdata@linux mongodb]$ mkdir /usr/local/mongodb/data/logs/
    // 在logs文件夹下创建log文件
    [bigdata@linux mongodb]$ touch /usr/local/mongodb/data/logs/ mongodb.log
    // 在data文件夹下创建mongodb.conf配置文件
    [bigdata@linux mongodb]$ touch /usr/local/mongodb/data/mongodb.conf
    // 在mongodb.conf文件中输入如下内容
    [bigdata@linux mongodb]$ vim ./data/mongodb.conf
    #端口号port = 27017
    #数据目录
    dbpath = /usr/local/mongodb/data/db
    #日志目录
    logpath = /usr/local/mongodb/data/logs/mongodb.log
    #设置后台运行
    fork = true
    #日志输出方式
    logappend = true
    #开启认证
    #auth = true

完成MongoDB的安装后，启动MongoDB服务器：

// 启动MongoDB服务器
    [bigdata@linux mongodb]$ sudo /usr/local/mongodb/bin/mongod -config /usr/local/mongodb/data/mongodb.conf
    // 访问MongoDB服务器
    [bigdata@linux mongodb]$ /usr/local/mongodb/bin/mongo
    // 停止MongoDB服务器
    [bigdata@linux mongodb]$ sudo /usr/local/mongodb/bin/mongod -shutdown -config /usr/local/mongodb/data/mongodb.conf

## 2.2 Redis（单节点）环境配置 ##

// 通过WGET下载REDIS的源码
    [bigdata@linux ~]$wget http://download.redis.io/releases/redis-4.0.2.tar.gz 
    // 将源代码解压到安装目录
    [bigdata@linux ~]$ tar -xf redis-4.0.2.tar.gz -C ~/
    // 进入Redis源代码目录，编译安装
    [bigdata@linux ~]$ cd redis-4.0.2/
    // 安装GCC
    [bigdata@linux ~]$ sudo yum install gcc
    // 编译源代码
    [bigdata@linux redis-4.0.2]$ make MALLOC=libc
    // 编译安装
    [bigdata@linux redis-4.0.2]$ sudo make install
    // 创建配置文件
    [bigdata@linux redis-4.0.2]$ sudo cp ~/redis-4.0.2/redis.conf /etc/ 
    // 修改配置文件中以下内容
    [bigdata@linux redis-4.0.2]$ sudo vim /etc/redis.conf
    daemonize yes   #37行 #是否以后台daemon方式运行，默认不是后台运行
    pidfile /var/run/redis/redis.pid   #41行 #redis的PID文件路径（可选）
    bind 0.0.0.0    #64行 #绑定主机IP，默认值为127.0.0.1，我们是跨机器运行，所以需要更改
    logfile /var/log/redis/redis.log   #104行 #定义log文件位置，模式log信息定向到stdout，输出到/dev/null（可选）
    dir “/usr/local/rdbfile”  #188行 #本地数据库存放路径，默认为./，编译安装默认存在在/usr/local/bin下（可选）

在安装完Redis之后，启动Redis

// 启动Redis服务器
    [bigdata@linux redis-4.0.2]$ redis-server /etc/redis.conf
    // 连接Redis服务器
    [bigdata@linux redis-4.0.2]$ redis-cli
    // 停止Redis服务器
    [bigdata@linux redis-4.0.2]$ redis-cli shutdown

## 2.3 Spark（单节点）环境配置 ##

// 通过wget下载zookeeper安装包
    [bigdata@linux ~]$ wget https://d3kbcqa49mib13.cloudfront.net/spark-2.1.1-bin-hadoop2.7.tgz 
    // 将spark解压到安装目录
    [bigdata@linux ~]$ tar –xf spark-2.1.1-bin-hadoop2.7.tgz –C ./cluster
    // 进入spark安装目录
    [bigdata@linux cluster]$ cd spark-2.1.1-bin-hadoop2.7/
    // 复制slave配置文件
    [bigdata@linux spark-2.1.1-bin-hadoop2.7]$ cp ./conf/slaves.template ./conf/slaves    
    // 修改slave配置文件
    [bigdata@linux spark-2.1.1-bin-hadoop2.7]$ vim ./conf/slaves
    linux  #在文件最后将本机主机名进行添加
    // 复制Spark-Env配置文件
    [bigdata@linux spark-2.1.1-bin-hadoop2.7]$ cp ./conf/spark-env.sh.template ./conf/spark-env.sh 
    SPARK_MASTER_HOST=linux       #添加spark master的主机名
    SPARK_MASTER_PORT=7077        #添加spark master的端口号

安装完成之后，启动Spark

// 启动Spark集群
    [bigdata@linux spark-2.1.1-bin-hadoop2.7]$ sbin/start-all.sh
    // 访问Spark集群，浏览器访问http://linux:8080

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70]

// 关闭Spark集群
    [bigdata@linux spark-2.1.1-bin-hadoop2.7]$ sbin/stop-all.sh

## 2.4 Zookeeper（单节点）环境配置 ##

// 通过wget下载zookeeper安装包
    [bigdata@linux ~]$ wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz 
    // 将zookeeper解压到安装目录
    [bigdata@linux ~]$ tar –xf zookeeper-3.4.10.tar.gz –C ./cluster
    // 进入zookeeper安装目录
    [bigdata@linux cluster]$ cd zookeeper-3.4.10/
    // 创建data数据目录
    [bigdata@linux zookeeper-3.4.10]$ mkdir data/
    // 复制zookeeper配置文件
    [bigdata@linux zookeeper-3.4.10]$ cp ./conf/zoo_sample.cfg ./conf/zoo.cfg   
    // 修改zookeeper配置文件
    [bigdata@linux zookeeper-3.4.10]$ vim conf/zoo.cfg
    dataDir=/home/bigdata/cluster/zookeeper-3.4.10/data  #将数据目录地址修改为创建的目录
    // 启动Zookeeper服务
    [bigdata@linux zookeeper-3.4.10]$ bin/zkServer.sh start
    // 查看Zookeeper服务状态
    [bigdata@linux zookeeper-3.4.10]$ bin/zkServer.sh status
    ZooKeeper JMX enabled by default
    Using config: /home/bigdata/cluster/zookeeper-3.4.10/bin/../conf/zoo.cfg
    Mode: standalone
    // 关闭Zookeeper服务
    [bigdata@linux zookeeper-3.4.10]$ bin/zkServer.sh stop

## 2.5 Flume-ng（单节点）环境配置 ##

// 通过wget下载zookeeper安装包
    [bigdata@linux ~]$ wget http://www.apache.org/dyn/closer.lua/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz
    // 将zookeeper解压到安装目录
    [bigdata@linux ~]$ tar –xf apache-flume-1.8.0-bin.tar.gz –C ./cluster
    // 等待项目部署时使用

![在这里插入图片描述][20210205222232673.png]

## 2.6 Kafka（单节点）环境配置 ##

// 通过wget下载zookeeper安装包
    [bigdata@linux ~]$ wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/0.10.2.1/kafka_2.11-0.10.2.1.tgz 
    // 将kafka解压到安装目录
    [bigdata@linux ~]$ tar –xf kafka_2.12-0.10.2.1.tgz –C ./cluster
    // 进入kafka安装目录
    [bigdata@linux cluster]$ cd kafka_2.12-0.10.2.1/   
    // 修改kafka配置文件
    [bigdata@linux kafka_2.12-0.10.2.1]$ vim config/server.properties
    host.name=linux                  #修改主机名
    port=9092                         #修改服务端口号
    zookeeper.connect=linux:2181     #修改Zookeeper服务器地址
    // 启动kafka服务 !!! 启动之前需要启动Zookeeper服务
    [bigdata@linux kafka_2.12-0.10.2.1]$ bin/kafka-server-start.sh -daemon ./config/server.properties
    // 关闭kafka服务
    [bigdata@linux kafka_2.12-0.10.2.1]$ bin/kafka-server-stop.sh
    // 创建topic
    [bigdata@linux kafka_2.12-0.10.2.1]$ bin/kafka-topics.sh --create --zookeeper linux:2181 --replication-factor 1 --partitions 1 --topic recommender
    // kafka-console-producer
    [bigdata@linux kafka_2.12-0.10.2.1]$ bin/kafka-console-producer.sh --broker-list linux:9092 --topic recommender
    // kafka-console-consumer
    [bigdata@linux kafka_2.12-0.10.2.1]$ bin/kafka-console-consumer.sh --bootstrap-server linux:9092 --topic recommender

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70]: /images/20221024/4b13c31b56d54e75863e83d929b77f24.png
[20210205222232673.png]: /images/20221024/c16a3615175d44ba851c28b8f30284ee.png