CenOS7下tachyon内存分布式文件系统搭建

我会带着你远行 2022-05-16 10:54 185阅读 0赞

# tachyon→内存级分布式文件系统 #

tachyon→内存级分布式文件系统

## 一、简介 ##

### 1.tachyon是什么？ ###

*  诞生于Berkeley的AMPLab实验室，由该实验室的在读博士李浩源创立。
 *  是一个开源分布式存储系统。
 *  能够为集群框架提供内存级速度的跨集群文件共享服务，官方号称最高比HDFS吞吐量高300倍。

### 2.tachyon的优点？ ###

*  高性能
 *  高容错

### 3.tachyon的缺点？ ###

*  社区资料比较少，不太稳定

### 4.tachyon的应用场景？ ###

*  大型高并发网站，对存储速度要求高

5.tachyon版本下载

*  https://github.com/Alluxio/alluxio/releases
 *  下载如下图所示。

![70][]

## 二、tachyon安装 ##

### 1.软件环境 ###

*  CentOS7
 *  JDK1.8
 *  tachyon0.6.4

### 2.安装准备 ###

输入 yum -y install cpp

输入 yum -y install binutils

输入 yum -y install glibc

输入 yum -y install glibc-kernheaders

输入 yum -y install glibc-common

输入 yum -y install glibc-devel

输入 yum -y install gcc

输入 yum -y install make

### 3.集群规划 ###

*  1台master
 *  2台worker

### 4.tachyon单机版 ###

*  上传tar包到 /usr/local/tachyon 并解压
 *  进入tachyon的conf目录，将tachyon-env.sh.template复制为tachyon-env.sh
 *  配置环境变量
 *  任意位置输入tachyon format格式化
 *  输入 tachyon-start.sh local启动
 *  输入 tachyon-stop.sh 停止

### 5.tachyon完全分布式 ###

*  安装JDK1.7
 *  上传tar包到 /usr/local/tachyon 并解压，进入解压后的目录
 *  配置环境变量
 *  进入tachyon中的conf目录，修改workers配置文件，将从节点主机名或IP地址写入,将slaves中的内容删掉
 *  将tachyon-env.sh.template复制为tachyon-env.sh，修改以下内容，红色内容自行修改，master为主节点，第二项为hdfs的地址

在文件首加入：

export JAVA\_HOME=/usr/local/java/jdk1.8.0\_102/

*  修改配置文件：

export TACHYON\_MASTER\_ADDRESS=master

export TACHYON\_UNDERFS\_ADDRESS=hdfs://hadoop:9000

*  如果从节点没有tachyon文件夹，输入 scp -r /usr/local/tachyon/ root@node:/usr/local/ 将文件夹从主节点拷贝到所有从节点，红色位置为从节点的主机名
 *  主节点中输入 tachyon format 格式化

### 6.tachyon完全分布式的启动 ###

*  任意位置输入 tachyon-start.sh all Mount 启动主节点和所有从节点
 *  jps查看主节点进程为TachyonMaster，从节点进程为TachyonWorker
 *  页面访问主节点的19999端口，出现如下界面

![70 1][]

### 7.tachyon完全分布式测试 ###

*  在hadoop的hadoop-env.sh配置文件最后，加入如下内容

export HADOOP\_CLASSPATH=/usr/local/tachyon/tachyon-0.6.4/client/target/tachyon-client-0.6.4-jar-with-dependencies.jar

*  启动hadoop的5个进程
 *  在客户端输入 hadoop jar /usr/local/hadoop/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount -libjars /usr/local/tachyon/tachyon-0.6.4/client/target/tachyon-client-0.6.4-jar-with-dependencies.jar -Dtachyon.user.file.understoragetype.default=SYNC\_PERSIST hdfs://192.168.11.133:9000/LICENSE.txt tachyon://192.168.11.128:19998/wordcount/output  执行一个mapReduce
 *  执行成功后，在客户端输入 tachyon tfs cat 文件名  ，查看文件内容

### 8.tachyon服务端停止 ###

1.  方法一：

*  进入安装后的bin目录
 *  输入 tachyon-stop.sh 即可停止

1.  方法二：

*  输入 ps aux|grep tachyon查看进程
 *  或者 kill -9 pid（redis的进程id） 强制杀死master进程

[70]: /images/20220516/7408f24077424a70b1a76592900eeb2c.png
[70 1]: /images/20220516/29816c9428b74866a0a781b8d94e9985.png