Flume安装及部署

灰太狼 2022-01-13 02:45 390阅读 0赞

> 今天给大家分享一下Flume单机配置以及安装部署

> 一、下载和上传flume（两种方式）

> 1、手动下载 1.1 http://mirror.bit.edu.cn/apache/flume/1.8.0/ 下载flume

![file][]

> 1.2 随便找一个目录 创建一个flume文件夹 我的在/kingyifan目录

![file][file 1]

命令：mkdir flume

> 1.3 把flume安装包上传服务器刚创建的那个文件夹（略）

> 2、自动下载 2.1 随便找一个目录 创建一个flume文件夹 我的在/kingyifan目录

![file][file 1]

命令：mkdir flume

> 直接用 wget http://mirror.bit.edu.cn/apache/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz

![file][file 2]

> 以上两种方式任选其一进行下载，下载完之后会有一个apache-flume-1.8.0-bin.tar.gz(文件名是我手敲的，有错误给我说哈。)文件

![file][file 3]

> 二、解压flume安装包

![file][file 4]

在安装包目录下执行命令：tar -zxvf apache-flume-1.8.0-bin.tar.gz

> 三、监控目录

> 3.1 修改flume-env.sh 文件 3.1.1 进入flume目录下conf目录下复制一个模板 flume-env.sh

![file][file 5]

进入conf目录下输入命令： cp flume-env.sh.template flume-env.sh

> 3.1.2 修改刚刚复制的文件

![file][file 6]

进入conf目录下输入命令：  vi  flume-env.sh

> 寻找jdk目录 没有安装jdk小伙伴请移步 [点我看jdk安装文章][jdk]

![file][file 7]

> 修改flume-env.sh文件export JAVA\_HOME= jdk目录

![file][file 8]

> 我原来修改文件一直用的vi xxx 有个朋友告诉我 vim xxx也可以 我发现vim是有颜色的！由于好奇我就搜索了一下vi和vim的区别。

![file][file 9]

> 3.2 创建修改flumeList.conf监控目录配置文件

> 3.2.1在flume目录下config目录下 创建 flumeList.conf文件

![file][file 10]

命令：touch flumeList.conf

> 3.2.2修改flumeList.conf文件

命令：vim flume List.conf

![file][file 11]

修改内容为：
    # 指定Agent的组件名称
    a1.sources = r1
    a1.sinks = k1
    a1.channels = c1
    
    # 指定Flume source
    a1.sources.r1.type = spooldir
    #要监听的目录地址
    a1.sources.r1.spoolDir = /kingyifan/flume/apache-flume-1.8.0-bin/monitorList
    
    # 指定Flume sink
    a1.sinks.k1.type = logger
    
    # 指定Flume channel
    a1.channels.c1.type = memory
    a1.channels.c1.capacity = 1000
    a1.channels.c1.transactionCapacity = 100
    
    # 绑定source和sink到channel上
    a1.sources.r1.channels = c1
    a1.sinks.k1.channel = c1

> 3.2.3新建一个目录（和配置文件 监听目录一致哦！！！）

![file][file 12]

> 3.2.4配置环境变量

![file][file 13]

1、 打开环境变量命令：vim /etc/profile
    2、最后添加以下配置：
       export FLUME_HOME=/DATA/flume/apache-flume-1.8.0-bin（flume目录）
       export PATH=$PATH:$FLUME_HOME/bin
    3、刷新配置：source /etc/profile

> 3.2.5 启动flume 3.2.5.1 查看flume版本

![file][file 14]

进入flume目录：  cd /kingyifan/flume/apache-flume-1.8.0-bin
    查询flume版本命令：flume-ng version

> 启动flume

![file][file 15]

命令：flume-ng agent --conf conf --conf-file conf/flumeList.conf  --name a1  -Dflume.root.logger=INFO,console

> 看到这里则启动成功！

![file][file 16]

> 3.2.6 复制一个窗口看一下效果！

![file][file 17]

> 3.2.6.1在新窗口进入到flume目录

![file][file 18]

cd  /kingyifan/flume/apache-flume-1.8.0-bin/monitorList

> 3.2.6.2创建一个文件随便写点东西

![file][file 19]

vi kingyifan.log
    随便写点东西保存

> 我们来切换第一个窗口 发现已经采集了、

![file][file 20]

> 我们在来切换第二个 发现kingyifan.log什么都没有了。

![file][file 21]

> 我们发现多了一个kingyifan.log.COMPLETED 我们来看看内容，原来在这里！

![file][file 22]

> 四、监控文件（其余步骤请参考监控目录哦！） 4.1、进入flume目录中conf目录下创建一个flumeOne.conf文件

![file][file 23]

进入flume目录中conf目录下创建一个flumeOne.conf文件
     添加内容为：
     # 指定Agent的组件名称
    a1.sources = r1
    a1.sinks = k1
    a1.channels = c1
    
    # 指定Flume 要监听文件的目录
    #指定文件类型
    a1.sources.r1.type = exec
    #指定文件
    a1.sources.r1.command = tail -F  /kingyifan/flume/apache-flume-1.8.0-bin/monitorOne.log
    
    # 指定Flume sink
    a1.sinks.k1.type = logger
    
    # 指定Flume channel
    a1.channels.c1.type = memory
    a1.channels.c1.capacity = 1000
    a1.channels.c1.transactionCapacity = 100
    
    # 绑定source和sink到channel上
    a1.sources.r1.channels = c1
    a1.sinks.k1.channel = c1

> 4.2、创建一个要监听的文件：

![file][file 24]

进入目录命令：cd /kingyifan/flume/apache-flume-1.8.0-bin
    创建一个监听文件：vim monitorOne.log
    随便写点东西：
    	hiahia
    	wo zai jiankong wenjian
    	bu zhi dao neng bu neng xing
    	hahahaha
    	lalalalalala
    	blog:www.cnbuilder.cn

> 4.3、启动flume：

![file][file 25]

在flume目录下执行，不是conf目录下！！！
    命令：flume-ng agent --conf conf --conf-file conf/flumeOne.conf  --name a1  -Dflume.root.logger=INFO,console

![file][file 26]

> 有没有发现 flume一启动就发现他消费了。哈哈哈哈。因为我们是先创建的文件 写的内容，所以一启动就采集了，也可以和目录一样，先启动flume然后在新建log日志在写点东西。

> 五、监听端口（其他修改和监听目录一样，具体请参考监听目录）：

> 5.1创建监听端口配置文件。

![file][file 27]

进入目录命令：cd /kingyifan/flume/apache-flume-1.8.0-bin/conf
    创建一个监听文件：vim duankou.conf
    
    添加内容为：
    #me the components on this agent
    a1.sources = r1
    a1.sinks = k1
    a1.channels = c1
    
    # Describe/configure the source
    a1.sources.r1.type = netcat
    a1.sources.r1.bind = localhost
    a1.sources.r1.port = 44444
    
    # Describe the sink
    a1.sinks.k1.type = logger
    
    # Use a channel which buffers events in memory
    a1.channels.c1.type = memory
    #默认该通道中最大可以存储的event数量
    a1.channels.c1.capacity = 1000
    #每次最大可以从source中拿到或者送到sink中的event数量 
    a1.channels.c1.transactionCapacity = 100
    
    # Bind the source and sink to the channel
    a1.sources.r1.channels = c1
    a1.sinks.k1.channel = c1

> 5.2 启动flume

![file][file 28]

在flume目录下执行：不是在conf目录哦！
    flume-ng agent --conf conf --conf-file conf/duankou.conf  --name a1  -Dflume.root.logger=INFO,console

> 5.3测试监听端口： 5.3.1、复制一个窗口：

进入flume目录: cd /kingyifan/flume/apache-flume-1.8.0-bin
    执行：telnet localhost 44444
    如果报没有telnet 则执行：
    yum -y install telnet

![file][file 29]

> 然后发送消息。。。

![file][file 30]

> 我们切换过来哪个窗口发现已经收集了。

![file][file 31]

> 六、使flume后台执行,日志输入到指定文件 把日志输出到执行文件：

![file][file 32]

进入flume目录: cd /kingyifan/flume/apache-flume-1.8.0-bin
    后台启动flume: flume-ng agent --conf conf --conf-file conf/duankou.conf --name a1 -Dflume.root.logger=INFO,console > logger.out 2>&1 &

![file][file 33]

> 发现创建一个logger.out日志文件

![file][file 34]

进入flume目录: cd /kingyifan/flume/apache-flume-1.8.0-bin
    查看日志：cat logger.out 或者tail -f logger.out

> 测试一下：

![file][file 35]

进入flume目录: cd /kingyifan/flume/apache-flume-1.8.0-bin
    执行：telnet localhost 44444 
    随便输入点内容
    chen tui le
    OK
    wo de nv wang bi xia
    OK
    zhe yi tui bian shi yi bei zi
    OK
    wo xiang da sheng gao su ni 
    OK
    ni yi zhi zai wo de shi jie li
    OK
    kingyifan
    OK

> 我们看下日志：

![file][file 36]

终、、

--------------------

以上linux安装以及部署flume。有什么问题可以联系我哈。

鼓励作者写出更好的技术文档，就请我喝一瓶哇哈哈哈哈哈哈哈。。你们的赞助决定我更新的速度哦！

微信：

[![E5_BE_AE_E4_BF_A1_E5_9B_BE_E7_89_87_20180718143757_meitu_220180718150018666.jpg][]][E5_BE_AE_E4_BF_A1_E5_9B_BE_E7_89_87_20180718143757_meitu_220180718150018666.jpg 1]

支付宝：

[![E5_BE_AE_E4_BF_A1_E6_88_AA_E5_9B_BE_2018071814381620180718143910635.png][]][E5_BE_AE_E4_BF_A1_E6_88_AA_E5_9B_BE_2018071814381620180718143910635.png 1]

--------------------

感谢一路支持我的人。。。。。
    
    Love me and hold me
    QQ:69673804（16年老号）
    EMAIL:itw@tom.com
    友链交换
    如果有兴趣和本博客交换友链的话，请按照下面的格式在评论区进行评论，我会尽快添加上你的链接。

--------------------

网站名称：KingYiFan’S Blog
    网站地址：http://blog.cnbuilder.cn
    网站描述：年少是你未醒的梦话，风华是燃烬的彼岸花。
    网站Logo/头像： [头像地址](https://blog.cnbuilder.cn/upload/2018/7/avatar20180720144536200.jpg)

[file]: https://img.cnbuilder.cn/blog/47abd64bdc3cf2e83c5fc2faab1d6cfe.png
[file 1]: https://img.cnbuilder.cn/blog/a391a5ba92e0e98c655f88514c7b53a4.png
[file 2]: https://img.cnbuilder.cn/blog/840eb01565118de09344b32a0fb266a3.png
[file 3]: https://img.cnbuilder.cn/blog/6616fc1419789878bf15b86bdb7e6178.png
[file 4]: https://img.cnbuilder.cn/blog/a564b8f5cf2b7b45c67f4df80faedfb9.png
[file 5]: https://img.cnbuilder.cn/blog/09653161e7b7a9feb3bcecd0fb8d0177.png
[file 6]: https://img.cnbuilder.cn/blog/c84535ab9d82ea61abe8300e30e33dc3.png
[jdk]: https://blog.cnbuilder.cn/archives/linuxinstalljdk
[file 7]: https://img.cnbuilder.cn/blog/30a100c05dc0c69052e451bf91858fb1.png
[file 8]: https://img.cnbuilder.cn/blog/6659e9923a79ce7996d31a3d401b563f.png
[file 9]: https://img.cnbuilder.cn/blog/416dab9efed4736e220f5348c053e6b8.png
[file 10]: https://img.cnbuilder.cn/blog/c69467b19e3a315b2c53722cd42147a2.png
[file 11]: https://img.cnbuilder.cn/blog/0226792c642b900894e6f0685774638f.png
[file 12]: https://img.cnbuilder.cn/blog/9a9d4c290afc1c442d7b2867e810e0f9.png
[file 13]: https://img.cnbuilder.cn/blog/5f71963594eb3f27005d51e64d7d4391.png
[file 14]: https://img.cnbuilder.cn/blog/c5b69d3246a88da0d71d18aaf4c0649a.png
[file 15]: https://img.cnbuilder.cn/blog/f1a23800be41ad2dd5c8dbe0463c0f24.png
[file 16]: https://img.cnbuilder.cn/blog/f5a01fa5a4d327e5cf7791217d676863.png
[file 17]: https://img.cnbuilder.cn/blog/44b14460eaf98282e3b620c89b35c374.png
[file 18]: https://img.cnbuilder.cn/blog/f64073ebbfbc222cf8563dade9851009.png
[file 19]: https://img.cnbuilder.cn/blog/b8024f88a5dc8b5a4b1eaa6520a1b0df.png
[file 20]: https://img.cnbuilder.cn/blog/4e71355c16c623b7fb3de75b4e2f4d6f.png
[file 21]: https://img.cnbuilder.cn/blog/99e7b0998058eb4bda1d3354c05e0eeb.png
[file 22]: https://img.cnbuilder.cn/blog/d6540836df3d222070e075c31a9a18d1.png
[file 23]: https://img.cnbuilder.cn/blog/40f96c927e71465b92cb44db9d115668.png
[file 24]: https://img.cnbuilder.cn/blog/0498365ba01f726fbe0bc1d53403337b.png
[file 25]: https://img.cnbuilder.cn/blog/373f5c51af65713c46e80002ac8d608b.png
[file 26]: https://img.cnbuilder.cn/blog/ef978702bbaaf68b7ebcdea4af5ddb94.png
[file 27]: https://img.cnbuilder.cn/blog/b5626479bb5ecce3efe2ab36e5e4e8a6.png
[file 28]: https://img.cnbuilder.cn/blog/ffecb2d0f9917624e6c227d19d8985fd.png
[file 29]: https://img.cnbuilder.cn/blog/179689fbaaa9b010cdc39e4312411d03.png
[file 30]: https://img.cnbuilder.cn/blog/8cde4678ada1d592a47f1c4bfdc058d9.png
[file 31]: https://img.cnbuilder.cn/blog/21eb618cfad688d11e7ead18ff0aad46.png
[file 32]: https://img.cnbuilder.cn/blog/8be712293a165d9bdc557769ae6d6d9e.png
[file 33]: https://img.cnbuilder.cn/blog/79f403cf976c9d5b8d1952598da83b25.png
[file 34]: https://img.cnbuilder.cn/blog/6eec7f3db8556399d31dcabeb06bfe6b.png
[file 35]: https://img.cnbuilder.cn/blog/4360e935ac4a031f753e9a256b3701c1.png
[file 36]: https://img.cnbuilder.cn/blog/f8acb7df7fa888d57f42bbb02a6116ab.png
[E5_BE_AE_E4_BF_A1_E5_9B_BE_E7_89_87_20180718143757_meitu_220180718150018666.jpg]: https://blog.cnbuilder.cn/upload/2018/7/%E5%BE%AE%E4%BF%A1%E5%9B%BE%E7%89%87_20180718143757_meitu_220180718150018666.jpg
[E5_BE_AE_E4_BF_A1_E5_9B_BE_E7_89_87_20180718143757_meitu_220180718150018666.jpg 1]: http://blog.cnbuilder.cn/upload/2018/7/%E5%BE%AE%E4%BF%A1%E5%9B%BE%E7%89%87_20180718143757_meitu_220180718150018666.jpg
[E5_BE_AE_E4_BF_A1_E6_88_AA_E5_9B_BE_2018071814381620180718143910635.png]: https://blog.cnbuilder.cn/upload/2018/7/%E5%BE%AE%E4%BF%A1%E6%88%AA%E5%9B%BE_2018071814381620180718143910635.png
[E5_BE_AE_E4_BF_A1_E6_88_AA_E5_9B_BE_2018071814381620180718143910635.png 1]: http://blog.cnbuilder.cn/upload/2018/7/%E5%BE%AE%E4%BF%A1%E6%88%AA%E5%9B%BE_2018071814381620180718143910635.png