Apache NIFI环境搭建

电玩女神 2024-04-17 05:23 78阅读 0赞

## NiFi介绍 ##

Apache NiFi 是一个易于使用，功能强大且可靠的系统，用于处理和分发数据。可以自动化管理系统间的数据流。它支持高度可配置的指示图的数据路由、转换和系统中介逻辑，支持从多种数据源动态拉取数据。NiFi原来是NSA的一个项目，目前已经代码开源，是Apache基金会的顶级项目之一。

NiFi是基于Java的，使用Maven支持包的构建管理。 NiFi基于Web方式工作，后台在服务器上进行调度。用户可以为数据处理定义为一个流程，然后进行处理，后台具有数据处理引擎、任务调度等组件。

## 环境搭建 ##

### 下载 ###

Apache nifi即可运行在Windows平台，也可运行在Linux平台，需要安装jdk（nifi 1.x以上需要jdk8以上，0.x需jdk7以上）和maven（推荐3.3.0以上版本）。  
NIFI下载地址：http://nifi.apache.org/download.html

下载当前版本的NiFi二进制工程，目前最新的版本为1.9.2。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDA2MjMzOQ_size_16_color_FFFFFF_t_70]

### 修改默认端口 ###

同一系统启动多个服务时, 避免端口冲突, 建议修改默认端口

配置文件位置: nifi-1.9.2/conf/nifi.properties

# 文件第137行是nifi端口配置, 这里修改为: 58080
    ......
    134 # web properties #
    135 nifi.web.war.directory=./lib
    136 nifi.web.http.host=
    137 nifi.web.http.port=58080  # 修改默认端口为: 58080
    138 nifi.web.http.network.interface.default=
    139 nifi.web.https.host=
    140 nifi.web.https.port=
    141 nifi.web.https.network.interface.default=
    142 nifi.web.jetty.working.directory=./work/jetty
    ......

### 启动 ###

以linux版本为例, 解压并启动

## 下载目录为/opt
    # 进入目录
    cd /opt
    # 解压文件
    tar zxvf nifi-1.9.2-bin.tar.gz
    # 得到目录: nifi-1.9.2, 进入bin目录并查看目录内容
    cd nifi-1.9.2/bin && ls
    # 结果: dump-nifi.bat  nifi-env.bat  nifi-env.sh  nifi.sh  run-nifi.bat  status-nifi.bat
    
    # 使用 nifi.sh 进行单机运行操作, 常用参数如下:
    # ./nifi.sh --help
    # Usage nifi {start|stop|run|restart|status|dump|install}
    
    ## 以下是常用命令
    # 启动：
    ./nifi.sh start
    # 关闭：
    ./nifi.sh stop
    # 重启：
    ./nifi.sh restart
    # 状态：
    ./nifi.sh status

执行启动命令后, 需要等待 1 - 5分钟 ( 根据电脑配置 ), 可以查看日志, 看到端口( 这里配置的是58080 )说明启动成功, 查看日志操作如下:

# 日志目录: nifi-1.9.2/logs
    cd logs && tail -f nifi-app.log
    # 看到如下日志说明启动成功( ip根据你电脑的ip而定, 可能不一样 )

![在这里插入图片描述][20190822070645164.png]  
启动成功后访问 : ip:58080/nifi 进行查看, 访问界面如下:  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDA2MjMzOQ_size_16_color_FFFFFF_t_70 1]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDA2MjMzOQ_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/a1026cdf62284829ac68c7a6f61dce31.png
[20190822070645164.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/bcebd23c4d6e42a983609b3589e73e0b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDA2MjMzOQ_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/ba8ad34285c8456980907ee800d19bbe.png