ELK系列~Nxlog日志收集加转发(解决log4日志换行导致json转换失败问题)

亦凉 2021-04-22 16:44 513阅读 0赞

Nxlog是一个日志收集工具，它将系统日志，或者指定的日志文件，统配符文件找到，然后加工，最后发送到目标位置。而目标位置有很多种，如文件系统，fluentd系统等，下面我们介绍一个使用场景，也是经常涉及到的场景。

1.  log4产生日期，日期文件名，统一后缀，按日志级别命名
2.  nxlog工具，配置，启动，发送数据
3.  fluentd配置，接受数据，打印数据

### 一 log4产生日期，日期文件名，统一后缀，按日志级别命名 ###

产生日志的方法如下

log4net.Config.XmlConfigurator.Configure(new FileInfo("log4.config"));
                for (int i = 0; i < 10; i++)
                {
                    LogHelper.Info("test");
                }
                Console.WriteLine("end");

上面代码将会产生日志文件，命名比较固定，方法日志的收集工作。

二 nxlog工具，配置，启动，发送数据

安装：[https://docs.fluentd.org/v0.12/articles/windows][https_docs.fluentd.org_v0.12_articles_windows]

配置：去掉了log4产生日志每行后面的\\r标记，如果不进行处理，在json转换时会有问题

启动：nxlog -f -c conf/nxlog.conf

查看：打开fluentd端，查看它的日志，发现我们的日志已经过来了

![118538-20171024135922801-1025742291.png][]

这个东西，我在google上找了好久，最后总算是功夫不负有心人，让我找对了！当然也证明了最初的猜想是正确的，即在output中对字符进行过滤！

三 fluentd配置，接受数据，打印数据

1 运行脚本，升级需要的文件夹和文件

mkdir /scripts/fluentd -p
    cd /scripts/fluentd
    
    cat  > Dockerfile << 'EOF'
    FROM fluent/fluentd:v0.12-onbuild
    
    ENV TZ=Asia/Shanghai
    RUN echo "http://mirrors.aliyun.com/alpine/v3.5/main" >/etc/apk/repositories \
            && echo "http://mirrors.aliyun.com/alpine/v3.5/community" >>/etc/apk/repositories \
            && apk add --update tzdata \
            && apk add curl \
            && ln -snf /usr/share/zoneinfo/$TZ /etc/localtime \
            && echo $TZ > /etc/timezone
    
    RUN apk add  --virtual .build-deps \
            sudo build-base ruby-dev \
    && sudo gem sources --clear-all \
    && apk del .build-deps \
    && rm -rf /var/cache/apk/* \
     /home/fluent/.gem/ruby/2.3.0/cache/*.gem EOF mkdir plugins -p mkdir -p /srv/volume/fluentd/ cat > /scripts/fluentd/fluent.conf << 'EOF' <source> @type forward port 24224 bind 0.0.0.0 </source> <match **>  @type stdout
    </match> EOF

2 生成镜像

docker build --no-cache --pull -t pilipa/tools/fluentd ./

2 docker上直接运行

docker run --privileged=true -v /scripts/fluentd/fluent.conf:/fluentd/etc/fluent.conf pilipa/tools/fluentd

启动后出现了配置和日志相关的输出信息

![118538-20171024140803066-1636731968.png][]

日志收集总算可以告一段落了！

[https_docs.fluentd.org_v0.12_articles_windows]: https://docs.fluentd.org/v0.12/articles/windows
[118538-20171024135922801-1025742291.png]: /images/20210423/1619109829688.png
[118538-20171024140803066-1636731968.png]: /images/20210423/1619109813243.png