FileBeat向elasticsearch传入数据，并使用GROK处理

痛定思痛。 2022-12-27 14:15 92阅读 0赞

# 背景 #

最近在捣鼓Filebeat监听springboot的日志然后将其传入到es中。这个时候日志肯定要切分单独字段存储。这个时候用到了es自带的ingest node pipeline 功能，使用grok 使用正则将log进行切分

# 具体实现 #

参考资料：https://www.elastic.co/guide/en/beats/filebeat/current/configuring-ingest-node.html

这篇文档很详细了说明了Filebeat怎么去传入数据

### 1、配置filebeat.yml ###

添加如下配置

output.elasticsearch:
      pipeline: "test-pipeline"  //这里这个名称和es上注册pipeline的名称相同

### 2、在es上注册pipeline ###

根据对应的json文件注册pipeline，使用命令

> curl -H “Content-Type: application/json” -XPUT ‘http://10.130.7.207:9200/\_ingest/pipeline/test-pipeline’ -d@/home/hadoop/zgh/log/pipeline.json

这样的话就可以了，在对应的pipeline.json写上相应的grok就可以了。

对应的json文件阳历(会在grok相关文章详细解释)

{
      "description" : "test-pipeline",
      "processors": [
          {
            "grok": {
               "field": "message",
               "patterns": ["%{TIMESTAMP_ISO8601:client}    %{GREEDYDATA:method}    %{LOGLEVEL:request}    %{GREEDYDATA:demo}    %{ALL_CODE:messageaaa}" ],
               "pattern_definitions" : {
                    "ALL_CODE" : "(.|\n)*"
            }
          }
        }
      ]
    }

发表评论取消回复

表情：

评论列表（有 0 条评论，92人围观）

还没有评论，来说两句吧...

相关阅读

相关调用命令行执行，并可以向里面传入参数

如果你想在程序中调用命令行并向其中传递参数，你可以使用 `subprocess` 模块。以下是 Python 中使用 `subprocess` 模块调用命令行并传递参数的示

╰+攻爆jí腚メ/ 2024年03月25日 13:22/ 0 赞/ 11 阅读

相关 filebeat 使用

1. 配置文件 filebeat-prod.yml 监控的日志文件 paths: - /usr/local/project/logs/.log

Bertha 。/ 2023年08月17日 15:35/ 0 赞/ 102 阅读

相关 elasticsearch filebeat+logstash+elasticsearch加密传输测试

-------------------- elasticsearch filebeat+logstash+elasticsearch加密传输测试 \\\\

左手的ㄟ右手/ 2023年07月01日 08:57/ 0 赞/ 52 阅读

相关 elasticsearch filebeat采集日志输出到elasticsearch

-------------------- elasticsearch filebeat采集日志输出到elasticsearch 使用filebeat采集日志文件，

痛定思痛。/ 2023年06月29日 08:59/ 0 赞/ 54 阅读

相关 elasticsearch filebeat使用说明

-------------------- elasticsearch filebeat使用说明 \\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\

曾经终败给现在/ 2023年06月29日 02:13/ 0 赞/ 6 阅读

相关 Filebeat向Elasticsearch输入log，合并行

> 参考资料 > https://blog.csdn.net/qq\_41154522/article/details/107283490 需求 Filebeat向

朱雀/ 2022年12月28日 00:36/ 0 赞/ 114 阅读

相关 FileBeat向elasticsearch传入数据，并使用GROK处理

背景最近在捣鼓Filebeat监听springboot的日志然后将其传入到es中。这个时候日志肯定要切分单独字段存储。这个时候用到了es自带的ingest node p

痛定思痛。/ 2022年12月27日 14:15/ 0 赞/ 93 阅读

相关【Elasticsearch】使用 Grok 和 Elasticsearch 为数据添加结构

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。有问题可以先私聊我，本人每天都在线，会帮助需要的人。文章目录 1.

深碍√TFBOYSˉ_/ 2022年10月09日 00:42/ 0 赞/ 139 阅读

相关 elk之filebeat安装配置并使用logstash接收数据

下载: wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.4.2-x86\_64.r

女爷i/ 2022年01月25日 15:12/ 0 赞/ 323 阅读

相关 elk之filebeat+elasticsearch+kibana

软件: jdk1.8.0\_191 需要设置JAVA\_HOME PATH, es会用到 elasticsearch-6.4.2 数据存储及查询 kibana-6.4.2

朴灿烈づ我的快乐病毒、/ 2022年01月25日 15:07/ 0 赞/ 293 阅读