ES 实战复杂sql查询、修改字段类型

落日映苍穹つ 2024-03-17 21:28 109阅读 0赞

### 1.查询索引得 mapping 与 setting ###

![3fa8e492b74c5b4ecbb297afb4493807.png][]

get 直接查询 索引名称时，会返回 该 索引得 mapping 和 settings 得配置，上述返回得结构如下：

![caa53f93360ff814d95e5d6d0e7ce985.gif][]

### 2. 执行复杂条件得查询： ###

![b979f436dca66274a228edf68f167dd1.png][]

该dsl 为：

![复制代码][adb0f323bcb0d83690b7b43fe6f35e87.gif]

GET terra-syslog_2023-07-15/_search
    
    {
      "size": 0,
      "query": {
        "bool": {
          "must": [
            {
              "wildcard": {
                "syslog_program.keyword": {
                  "wildcard": "*SSH_USER_LOGIN*",
                  "boost": 1
                }
              }
            }
          ],
          "adjust_pure_negative": true,
          "boost": 1
        }
      },
      "aggregations": {
        "time_agg": {
          "date_histogram": {
            "field": "received_at",
            "format": "EEE",
            "fixed_interval": "1d",
            "offset": 0,
            "order": {
              "_key": "asc"
            },
            "keyed": false,
            "min_doc_count": 0
          },
          "aggregations": {
            "user_agg": {
              "terms": {
                "field": "user.keyword",
                "size": 10,
                "min_doc_count": 1,
                "shard_min_doc_count": 0,
                "show_term_doc_count_error": false,
                "order": [
                  {
                    "_count": "desc"
                  },
                  {
                    "_key": "asc"
                  }
                ]
              }
            }
          }
        }
      }
    }

![复制代码][4d10816314a3ca1bc81895065f9f67a0.gif]

这段 DSL 具有以下作用：

1.  `"size": 0`: 设置返回的结果集大小为 0，即只返回聚合结果，不返回匹配的文档。
2.  `query` 部分：构建了一个布尔查询，包含多个 `exists` 和 `range` 子查询，用于过滤符合条件的文档。
    
     *  `exists` 子查询检查指定字段是否存在，这里依次检查了 `source.ip`、`source.port`、`destination.ip`、`destination.port`、`host.name` 和 `flow.rep_tags` 字段的存在。
     *  `range` 子查询指定了对 `@timestamp` 字段进行范围筛选，从给定的时间戳范围中选择满足条件的文档。
3.  `aggregations` 部分：定义了聚合操作，通过 `terms` 聚合按照 `host.name` 字段进行分组，并计算每个组内的文档数。
    
     *  `terms` 聚合将按照 `host.name` 字段的值进行分组。设置 `size` 为最大整数 `2147483647`，以确保返回所有分组。
     *  `min_doc_count` 设置为 1，表示只返回至少拥有一个文档的分组。
     *  `shard_min_doc_count` 设置为 0，表示在单个分片上没有要求文档数量的最小要求。
     *  `show_term_doc_count_error` 设置为 false，不显示术语文档计数错误。
     *  `order` 指定了排序规则，首先按照分组中的文档数 `_count` 降序排序，然后按照 `host.name` 字段的值升序排序。
     *  在 `terms` 聚合内部定义了一个子聚合 `cardinality`，用于计算每个分组内唯一组合的数量。这里通过拼接 `source.ip`、`source.port`、`destination.ip` 和 `destination.port` 字段的值来作为唯一标识。

该 DSL 查询的作用是在给定时间范围内，统计满足一系列条件（存在指定字段）的文档，并按照 `host.name` 进行分组并计算每个组内唯一组合的数量。

另外，在查询时，使用 \_search 可以执行DSL, 如果没有\_search 时，可以查询该索引得文档结构类型，以及该索引得副本、分片等信息

### 3.修改 该 索引得 mapping 中得字段类型 ###

将前面的映射中的 `syslog_timestamp` 字段类型修改为日期类型（date），需要更新映射定义并重新创建索引。

1.  删除现有的索引，或者创建一个新的索引。
2.  更新映射定义，将 `syslog_timestamp` 的类型更改为 "date"。以下是更新后的映射示例：

![复制代码][05208891b31c592ec8d3539ba62be6d6.gif]

{
      "mappings": {
        "_doc": {
          "properties": {
            // 其他字段...
            "syslog_timestamp": {
              "type": "date"
            },
            // 其他字段...
          }
        }
      }
    }

![复制代码][05208891b31c592ec8d3539ba62be6d6.gif]

1.  使用上述修改后的映射定义来创建索引或更新现有索引的映射。可以使用 Elasticsearch 的 RESTful API 或管理工具（如 Kibana Console）执行以下请求：

![复制代码][e8fef5b40465b5b5ec705b37960eff9c.gif]

PUT terra-syslog_2023-07-15
    {
      "mappings": {
        "_doc": {
          "properties": {
            // 其他字段...
            "syslog_timestamp": {
              "type": "date"
            },
            // 其他字段...
          }
        }
      }
    }

![复制代码][7434e745e14fe37f627fe240ad4bacc2.gif]

这样，`syslog_timestamp` 字段的类型就会被修改为日期类型，并可以存储、索引和查询日期值。根据数据的格式和需求，Elasticsearch 会自动解析日期字符串并将其转换为适当的日期对象。

[3fa8e492b74c5b4ecbb297afb4493807.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/8888045851584b749320557f11a432f2.png
[caa53f93360ff814d95e5d6d0e7ce985.gif]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/a97f2dd9b1e04be08b0df665e247f093.png
[b979f436dca66274a228edf68f167dd1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/39058ce8577d4c088acc97d1ac8e7812.png
[adb0f323bcb0d83690b7b43fe6f35e87.gif]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/2c26a6c5e7a54839be1e5e382343879d.png
[4d10816314a3ca1bc81895065f9f67a0.gif]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/b710e85192ac420d9065e9544c2c8a01.png
[05208891b31c592ec8d3539ba62be6d6.gif]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/4d64e873261f453a9ec775fe24e5363a.png
[e8fef5b40465b5b5ec705b37960eff9c.gif]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/5ddfa3c8d2c246589032ce2ff061e0fa.png
[7434e745e14fe37f627fe240ad4bacc2.gif]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/8d9c67eb836f4998b29454fff8587ffe.png