ES学习笔记

你的名字 2024-03-31 09:33 56阅读 0赞

#### 01:REST ####

指的是客户端和服务器之间的交互在请求之间是无状态的,从客户端到服务器的每个请求都必须包含理解请求所必须的信息,同时在请求之间的任意间隔时间点,若服务器重启,那么客户端是得不到相应的通知的.所以无状态的请求可以由任何可用的服务器回答.

在REST样式的Web服务中,每个资源都有一个地址,资源本身都是用过方法调用的目标,这些方法都是标准方法: PUT,GET,POST.

理解就是想要对互联网上的资源进行操作,就必须向资源所在的服务器发出请求,请求体重必须包含资源的网络路径,以及对资源进行的操作.

#### 02倒排索引 ####

下图为正排(索引对应着文本内容)

![2feaf4bd7fb24557a89f5f758e504645.png][]

下图为倒排(以文本内容为key,id为内容)

![cf2a05abed1d40a0ac1e2693606f64bb.png][]

#### 03和mysql对应关系 ####

es是面向文档的数据库,一条数据在这里就是一个文档,下面给出对应关系:

![aa45f408614e4db5aa3a7ac26854fcc4.png][]

es里的index可以看成一个数据库,type看成数据表(逐渐被弱化7.x版本后已被删除),documents相当于行.

#### 04索引常用命令 ####

1.put命令用于向es服务器发出添加索引的请求:若重复添加想用的索引,会报错

eg:[http://192.168.41.131:9200/shopping][http_192.168.41.131_9200_shopping] 向虚拟机中的服务器添加shopping索引

2.索引查询:

2.1查询所有的索引

[http://192.168.41.131:9200/\_cat/indices?v][http_192.168.41.131_9200_cat_indices_v]

其中\_cat表示查看的意思, indices表示索引

![da8c9ae14fb14d41a0f041230435edb1.png][]

![4850011b95d94aafb118a0d5a0d6965e.png][]

2.2单个索引查询:

[http://192.168.41.131:9200/shopping][http_192.168.41.131_9200_shopping] 也就是在后面加上索引名字

![26c8ac4f559e487989b7c8c43db57de6.png][]

3.删除索引 就是将发送的方式改为delete即可.

[http://192.168.41.131:9200/shopping][http_192.168.41.131_9200_shopping]

![a8f7211a408945ae866e21e1f6a9cc2c.png][]

#### 05文档创建 ####

文档可以类比为关系型 数据库中的表数据,添加数据的格式为json.使用postman发送数据,注意post设置如下

![3deda7486db64221b1d154b581bbf323.png][]

注意这里的数据创建时没有指定唯一数据标识,默认情况下,es服务器会自动生成一个随机标识(id),手动指定需要在创建时指定 :格式如下

![90373939c0fd4cc5815b879eefb9c673.png][]

{
        "_index": "shopping", //索引
        "_type": "_doc",//类型-文档
        "_id": "1",//id
        "_version": 1,//版本
        "result": "created",//结果(created表示创建成功)
        "_shards": {
            "total": 2,//分片-总数
            "successful": 1,//分片总数
            "failed": 0
        },
        "_seq_no": 1,
        "_primary_term": 1
    }

#### 06 主键查询,全查询 ####

查询文档,需要指明文档的唯一性标识, 使用GET方法,类似如下

[http://192.168.41.131:9200/shopping/\_doc/1][http_192.168.41.131_9200_shopping_doc_1]

如果查不到,会返回false

查询索引下所有的数据,在索引后加上\_search

![ab905f5f97424be0ae5124a083de1557.png][]

返回数据的格式如下

{
        "took": 67,
        "timed_out": false,
        "_shards": {
            "total": 1,
            "successful": 1,
            "skipped": 0,
            "failed": 0
        },
        "hits": {
            "total": {
                "value": 2,
                "relation": "eq"
            },
            "max_score": 1.0,
            "hits": [
                {
                    "_index": "shopping",
                    "_type": "_doc",
                    "_id": "XH29l4QBMiCocBhl0HVo",
                    "_score": 1.0,
                    "_source": {
                        "title": "小米手机",
                        "category": "小米",
                        "images": "http://www.gulixueyuan.com/xm.jpg",
                        "price": 3999.00
                    }
                },
                {
                    "_index": "shopping",
                    "_type": "_doc",
                    "_id": "1",
                    "_score": 1.0,
                    "_source": {
                        "title": "小米手机",
                        "category": "小米",
                        "images": "http://www.gulixueyuan.com/xm.jpg",
                        "price": 3999.00
                    }
                }
            ]
        }
    }

#### 07修改 ####

全量修改:

如果请求的url相同,那么输入不同的内容(请求体发生变化)会导致原有的数据被覆盖

![6262bead22ec49bc95d3f319f23eee9c.png][]

局部修改:

将index后面添加\_update,然后跟上doc的id,同样以post的形式发送,那么可以得到局部修改后的数据.注意在json中,添加了"doc"用来说明要修改的是个文档

![858fa6d698e5477197e4b45ba2fd5944.png][]

#### 08删除 ####

删除时逻辑删除,不是物理删除,在删除后,他不会从磁盘立即移除.

![fe54ce6661b34a59b1fdc83e12085922.png][]

#### 09条件查询 ####

1.可以使用url拼接的方式,但是不安全

![8b159103accf43258ec91c901c2e05fa.png][]

2.使用json请求体查询(使用get方式)

![0f78c1a47793451a8a56e12454429b95.png][]

3.查询全部文档内容

![cab4285b85ff491c9f7782046c39e6c4.png][]

4.查询指定字段,注意json格式,添加了一个"\_source"字段,且,位于query外侧 ![df70e565c9954e39b464a1ce2c516f6c.png][]

5.分页查询

from指定查询的起始位置，size表示从起始位置开始的文档数量.如果搜索size大于10000，需要设置index.max\_result\_window参数 ，默认为10000。![eaa18971e5444f71a7c2a9d88fe298b2.png][]

6.指定数据的排序,按照price降序排序

![b5de20b3ba184facba0f62ea139afd4a.png][]

7.多条件查询 也就是说多加几个math选项,同时注意添加了"must"字段(相当于数据库的&&字段),同时注意must后面加的是\[\],不是\{\}

![3ce87281bddc4cd0b0a10932d4e0357e.png][]

如果想要表示"或" 那么使用should字段,注意filter和bool的包含关系,要把filter放到bool的括号里!!!!! gt表示大于

![22de2113cd1a441491aed3170df2486f.png][]

#### 10全文检索,完全匹配,高亮查询 ####

1.全文检索:类似搜索引擎,比如输入"小华"那么会返回品牌带有小和华任意一个字的所有标识,在本例中,显然是,小米和华为两个品牌.

![e35151f107474cf183bccfaa8c4a2263.png][]

2.完全匹配 将match换成 match\_phrase 此时会非常严格的执行匹配,一旦不匹配会返回空.当然也可以有个调节因子,slop 表示少匹配slop个元素也可以

![1866b36e7af14a348f4cbbe4da303e25.png][]

3.高亮查询,就是增加个highlight模块

![50f4333426644b1dae9a8e1a1797e9ba.png][]

![9fb9bcc408e2449ba0aedf272a6d685e.png][]

#### 11.聚合查询 ####

关键字:aggs,terms,聚合查询允许使用者对文档进行统计分析,类似于group by函数,当然还有其他许多聚合,比如最大值max,平均值avg.

带原始数据的聚合请求: ![821a5afd03844e0ebecd20a49f5b686c.png][]

如果不想带原始数据,那么,可以在args外指定一个size参数, size = 0

![2155ae57431a4a3db78d5b582f7ebd8f.png][]

返回结果不包括其他条目,只有prices这一项

![26684bb314b6426c9cb9b10129e7f5d7.png][]

求平均值: 将上一步中的terms换成使用avg即可.

![e898adf533dc45388ca0d00d2a1f1f0a.png][]

#### 12映射关系 ####

在建立 了索引之后就等于有了数据库中的database,然后我们需要创建写字段,也就是所谓的索引库映射工作,类似于关系型数据库的表结构.(建表过程).

映射:创建数据库的表字段需要的名称,类型,长度,约束等

1.新建一个索引库 user ,注意body不要带东西!

![b3f13259f9544564b06f93560e74fe05.png][]

2.创建映射:插入三个属性 ![149816dcd6744e0fb35ee52ddaf3c0aa.png][]

3.添加数据

![5c3da3eb267446ec874d0bf709cbc4c0.png][]

4.查询包含小的数据,注意url后面接的是\_search

![e95ba9f3f09f4c5d8e85273ad8d8980e.png][]

es数据类型(基本类型):

1.字符串类型:

1.text 会被分词的数据,

2.keyword 不会分词的字符串,可以设置是否需要存储 "index":"true|false"

2.数字类型:

![a0767f7437494adf968f6d6b79fdba2c.png][]

3.Json没有日期类型,所以日期可以是

包含格式化日期的字符串,"2018-10-01"或者"2018/10/01 12:11:44"

代表时间毫秒数的长整型数字

代表时间秒数的整数

4.范围类型-range

![252e367475674c168a44680eb752db69.png][]

es数据类型(复杂数据类型):

1.数组类型:array

es中没有专门的数组类型,所以使用\[\]定义即可.注意数组中的数据类型必须为同一类 型,不可以跨类型构建数组.

动态添加数组的时候第一个加入数组的数据类型决定了整个数组的数据类型

数组可以包含null值,空数组会被当做missing field 没有值的字段

给出一些示例:

① 字符串数组: ["one", "two"];
    ② 整数数组: [1, 2];
    ③ 由数组组成的数组: [1, [2, 3]], 等价于[1, 2, 3];
    ④ 对象数组: [{"name": "Tom", "age": 20}, {"name": "Jerry", "age": 18}].

2.对象类型:object

json文档是分层的,文档可以包含内部对象,内部对象也可以进一步包含内部对象

添加示例,存储方式以及文档的映射结构如下

PUT employee/developer/1
    {
        "name": "ma_shoufeng",
        "address": {
            "region": "China",
            "location": {"province": "GuangDong", "city": "GuangZhou"}
        }
    }

{
        "name":                       "ma_shoufeng",
        "address.region":             "China",
        "address.location.province":  "GuangDong", 
        "address.location.city":      "GuangZhou"
    }

文档的映射结构:

PUT employee
    {
        "mappings": {
            "developer": {
                "properties": {
                    "name": { "type": "text", "index": "true" }, 
                    "address": {
                        "properties": {
                            "region": { "type": "keyword", "index": "true" },
                            "location": {
                                "properties": {
                                    "province": { "type": "keyword", "index": "true" },
                                    "city": { "type": "keyword", "index": "true" }
                                }
                            }
                        }
                    }
                }
            }
        }
    }

3.嵌套类型:nested

嵌套类型是对象数据类型的一个特例,可以让array类型的对象被独立索引和搜索. 嵌套对象实质是将每个对象分离出来, 作为隐藏文档进行索引.

创建映射:

PUT game_of_thrones
    {
        "mappings": {
            "role": {
                "properties": {
                    "performer": {"type": "nested" }
                }
            }
        }
    }

添加数据:

PUT game_of_thrones/role/1
    {
        "group" : "stark",
        "performer" : [
            {"first": "John", "last": "Snow"},
            {"first": "Sansa", "last": "Stark"}
        ]
    }

检索数据

GET game_of_thrones/_search
    {
        "query": {
            "nested": {
                "path": "performer",
                "query": {
                    "bool": {
                        "must": [
                            { "match": { "performer.first": "John" }},
                            { "match": { "performer.last":  "Snow" }} 
                        ]
                    }
                }, 
                "inner_hits": {
                    "highlight": {
                        "fields": {"performer.first": {}}
                    }
                }
            }
        }
    }

[2feaf4bd7fb24557a89f5f758e504645.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/39c9dee4ece34f4bb43d0af3bcb0e40d.png
[cf2a05abed1d40a0ac1e2693606f64bb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/e80929b6a0c94576896b4a37d361d844.png
[aa45f408614e4db5aa3a7ac26854fcc4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/c01cf6bae5914417b9a3c7ecbc9f66af.png
[http_192.168.41.131_9200_shopping]: http://192.168.41.131:9200/shopping
[http_192.168.41.131_9200_cat_indices_v]: http://192.168.41.131:9200/_cat/indices?v
[da8c9ae14fb14d41a0f041230435edb1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/742f8bf93744497d84d95c264155e1a5.png
[4850011b95d94aafb118a0d5a0d6965e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/f9ec2da3825643b1b822eb17f9047678.png
[26c8ac4f559e487989b7c8c43db57de6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/3eb87891f5fd4737aea2c7433df06501.png
[a8f7211a408945ae866e21e1f6a9cc2c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/125453d9cbfb439e93901e10d4d7271c.png
[3deda7486db64221b1d154b581bbf323.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/6626d86e26514c49bd9a7cacaa2d48e2.png
[90373939c0fd4cc5815b879eefb9c673.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/e7f59d5c5f0c4fe59de217226d372474.png
[http_192.168.41.131_9200_shopping_doc_1]: http://192.168.41.131:9200/shopping/_doc/1
[ab905f5f97424be0ae5124a083de1557.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/158d41488dfc4218ab4426be0eb3bafd.png
[6262bead22ec49bc95d3f319f23eee9c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/c678bc1cc8e64535831135489858b07d.png
[858fa6d698e5477197e4b45ba2fd5944.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/306fe80a7daf4b8d82f15e99eae3c382.png
[fe54ce6661b34a59b1fdc83e12085922.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/44821d085c9b4f49848864075214d40c.png
[8b159103accf43258ec91c901c2e05fa.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/ed7ad95c529746bda7f30cf5d8cba029.png
[0f78c1a47793451a8a56e12454429b95.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/1586831e813f4dbf8c44865f7a98bf1a.png
[cab4285b85ff491c9f7782046c39e6c4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/a00b1d3f5a5b427f9c54d3b88c4bb5fd.png
[df70e565c9954e39b464a1ce2c516f6c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/aadcfecc8a56423e9716b2bdaf91f20f.png
[eaa18971e5444f71a7c2a9d88fe298b2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/00803f64214b43b4b72892b6b7ab52f9.png
[b5de20b3ba184facba0f62ea139afd4a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/ad5c7999877a4575823f463f9e873d0d.png
[3ce87281bddc4cd0b0a10932d4e0357e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/1b282c30d9bb40ff95e92f01e14bf2df.png
[22de2113cd1a441491aed3170df2486f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/81fcb40b73a348e3a9df46226dc3f0cc.png
[e35151f107474cf183bccfaa8c4a2263.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/f687095713ce44e4b8a5e7e700a518ee.png
[1866b36e7af14a348f4cbbe4da303e25.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/22367b1560924db78b0dcfc8d85e1d34.png
[50f4333426644b1dae9a8e1a1797e9ba.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/2c8195120057438599915450f7820f40.png
[9fb9bcc408e2449ba0aedf272a6d685e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/8889e4cfef6f4eb882e0970f557360aa.png
[821a5afd03844e0ebecd20a49f5b686c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/0a08bc63e99d4d05ac98a664bbbf3f51.png
[2155ae57431a4a3db78d5b582f7ebd8f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/af03083911aa4fd4b041ae6bac5bc571.png
[26684bb314b6426c9cb9b10129e7f5d7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/980901c90aca4a75adfc9bff523a27be.png
[e898adf533dc45388ca0d00d2a1f1f0a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/db567df3dfa24056a92e4a7bbd4673dc.png
[b3f13259f9544564b06f93560e74fe05.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/f8107453c7e24caa93f0bf1b6391f794.png
[149816dcd6744e0fb35ee52ddaf3c0aa.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/c68d70ea424246238319ca62ba7afe77.png
[5c3da3eb267446ec874d0bf709cbc4c0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/f05d565b8b3a49f1a5973c5126bb08f8.png
[e95ba9f3f09f4c5d8e85273ad8d8980e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/9b6bb187e6c1406090016dd7f0731961.png
[a0767f7437494adf968f6d6b79fdba2c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/3343bee687f444d3846ee55797c38558.png
[252e367475674c168a44680eb752db69.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/f8eb54f9a21a49b783a38b89a9703157.png