elasticsearch(python版本)

浅浅的花香味﹌ 2022-12-11 05:24 210阅读 0赞

# es 简述 #

**主题:solr or es 结合弥补mongodb的中文全文检索功能**

es: /usr/local/elasticsearch-5.4.0/bin

访问地址: http://localhost:9200/

grunt: /usr/local/es-head/node\_modules/grunt/bin grunt server (es可视化)

访问地址: http://localhost:9100/

文档链接:https://www.cnblogs.com/ExMan/p/11385931.html

## 一. 方案一: ##

建索引方案一:

solr或者es部分只存储需要搜索的索引和数据的主键ID。比如根据标题搜索，那么只建立标题索引。存储部分只存主键ID。
    这样只要标题做了修改，需要更新标题索引即可。
    更新可以在更新的业务接口中将更新索引的操作放入队列来进行建索引操作。（或者直接在业务方法中更新，这样耦合度太高，使用队列耦合低，但是索引更新会稍有延迟）

##### 搜索方案一 #####

在搜索接口中调用solr进行搜索，如果我们只存了主键ID,那么拿到搜索的结果的数据ID对mongodb进行in查询，组装数据返回给调用方。
    如果我们存储了所有字段，那么其实相当于把solr或者es当成数据库在用了，搜索的结果可以直接返回给调用方，不用经过mongodb,此时mongodb只作为一个元数据存储使用。

建索引方案二:

solr或者es将存储所有数据，标题建索引，其他字段只做存储。
    更新时需要更新所有字段。

## 二. 方案二: ##

##### 搜索方案二 #####

这种方案正式我公司在使用的，原理是我们基于mongodb的协议开发了一个代理框架。
    
    这么说可能大家不太理解，如果有用过数据库中间件mycat的同学肯定就有点印象了。
    
    就是跟mycat一样，mycat是基于mysql协议来封装的。
    
    对于用户来说就是可以把mycat当做一个mysql来用，mycat后面其实有多台mysql的节点，但是对于使用方来说就只有一个，屏蔽了分库分表的细节部分。
    
    我们这个也是这样的原理，对于使用方来讲就是一个mongodb。
    可以执行mongodb的所有操作，当然需要配置哪些字段需要做全文检索操作，需要分词等等。
    
    一旦用到这个字段进行搜索的时候，框架会自动去solr或者es进行搜索，然后封装数据返回给调用方，对调用方来说是透明的，它不知道背后还去查了solr。
    当然建索引也是如此，在数据插入，更新，删除的时候会实时同步索引，这样就不需要在业务中或者队列中来同步索引，在使用放看来我就是更新了mongodb的数据，其实这个时候也更新了索引。
    
    这边只是给大家一些思路，如果不封装框架，用起来会麻烦些
    如果封装框架，用起来会简单些，难度就在写框架的这个过程中了
    以上思路，仅供参考。。。

## 三. 方案三: ##

##### 建索引方案三: #####

使用mongo-connector进行索引同步
    当然在使用mongo-connector的时候一定要使用副本集的方式。
    因为mongo-connector的原理就是监听mongodb的oplog来进行索引的同步更新。
    单节点是没有操作oplog的。

待完善…

四. es 简单知识点

（1）掌握 Elasticsearch 的基本概念，主要包括：

*  索引（index）
 *  类型（type）
 *  映射（mapping）
 *  文档（document）
 *  倒排索引原理
 *  文档打分机制
 *  集群（cluster）——单节点、集群安装与部署
 *  健康状态（red/yellow/green）
 *  数据存储
 *  数据类型（long/date/text、keyword/nested等）
 *  数据展示（结合Head插件的基础可视化）
 *  ……

（2）掌握 Elasitcsearch 的基本操作，主要包括：

*  新增（insert）
 *  删除（delete/deletebyquery）
 *  修改（update/updatebyquery）
 *  查找（search）
 *  精确匹配检索（term、terms、range、exists）
 *  模糊匹配检索（wildcard、prefix、negix正则）
 *  分词全文检索（match/match\_phrase等）
 *  多条件 bool 检索（must/must\_not/should多重组合）
 *  分词（英文分词、拼音分词、中文分词）
 *  高亮
 *  分页查询
 *  指定关键词返回
 *  批量操作 bulk
 *  scroll 查询
 *  reindex 操作

3）掌握 Elasticsearch 高级操作，主要包括：

*  聚合统计（数量聚合、最大值、最小值、平均值、求和等聚合操作）
 *  图像化展示（hisgram 按照日期等聚合）
 *  聚合后分页
 *  父子文档
 *  数组类型
 *  nested 嵌套类型
 *  ES 插件错误排查（集群问题、检索问题、性能问题）
 *  ES 性能调优（配置调优、集群调优等）

4）掌握 Elasticsearch Java/Python 等API，主要包括：

*  Elasticsearch 原生自带 API、JEST、Springboot 等 API 选型
 *  Elasticsearch 多条件 bool 复杂检索 API
 *  Elasticsearch 分页 API
 *  Elasticsearch 高亮 API
 *  Elasticsearch 聚合 API
 *  Elasticsearch 相关 JSON 数据解析

5）Elasticsearch 结合场景开发实战，主要包括：

*  数据可视化（Kibana、Grafana 等 其中 Grafana 比较适合监控类场景）
 *  通过 logstash/beats 等导入数据
 *  Elasticsearch 和 Kafka 结合的应用场景
 *  Elasticsearch 和 Mongo 结合的应用场景
 *  Elasticsearch 和 Hadoop 结合的应用场景
 *  结合业务需求的定制化应用场景（日志分析、文档检索、全文检索、金融等各行业检索）
 *

## 四, 使用mongo-connector ##

前提条件: MongoDB 必须开启复制集，通过–replSet设置副本，开启mongodb

3.在某些特定的场景下提高读性能
    默认情况下，读和写都只能在主节点上进行。
    下面是MongoDB的客户端支持5种复制集读选项：
    primary：默认模式，所有的读操作都在复制集的 主节点 进行的。
    primaryPreferred：在大多数情况时，读操作在 主节点 上进行，但是如果主节点不可用了，读操作就会转移到 从节点 上执行。
    secondary：所有的读操作都在复制集的 从节点 上执行。
    secondaryPreferred：在大多数情况下，读操作都是在 从节点 上进行的，但是当 从节点 不可用了，读操作会转移到 主节点 上进行。
    nearest：读操作会在 复制集 中网络延时最小的节点上进行，与节点类型无关。

## 五, es 字段 mapping 映射 ##

#### 1, es常用名词解释 ####

(1) index

索引 相当于数据库中的 库名

使用: index = "analyzed"
    index有三个选项：
    # analyzed:默认选项，以标准的全文索引方式，分析字符串，完成索引。
    # not_analyzed:精确索引，不对字符串做分析，直接索引字段数据的精确内容。
    # no：不索引该字段。

## 六, es常用的查询操作 ##

### 1, 查询所有 ###

body = {
    	"       
    	query":{
            "match_all":{}
    		    }
    		}

### 2, 等于查询，term与terms ###

term  --> name 等于 python
    		body = {
    		    "query":{
    		        "term":{
    		            "name":"python"
    		        }
    		    }
    		}
    		# terms: 查询 name = “ios” 或 name = “android”
    			body = {
    			    "query":{
    			        "terms":{
    			            "name":[
    			                "ios","android"
    			            ]
    			        }
    			    }
    }

### 3, 包含查询，match与multi\_match ###

# match: 匹配name包含"python"关键字的数据
    body = {
        
        "query":{
        
            "match":{
        
                "name":"python"
            }
        }
    }
    # 查询name包含python关键字的数据
    es.search(index="index_name",doc_type="type_name",body=body)
     
    # multi_match: 在name和addr里匹配包含深圳关键字的数据
    body = {
        
        "query":{
        
            "multi_match":{
        
                "query":"深圳",
                "fields":["name", "addr"]
            }
        }
    }
    # 查询name和addr包含"深圳"关键字的数据
    es.search(index="index_name",doc_type="type_name",body=body)

### 5. ids ###

body = {
        
        "query":{
        
            "ids":{
        
                "type":"type_name",
                "values":[
                    "1","2"
                ]
            }
        }
    }
    # 搜索出id为1或2的所有数据
    es.search(index="index_name",doc_type="type_name",body=body)

### 6. 复合查询bool ###

bool有3类查询关系，must(都满足),should(其中一个满足),must\_not(都不满足)

body = {
        
        "query":{
        
            "bool":{
        
                "must":[
                    {
        
                        "term":{
        
                            "name":"python"
                        }
                    },
                    {
        
                        "term":{
        
                            "age":18
                        }
                    }
                ]
            }
        }
    }
    # 获取name="python"并且age=18的所有数据
    es.search(index="index_name",doc_type="type_name",body=body)

### 7. 切片式查询 ###

body = {
        
        "query":{
        
            "match_all":{
        }
        }
        "from":2    # 从第二条数据开始
        "size":4    # 获取4条数据
    }
    # 从第2条数据开始，获取4条数据
    es.search(index="index_name",doc_type="type_name",body=body)

### 8. 范围查询 ###

body = {
        
        "query":{
        
            "range":{
        
                "age":{
        
                    "gte":18,       # >=18
                    "lte":30        # <=30
                }
            }
        }
    }
    # 查询18<=age<=30的所有数据
    es.search(index="index_name",doc_type="type_name",body=body)

### 9. 前缀查询 ###

body = {
        
        "query":{
        
            "prefix":{
        
                "name":"p"
            }
        }
    }
    # 查询前缀为"赵"的所有数据
    es.search(index="index_name",doc_type="type_name",body=body)

### 10. 通配符查询 ###

body = {
        
        "query":{
        
            "wildcard":{
        
                "name":"*id"
            }
        }
    }
    # 查询name以id为后缀的所有数据
    es.search(index="index_name",doc_type="type_name",body=body)

### **11, filter\_path, 响应过滤** ###

# 只需要获取_id数据,多个条件用逗号隔开
    es.search(index="index_name",doc_type="type_name",filter_path=["hits.hits._id"])

# 获取所有数据
    es.search(index="index_name",doc_type="type_name",filter_path=["hits.hits._*"])

### **12, count , 执行查询并获取该查询的匹配数** ###

# 获取数据量
    es.count(index="index_name",doc_type="type_name")

### **13, 度量类聚合** ###

#### **13.1 \# 搜索所有数据，并获取age最小的值** ####

body = {
        
        "query":{
        
            "match_all":{
        }
        },
        "aggs":{
                                # 聚合查询
            "min_age":{
                         # 最小值的key
                "min":{
                         # 最小
                    "field":"age"       # 查询"age"的最小值
                }
            }
        }
    }
    es.search(index="index_name",doc_type="type_name",body=body)

#### **13.2 搜索所有数据，并获取age最大的值** ####

body = {
        
        "query":{
        
            "match_all":{
        }
        },
        "aggs":{
                                # 聚合查询
            "max_age":{
                         # 最大值的key
                "max":{
                         # 最大
                    "field":"age"       # 查询"age"的最大值
                }
            }
        }
    }
    es.search(index="index_name",doc_type="type_name",body=body)

#### **13.3 \# 搜索所有数据，并获取所有age的和** ####

body = {
        
        "query":{
        
            "match_all":{
        }
        },
        "aggs":{
                                # 聚合查询
            "sum_age":{
                         # 和的key
                "sum":{
                         # 和
                    "field":"age"       # 获取所有age的和
                }
            }
        }
    }
    # 搜索所有数据，并获取所有age的和
    es.search(index="index_name",doc_type="type_name",body=body)

#### **13.4 \# 搜索所有数据，获取所有age的平均值** ####

body = {
        
        "query":{
        
            "match_all":{
        }
        },
        "aggs":{
                                # 聚合查询
            "avg_age":{
                         # 平均值的key
                "sum":{
                         # 平均值
                    "field":"age"       # 获取所有age的平均值
                }
            }
        }
    }
    # 搜索所有数据，获取所有age的平均值
    es.search(index="index_name",doc_type="type_name",body=body)

### 14. from、size ###

1. from：从“第几条”开始查询
    2. size：查询多少条
    body = {
        
        "query":{
        
            "match_all":{
        }
        },
        "size":"50",
        "from":"0"
    }

### 15. 排序 ###

body = {
        
        "query":{
        
            "match_all":{
        }
        }
        "sort":{
        
            "age":{
                         # 根据age字段升序排序
                "order":"asc"       # asc升序，desc降序
            }
        }
    }
    
    # 多字段排序，注意顺序！写在前面的优先排序
    body = {
        
        "query":{
        
            "match_all":{
        }
        }
        "sort":[{
        
            "age":{
                        # 先根据age字段升序排序
                "order":"asc"      # asc升序，desc降序
            }
        },{
        
            "name":{
                       # 后根据name字段升序排序
                "order":"asc"      # asc升序，desc降序
            }
        }],
    }