好文转载 Elasticsearch扫盲篇

阳光穿透心脏的1/2处 2024-03-22 11:28 83阅读 0赞

![在这里插入图片描述][2fde5b210a0e405a98da5cfa862e5284.bmp_pic_center]

## Elasticsearch扫盲篇 ##

![original.png][]

[编程芝士][Link 1] ![newCurrentTime2.png][] 于 2023-05-01 22:29:09 发布 ![articleReadEyes2.png][] 507  ![tobarCollect2.png][] ![tobarCollectionActive2.png][] 收藏  4

分类专栏： [Elasticsearch][] 文章标签： [elasticsearch][] [数据库][Link 2] [大数据][Link 3] [ ![originPlan.png][]原力计划 ][_originPlan.png_]

本文为博主原创文章，欢迎大家进行转载，转载时请在文章显著位置注明原文标题及链接，否则将追究其法律责任。邮箱：zzuliwenlong@126.com

本文链接： [https://blog.csdn.net/zzu\_seu/article/details/130459500][https_blog.csdn.net_zzu_seu_article_details_130459500]

<div class="operating">
                    <a class="href-article-edit slide-toggle">版权</a>
                </div>
            </div>
        </div>
    </div>
    
        <div id="blogColumnPayAdvert">
            <div class="column-group">
                <div class="column-group-item column-group0 column-group-item-one">
                    <div class="item-l">
                        <a class="item-target" href="https://blog.csdn.net/zzu_seu/category_12307055.html" target="_blank" title="Elasticsearch" data-report-click="{"spm":"1001.2101.3001.6332"}">
                            <img class="item-target" src="https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64" alt="">
                            <span class="title item-target">
                                <span>
                                <span class="tit">Elasticsearch</span>
                                    <span class="dec">专栏收录该内容</span>
                                </span>
                            </span>
                        </a>
                    </div>
                    <div class="item-m">
                        <span>1 篇文章</span>
                        <span>0 订阅</span>
                    </div>
                    <div class="item-r">
                            <a class="item-target article-column-bt articleColumnFreeBt" data-id="12307055">订阅专栏</a>
                    </div>
                </div>
            </div>
        </div>
    <article class="baidu_pl">
        <div id="article_content" class="article_content clearfix">
        <link rel="stylesheet" href="https://csdnimg.cn/release/blogv2/dist/mdeditor/css/editerView/kdoc_html_views-1a98987dfd.css">
        <link rel="stylesheet" href="https://csdnimg.cn/release/blogv2/dist/mdeditor/css/editerView/ck_htmledit_views-25cebea3f9.css">
                <div id="content_views" class="htmledit_views">
                    <h2 id="ysvQ9"><a name="t0"></a>1. 什么是搜索？</h2>

在日常的工作和学习中，当我们说想找查询任何的信息的时候，可能第一时间会想到上百度或者谷歌去搜索一下。比如说找一部自己喜欢的电影，或者说找一本喜欢的书，或者找一条感兴趣的新闻。但是百度和谷歌不等于搜索，他们只是我们搜索时使用的工具。

![67f935d71021724692f4c3c72769babb.png][]

搜索，就是在任何场景下，查找你想要的信息。这个时候需要输入一段你要搜索的关键字，然后就期望找到这个关键字相关的信息。

###  ###

### 2. 用数据库做搜索 ###

对于大多数程序员而言，大家都清楚数据都是存储在数据库里面的。比如说[电商网站][Link 4]的商品信息，招聘网站的职位信息，新闻网站的新闻信息等等。所以说，很自然的我们会考虑到去使用数据库去进行搜索，例如使用MySQL数据库进行查询。

假如我们想要购买一件男士的T恤，在购物平台上搜索『男士T恤』，那么如果直接使用关键词在数据里中[模糊搜索][Link 5]可能是怎么样的呢？

select * from table where pruduct_name like '%男士T恤%'

我们且不考虑数据库的全文索引什么的，假如电商网站中国的商品数量只有1000万个(其实远远不止吧)，那么基本上就要查找1000万次，且每次都需要加载商品的名称字段的整段字符串，因为这种模糊查询很难使用索引来进行优化。

![c4fbd0639343be65afe5643864a5386e.png][]

直接使用数据库进行搜索有几个严重的问题：

1.  就拿商品描述这个字段来说，他的字段的长度可能有十几、上百个字，在查询的时候要对每条记录的所有文本进行扫描，来判断字段中是否包含用户指定的关键词。
2.  没办法将搜索词拆分开来，尽可能去搜索更多的符合你的期望的结果，比如输入“男士T恤”，就搜索不出来“男士黑色T恤”。
3.  用数据库来进行搜索，由于数据量非常大，检索起来性能会非常的差。

### 3. 什么是Elasticsearch ###

ElasticSearch是一款非常强大的、基于Lucene的开源搜索及分析引擎；它是一个实时的分布式搜索分析引擎，它能让你以前所未有的速度和规模，去探索你的数据。

它被用作**全文检索**、**结构化搜索**、**分析**以及这三个功能的组合。除了搜索，结合Kibana、Logstash、Beats开源产品，Elastic Stack（简称ELK）还被广泛运用在大数据近实时分析领域，包括：**日志分析**、**指标监控**、**信息安全**等。它可以帮助你**探索海量结构化、非结构化数据，按需创建可视化报表，对监控数据设置报警阈值，通过使用机器学习，自动识别异常状况**。

关于ElasticSearch的由来还有一个小故事：

> 许多年前，一个刚结婚的名叫 Shay Banon 的失业开发者，跟着他的妻子去了伦敦，他的妻子在那里学习厨师。 在寻找一个赚钱的工作的时候，为了给他的妻子做一个食谱搜索引擎，他开始使用 Lucene 的一个早期版本。
> 
> 直接使用 Lucene 是很难的，因此 Shay 开始做一个抽象层，Java 开发者使用它可以很简单的给他们的程序添加搜索功能。 他发布了他的第一个开源项目 Compass。
> 
> 后来 Shay 获得了一份工作，主要是高性能，分布式环境下的内存数据网格。这个对于高性能，实时，分布式搜索引擎的需求尤为突出， 他决定重写 Compass，把它变为一个独立的服务并取名 Elasticsearch。
> 
> 第一个公开版本在2010年2月发布，从此以后，Elasticsearch 已经成为了 Github 上最活跃的项目之一，他拥有超过300名 contributors(目前736名 contributors )。 一家公司已经开始围绕 Elasticsearch 提供商业服务，并开发新的特性，但是，Elasticsearch 将永远开源并对所有人可用。
> 
> 据说，Shay 的妻子还在等着她的食谱搜索引擎…

刚有多次提到Lucene，ElasticSearch是基于Lucene的。但是Lucene仅仅只是一个库。为了充分发挥其功能，你还需要自己使用Java将Lucene集成到自己的应用程序中。 更糟糕的是，Lucene非常复杂，对于程序员而言学习成本非常的大。而Elasticsearch也是使用 Java 编写的，它的内部使用 Lucene 做索引与搜索，但是它的目的是使全文检索变得简单，**通过隐藏 Lucene 的复杂性，取而代之的提供一套简单一致的 RESTful API**。

根据DB Engine的排名，ElasticSearch已经称为最受欢迎的企业级搜索引擎。

![7cdff85e8045d695b18d34706badbbf6.png][]

###  ###

### 4. 主要功能及应用场景 ###

#### 4.1 主要功能 ####

**海量数据的分布式存储以及集群管理**

搜索引擎：百度、网站的站内搜索、IT系统的检索

数据分析：电商网站，最近7天牙膏这种商品销量排名前10的商家有哪些；新闻网站，最近1个月访问量排名前3的新闻版块是哪些

分布式：ES自动可以将海量数据分散到多台服务器上去存储和检索

**全文检索，结构化检索，数据分析**

全文检索：搜索商品名称包含牙膏的商品。

结构化检索：搜索商品分类为日化用品的商品都有哪些。

部分匹配、自动完成、搜索纠错、搜索推荐

**对海量数据进行近实时的处理**

海联数据的处理：可以采用大量的服务器去存储和检索数据，自然而然就可以实现海量数据的处理

近实时：在秒级别对数据进行搜索和分析

#### 4.2 应用场景 ####

1.  网站搜索、垂直搜索、代码搜索；
2.  日志管理与分析、安全指标监控、应用性能监控、Web抓取舆情分析；

文章知识点与官方知识档案匹配，可进一步学习相关知识

[MySQL入门技能树][MySQL][数据库组成][MySQL][表][MySQL] 51354 人正在系统学习中

[2fde5b210a0e405a98da5cfa862e5284.bmp_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/cd828da56c014f0da8809156cc2ddd7d.png
[original.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/8a03314a9f874c75ac1a28574909260d.png
[Link 1]: https://blog.csdn.net/zzu_seu
[newCurrentTime2.png]: https://csdnimg.cn/release/blogv2/dist/pc/img/newCurrentTime2.png
[articleReadEyes2.png]: https://csdnimg.cn/release/blogv2/dist/pc/img/articleReadEyes2.png
[tobarCollect2.png]: https://csdnimg.cn/release/blogv2/dist/pc/img/tobarCollect2.png
[tobarCollectionActive2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/f1d4fdd9cf0b4e8188a72a1896835356.png
[Elasticsearch]: https://blog.csdn.net/zzu_seu/category_12307055.html
[elasticsearch]: https://so.csdn.net/so/search/s.do?q=elasticsearch&t=all&o=vip&s=&l=&f=&viparticle=
[Link 2]: https://so.csdn.net/so/search/s.do?q=%E6%95%B0%E6%8D%AE%E5%BA%93&t=all&o=vip&s=&l=&f=&viparticle=
[Link 3]: https://so.csdn.net/so/search/s.do?q=%E5%A4%A7%E6%95%B0%E6%8D%AE&t=all&o=vip&s=&l=&f=&viparticle=
[originPlan.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/66976e623e1f4fb2a46ff26bdc26da5e.png
[_originPlan.png_]: https://marketing.csdn.net/p/5352d383bcbb5346dc3430e9643d3255
[https_blog.csdn.net_zzu_seu_article_details_130459500]: https://blog.csdn.net/zzu_seu/article/details/130459500
[67f935d71021724692f4c3c72769babb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/5cfd979f681748fdb73c88f1207620fd.png
[Link 4]: https://so.csdn.net/so/search?q=%E7%94%B5%E5%95%86%E7%BD%91%E7%AB%99&spm=1001.2101.3001.7020
[Link 5]: https://so.csdn.net/so/search?q=%E6%A8%A1%E7%B3%8A%E6%90%9C%E7%B4%A2&spm=1001.2101.3001.7020
[c4fbd0639343be65afe5643864a5386e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/b0c9c4779139447a9c37e136c2417e45.png
[7cdff85e8045d695b18d34706badbbf6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/90eaa61a19f44007b9123f044faa3c59.png
[MySQL]: https://edu.csdn.net/skill/mysql/mysql-0f0cd6ec82e343db95ed800a7d964cfc?utm_source=csdn_ai_skill_tree_blog