Elasticsearch品读—第三章：ES数据类型

叁歲伎倆 2022-04-04 05:11 2654阅读 0赞

上一章：[Elasticsearch品读—第二章：ES安装][Elasticsearch_ES]

**目录**

1.核心数据类型

1.1.text

1.2.keyword

1.3.numeric

1.4.data

1.5.range

2.复杂数据类型

2.1.array

2.2.object

2.3.nested

3.地理数据类型

3.1.geo-point

3.2.geo-shape

--------------------

## 1.核心数据类型 ##

### 1.1.text ###

text datatype，文本数据类型，用于索引全文值的字段。使用文本数据类型的字段，它们会被分词，在索引之前将字符串转换为单个术语的列表(倒排索引)，分词过程允许ES搜索每个全文字段中的单个单词。文本字段不用于排序，很少用于聚合（重要的术语聚合是一个例外）。什么情况适合使用text datatype，只要不具备唯一性的字符串一般都可以使用text，例如：电子邮件正文，商品介绍，个人简介...

![20181215083015292.png][]

**text datatype****的额外参数(****部分)****：**

①analyzer：指明该字段用于索引时和搜索时的分析字符串的分词器（使用search\_analyzer可覆盖它）。 默认为索引分析器或标 准分析器

②fielddata：指明该字段是否可以使用内存中的fielddata进行排序，聚合或脚本编写？默认值为false，可取值true或false。

③fields：设置该字段为"多字段"，可以用不同分析器处理该字段的字符串值例如：当字段既要能被搜索，又要能够排序，就要设置fields。

④index：设置该字段是否可以用于搜索。默认为true，表示可以用于搜索。

⑤search\_analyzer：设置在搜索时，用于分析该字段的分析器，默认analyzer

⑥search\_quote\_analyzer：设置在遇到短语搜索时，用于分析该字段的分析器，默认是【search\_analyzer】参数的值。

**例如：**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70][]

### 1.2.keyword ###

keyword datatype，关键字数据类型，用于索引结构化内容的字段。使用keyword类型的字段，其不会被分析，给什么值就原封不动地按照这个值索引，所以关键字字段只能按其确切值进行搜索，通常用于过滤、排序和聚合。什么情况下使用keyword datatype，具有唯一性的字符串，例如：电子邮件地址、MAC地址、身份证号、状态代码...

![20181215083322588.png][]

**keyword datatype****的额外参数(****部分)****：**

①eager\_global\_ordinals：指明该字段是否加载全局序数？默认为false，不加载。 对于经常用于术语聚合的字段，启用此功能是个好主意。

②fields：指明能以不同的方式索引该字段相同的字符串值，例如用于搜索的一个字段和用于排序和聚合的多字段

③ignore\_above：不要索引长于此值的任何字符串。默认为2147483647，以便接受所有值

④index：指明该字段是否可以被搜索，默认为true，表示可以被搜索

⑤index\_options：指定该字段应将哪些信息存储在索引中，以便用于评分。默认为docs，但也可以设置为freqs，这样可以在计算分数时考虑术语频率

⑥norms：在进行查询评分时，是否需要考虑字段长度，默认为false，不考虑

**例子：**

![20181215083423935.png][]

### 1.3.numeric ###

umeric datatype，数字类型，这类数据类型都是以确切值索引的，可以使用"term"查询精确匹配。ES支持的数字类型有：

①long         -- 带符号的64位整数，最小值-263，最大值263-1

②integer      -- 带符号的32位整数，最小值-231，最大值231-1

③short        -- 带符号的16位整数，最小值-32768，最大值32767

④byte         -- 带符号的8位整数，最小值-128，最小值127

⑤double       -- 双精度64位IEEE 754 浮点数

⑥float        -- 单精度32位IEEE 754 浮点数

⑦half\_float   -- 半精度16位IEEE 754 浮点数

⑧scaled\_float -- 带有缩放因子的缩放类型浮点数

![20181215083446979.png][]

**需要注意的点：**  
①double、float、half\_float这3种浮点型数据类型，认为\-0.0和0.0是不同的值。这意味着在-0.0上进行查询(match or term)匹配不到0.0，反之亦然；范围查询也是如此：如果上限为-0.0则0.0将不匹配，如果下限为0.0则-0.0将不匹配。

②就整数类型（byte，short，integer和long）而言，要选择满足实际需求的最小类型，这有助于索引和搜索。但请注意：ES存储数据是根据存储的实际值进行优化的，因此选择一种类型而不是另一种类型，将不会影响存储要求。

③scaled\_float类型需要格外注意：必须指定缩放因子scaling\_factor。ES索引时，原始值会乘以该缩放因子并四舍五入得到新值，ES内部储存的是这个新值，但返回结果仍是原始值。例如：scale\_factor为10的scaled\_float字段将在内部存储2.34为23，查询时，ES都会将查询参数\*10再四舍五入得到的值与23匹配，若能匹配到返回结果为2.34。例如：

1、创建类型为scaled\_float的字段my\_field，它的缩放因子为100

![20181215083548755.png][]

2、为my\_field字段储存2个值：

![20181215083603860.png][]

3、查询条件匹配

![20181215083627668.png][]

![20181215083632875.png][]

虽然ES在内部做了缩放处理，但是查询返回值还是原始值：

![20181215083653433.png][]

**额外参数：**

①coerce：是否尝试将字符串转换为整数并截断整数的分数，默认为true，是

②ignore\_malformed：如果为true，则忽略格式错误的数字；如果为false则格式错误的数字会抛出异常并拒绝整个文档，默认false

③index：指明该字段是否被搜索。默认为true，表示可以被搜索

④null\_value：指明一个与该字段相同类型的值去替换掉该字段中的null。默认为null，表示该字段被视为缺失

### 1.4.data ###

date datatype，日期数据类型。由于JSON中没有表示日期的数据类型，所以ES中的日期可以表示为：

①日期格式化后的字符串，如："2018-01-01"或"2018/01/01 11:11:11"

②long类型值表示自纪元以来的毫秒数

③integer类型值表示自纪元以来的秒数

如果指定了时区，ES将日期转换为UTC，然后再存储为自纪元以来的毫秒数(long类型)。当字段被设置为date类型时，可以自定义日期格式，但如果未指定格式，则使用默认格式："strict\_date\_optional\_time||epoch\_millis"

![20181215083737617.png][]

![20181215083743522.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70 1][]

**注意：**若未指定自定义日期格式，在保存日期的时候容易出错。若未指定日期格式，ES采用默认日期格式：严格日期格式或者时间戳，例如：

2015-01-01 ---- yes

2015/01/01 ---- no

2015-01-1 ---- no

1420070400001 ---- yes

**注意：**在使用date类型字段进行排序时，返回的排序值都是以毫秒为单位，例：

![20181215083824669.png][]![2018121508382856.png][]

**额外参数：**

①format：自定义的日期格式，默认：strict\_date\_optional\_time || epoch\_millis

②ignore\_malformed：若为true，则忽略格式错误的数字；若为false，则格式错误的数字会抛出异常并拒绝整个文档。默认false

③index：指明该字段是否可以被搜索，true为可以，默认true

④null\_value：接受其中一个配置格式的日期值作为替换任何显式空值的字段。默认为null，表示该字段被视为缺失

### 1.5.range ###

range datatype，范围数据类型。具有大小关系的一个值区间，所以会用到gt、gte、lt、lte..等逻辑表示符。ES支持下面6种范围数据类型：

①integer\_range，带符号的32位整数区间，最小值-231，最大值231-1

②long\_range，带符号的64位整数区间，最小值-263，最小值263-1

③float\_range，单精度32位IEEE 754浮点数区间

④double\_range，双精度64位IEEE 754浮点数区间

⑤date\_range，日期值范围，表示为系统纪元以来经过的无符号64位整数毫秒

⑥ip\_range，支持IPv4或IPv6（或混合）地址ip值范围

**例子：**

1、自定义范围数据类型的\_mapping:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70 2][]

2、往自定义的\_mapping添加数据：

![20181215083933896.png][]

## 2.复杂数据类型 ##

### 2.1.array ###

array datatype，数组类型。默认情况下，任何字段都可以包含零个或多个值，当包含多个值时，它就表示array datatype了。但是，数组中的所有值必须具有相同的数据类型(要么同为字符串，要么同为整型，不能数组中一些值为字符串，另一些值为整型)，例如：

![20181215084008231.png][]

①当数组里面放的是对象(object datatype)，即对象数组时，要改为使用nested datatype。

②在动态添加字段时，ES从数组中的第一个值确定字段类型，所有后续值必须具有相同的数据类型，或者必须至少可以将后续值强制转换为相同的数据类型。

③使用array datatype，不需要预先配置，它们是开箱即用的。(不像整型，它需要手动定义type: "integer")

④使用\_mapping查看索引的映射类型时，array datatype不会被写出来，还是以数组的元素的基本类型来表示，例如：

1、添加一个字符串数组和整型数组

![20181215084108433.png][]

2、\_mapping映射还是以核心数据类型展示：

![20181215084118719.png][]

### 2.2.object ###

object datatype，即对象类型。一个文档的一个属性可以是一个内部对象，而且，这个内部对象，可以再包含一个内部对象..(可以有多层嵌套)

**例如：**

![20181215084142203.png][]

①整个外部文档是一个JSON对象

②它包含一个名为manager的内部对象

③而manager又包含一个名为name的内部对象

在ES内部，这种文档会被索引成一种简单平坦的键值对列表，如：

![20181215084156542.png][]

查看上述文档的mapping映射：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70 3][]

会发现，只要字段的数据类型是object datatype，它就会有一个properties映射，该映射罗列出该字段的内部对象字段，然后内部对象再定义其每个字段的数据类型。

### 2.3.nested ###

nested datatype，嵌套数据类型，是object datatype的专用版本，在文档属性是一个对象数组时使用，它允许对象数组彼此独立地编制索引和查询。这里需要说明：

①"addr":\{"id":1,name:"fujian"\}，addr属性仅有一个内部对象，使用object datatype

②"addr":\[\{"id":1,name:"fujian"\},\{"id":2,name:"jiangsu"\}\]，addr属性不只是仅有一个内部对象，而是一个内部对象数组，此时要使用nested datatype

**为什么****object datatype****映射内部对象数组会出错？**

由于Lucene没有内部对象的概念，因此ES将对象层次结构展平为一个简单的字段名称和值列表。这是什么概念？若一个属性包含若干个内部对象，例如下面的文档结构，user属性包含两个内部对象：

![20181215084300883.png][]

如果使用object datatype数据类型去映射，ES将在内部转换为看起来更像这样的文档：

![20181215084311504.png][]

user.first和user.last字段被展平为多值字段，并且alice和white(同理，john和smith)之间的关联将丢失。此文档将错误地匹配alice和smith的查询：(Alice 是 White 不是 Smith，但搜索结果还是会把整个文档匹配到)

![20181215084325293.png][]

**为什么要改为使用****nested datatype****来映射内部对象数组？**

对于对象数组的映射，ES推出了nested datatype来取代object datatype。在内部，nested datatype将数组中的每个对象索引为单独的隐藏文档，这意味着可以使用嵌套查询独立于其它对象查询每个嵌套对象。同样以上面的 my\_index/my\_type为例子，只不过在添加数据前，先将user的数据类型设置为nested datatype:

![20181215084340710.png][]

现在，当查询条件为：

![20181215084351571.png][]

改变查询条件，才可以匹配到：

![20181215084405900.png][]

**PS****：**

①由于嵌套文档被索引为单独的文档，因此只能在嵌套查询、嵌套/反向嵌入聚合或嵌套内部命中的范围内访问它们

②使用100个嵌套字段索引文档实际上索引101个文档，因为每个嵌套文档都被索引为单独的文档(加上最外部的文档，总共101个)。为了防止错误定义的映射，可以为每个索引定义的嵌套字段数限制为50，详情参阅[Settings to prevent mappings explosion][]

## 3.地理数据类型 ##

### 3.1.geo-point ###

geo-point datatype，地址位置数据类型，可以用来表示经纬度。

![2018121508452496.png][]

ES支持4种方式的经纬度录入：

①地理点表示为一个对象，lat属性表示维度，lon属性表示经度

![20181215084535389.png][]

②地理点表示为一个字符串，格式为："lat，lon"，例如"41.12,-71.34"

![20181215084548186.png][]

③地理点表示为一个geohash字符串

![20181215084606749.png][]

④地理点表示为一个数组，格式为\[lon,lat\]，注意经纬度顺序与②相反

![20181215084616164.png][]

### 3.2.geo-shape ###

geo-shape datatype，即地理形状数据类型，当被索引的数据包含除地理点之外的形状(如长方形、圆形...)时，使用此数据类型。geo-shape映射将GeoJSON(一种对各种地理数据结构进行编码的格式)映射到geo-shape类型。geo-shape datatype有多个额外参数，大部分比较复杂，ES也建议使用它默认的配置来设置，但有两个可以由用户来控制：

①tree：指定使用的prefixTree(前缀树，一种数据结构)的实现，有两个取值：GeohashPrefixTree的geohash和QuadPrefixTree的quadtree

②precision：指定所需的精度，该值应为数字，后跟可选的距离单位。 有效距离单位包括：in，inch，yd，yard，mi，miles，km，km，m，米，cm，厘米，mm，毫米。

![20181215084708371.png][]

**GeoJSON****格式如下：**

<table> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;width:142pt;"> GeoJSON Type </td> 
 <td style="vertical-align:top;width:142.05pt;"> Elasticsearch Type </td> 
 <td style="vertical-align:top;width:142.05pt;"> Desciption </td> 
 </tr> 
 <tr> 
 <td style="background-color:#d3dfee;width:142pt;"> Point </td> 
 <td style="background-color:#d3dfee;width:142.05pt;"> point </td> 
 <td style="background-color:#d3dfee;width:142.05pt;"> 单个地理坐标 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:142pt;"> LineString </td> 
 <td style="vertical-align:top;width:142.05pt;"> lineString </td> 
 <td style="vertical-align:top;width:142.05pt;"> 两点或多点组成任意线 </td> 
 </tr> 
 <tr> 
 <td style="background-color:#d3dfee;width:142pt;"> Polygon </td> 
 <td style="background-color:#d3dfee;width:142.05pt;"> polygon </td> 
 <td style="background-color:#d3dfee;width:142.05pt;"> 一个闭合的多边形，其第一个点和最后一个点必须匹配。因此需要n+1个顶点来创建一个n边多边形，且最少4个顶点 (构成三角形) </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:142pt;"> MultiPoint </td> 
 <td style="vertical-align:top;width:142.05pt;"> multipoint </td> 
 <td style="vertical-align:top;width:142.05pt;"> 一组未连接但可能相关的点 </td> 
 </tr> 
 <tr> 
 <td style="background-color:#d3dfee;width:142pt;"> MultiLineString </td> 
 <td style="background-color:#d3dfee;width:142.05pt;"> multilinestring </td> 
 <td style="background-color:#d3dfee;width:142.05pt;"> 一组独立的线 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:142pt;"> MultiPolygon </td> 
 <td style="vertical-align:top;width:142.05pt;"> multipolygon </td> 
 <td style="vertical-align:top;width:142.05pt;"> 一组独立的多边形 </td> 
 </tr> 
 <tr> 
 <td style="background-color:#d3dfee;width:142pt;"> N/A </td> 
 <td style="background-color:#d3dfee;width:142.05pt;"> envelope </td> 
 <td style="background-color:#d3dfee;width:142.05pt;"> 通过仅指定左上角和右下角构成的边界矩形 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:142pt;"> N/A </td> 
 <td style="vertical-align:top;width:142.05pt;"> circle </td> 
 <td style="vertical-align:top;width:142.05pt;"> 由中心点和半径指定的圆，默认单位为m </td> 
 </tr> 
 </tbody> 
</table>

**在geo-shape datatype****中添加数据的例子：以上面定义的datatype****为基础**

注意点:

a.添加数据时，需要指定type-类型和coordinates-坐标

b.一个\[lon,lat\]表示一个地理点，两个及两个以上地理点表示一条地理线

①point，添加地理点，即单个地理坐标，由\[经度，纬度\]组成。

![20181215084819141.png][]

②lineString，添加地理线，由两个或多个地理点定义的线串。若仅指定两个点，线串表示**直线**。若指定两个以上的点会创建一个**任意路径**

![20181215084834380.png][]

③ polygon，添加闭合多边形，由点列表定义。列表第一个点和最后一个点必须重合，以便可以闭合该多边形

![20181215084853996.png][]

polygon也可以指定内部形状，第一个数组表示多边形的外边界，其他数组表示内部形状（“孔”）：

![20181215084910696.png][]

④multiPoint，添加多个地理点

![20181215084924158.png][]

⑤multiLineString，添加多条地理线，一条地理线又是由多个地理点组成的

![20181215084943632.png][]

⑥multiPolygon，添加多个闭合多边形，请注意：闭合多边形可以指定外边界和内部形状，所以，与multiLineString相比，会多出一层\[\]包裹

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70 4][]

⑦envelope，指定形状的左上角和右下角的坐标，以表示边界矩形：

![20181215085018903.png][]

⑧circle，添加一个圆，指定半径和中心点坐标。内半径字段是必需的，如果不知道单位，默认是m

![20181215085034371.png][]

下一章：[Elasticsearch品读—第四章：DSL语法（第一节）][Elasticsearch_DSL]

[Elasticsearch_ES]: https://blog.csdn.net/sym542569199/article/details/85010452
[20181215083015292.png]: /images/20220404/1c6a8085b125404f9c75dc171f5ed201.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70]: /images/20220404/f25d3ffc9fb34c0f81f0eb2804eb6b56.png
[20181215083322588.png]: /images/20220404/4ffb6933534749f1aa868432c3bc29ee.png
[20181215083423935.png]: /images/20220404/d0161f1298ac4ac28369be436fce20d2.png
[20181215083446979.png]: /images/20220404/6f5969ab14524be1903db26ae2ec027a.png
[20181215083548755.png]: /images/20220404/80f69ea59e0e4edd9cba51084c58d322.png
[20181215083603860.png]: /images/20220404/071f9097b9f640baaadbfb0ba8c60df6.png
[20181215083627668.png]: /images/20220404/434b7cee8a35492eadaf08b404196340.png
[20181215083632875.png]: /images/20220404/bc9fd9b75a9c45f484b074186a93f7ea.png
[20181215083653433.png]: /images/20220404/798edfa541af421d890df04b15f6717f.png
[20181215083737617.png]: /images/20220404/623ccdc434374831b474a0187f4cc22b.png
[20181215083743522.png]: /images/20220404/31ca467d420b4fcca1398ffec669b49c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70 1]: /images/20220404/1b01f9f570f644bbb73772becc03b0fc.png
[20181215083824669.png]: https://img-blog.csdnimg.cn/20181215083824669.png
[2018121508382856.png]: /images/20220404/3e2d5ace231248f988fe3f8699c44e3b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70 2]: /images/20220404/dbbc77438f774576831fc54b9548acb6.png
[20181215083933896.png]: /images/20220404/791c3640c14d4577a16f331baad128e5.png
[20181215084008231.png]: /images/20220404/5d08185e62ee4913ae913b9b7047c0f9.png
[20181215084108433.png]: /images/20220404/fdd57a7e772a48b39b1ba46bd9f9c463.png
[20181215084118719.png]: /images/20220404/40c4862cb40f4b469310b3c0ef85aae5.png
[20181215084142203.png]: /images/20220404/4e118221fc9a487988fd5662b8cde0d9.png
[20181215084156542.png]: /images/20220404/afd3a72677c4406981cead23e555f024.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70 3]: /images/20220404/2c25c6b8a8894ddcb9607e12938ad4af.png
[20181215084300883.png]: /images/20220404/968ae0e2c9184e86bf8f2fe2bfeb00a2.png
[20181215084311504.png]: /images/20220404/409b245e3fe54325a4d6af84717c0995.png
[20181215084325293.png]: /images/20220404/8dc894265d46487aa9d222f2e752df03.png
[20181215084340710.png]: /images/20220404/846a6a38c28f4b518fb86e1afc41803a.png
[20181215084351571.png]: /images/20220404/f90e9282161c4d43acfef4640109871a.png
[20181215084405900.png]: /images/20220404/81b846c55b794634b24cf83864ef971b.png
[Settings to prevent mappings explosion]: https://www.elastic.co/guide/en/elasticsearch/reference/5.6/mapping.html#mapping-limit-settings
[2018121508452496.png]: /images/20220404/22776cba5ff34dcea02862646bd162e5.png
[20181215084535389.png]: /images/20220404/d00a06c7d4be4fd086a1a2436bb8d282.png
[20181215084548186.png]: /images/20220404/b08eb69cc1d34369baabf4f90334072d.png
[20181215084606749.png]: /images/20220404/a7c8b83e8454481283d0e2b12d0c6462.png
[20181215084616164.png]: /images/20220404/09fb20ec19e64966909686945fed936b.png
[20181215084708371.png]: /images/20220404/521af45492214f7087b31237efe65e59.png
[20181215084819141.png]: /images/20220404/4e27fca003b94247acc0bce540b7c1dc.png
[20181215084834380.png]: /images/20220404/7f422b11c3da4016a9983b35847d7f47.png
[20181215084853996.png]: /images/20220404/dad58c7e4c204fc08cb67a39565cac72.png
[20181215084910696.png]: /images/20220404/ec69f6fea711488b88f7cd769915663a.png
[20181215084924158.png]: /images/20220404/dd00ea3baebc49b79f2e8736ab37d26e.png
[20181215084943632.png]: /images/20220404/643a41bdfbb2491dac3b6808d03858e3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70 4]: /images/20220404/2db7ef0f361b4b16a40a885a97d5a181.png
[20181215085018903.png]: /images/20220404/3f4fe8676be84f77ad67382bae2f85d9.png
[20181215085034371.png]: /images/20220404/16ffef38aee44d7faa079866f206531a.png
[Elasticsearch_DSL]: https://blog.csdn.net/sym542569199/article/details/85018527