Elasticsearch之处理冲突。

太过爱你忘了你带给我的痛 2024-02-18 15:09 27阅读 0赞

当使用index API更新文档的时候，我们读取原始文档，做修改，然后将整个文档（whole document）一次性重新索引。最近的索引请求会生效——Elasticsearch中只存储最后被索引的任何文档。如果其他人同时也修改了这个文档，他们的修改将会丢失。

很多时候，这并不是一个问题。或许我们主要的数据存储在关系型数据库中，然后拷贝数据到Elasticsearch中只是为了可以用于搜索。或许两个人同时修改文档的机会很少。亦或者偶尔的修改丢失对于我们的工作来说并无大碍。

但有时丢失修改是一个很严重的问题。想象一下我们使用Elasticsearch存储大量在线商店的库存信息。每当销售一个商品，Elasticsearch中的库存就要减一。

一天，老板决定做一个促销。瞬间，我们每秒就销售了几个商品。想象两个同时运行的web进程，两者同时处理一件商品的订单：

![20170908162558536][]

web\_1让 stock\_count失效是因为 web\_2没有察觉到stock\_count的拷贝已经过期（注：web\_1取数据，减一后更新了stock\_count。可惜在web\_1更新stock\_count前他就拿到了数据，这个数据已经是过期的了，当web\_2再回来更新stock\_count时这个数字就是错的。这样就会造成看似卖了一件东西，其实是卖了两件，这个应该属于幻读。）。结果是我们认为自己确实还有更多的商品，最终顾客会因为销售给他们没有的东西而失望。

变化越是频繁，或读取和更新间的时间越长，越容易丢失我们的更改。

在数据库中，有两种通用的方法确保在并发更新时修改不丢失：

**悲观并发控制（Pessimistic concurrency control）**

这在关系型数据库中被广泛的使用，假设冲突的更改经常发生，为了解决冲突我们把访问区块化。典型的例子是在读一行数据前锁定这行，然后确保只有加锁的那个线程可以修改这行数据。

**乐观并发控制（Optimistic concurrency control）**

被Elasticsearch使用，假设冲突不经常发生，也不区块化访问。然而，如果在读写过程中数据发生了变化，更新操作将失败。这时候由程序决定在失败后如何解决冲突。实际情况中，可以重新尝试更新，刷新数据（重新读取）或者直接反馈给用户。

*  **乐观并发控制**

Elasticsearch是分布式的。当文档被创建、更新或删除，文档的新版本会被复制到集群的其他节点。Elasticsearch既是同步的又是异步的，意思是这些复制请求都是平行发送的，并无序（out of sequence）的到达目的地。这就需要一种方法确保老版本的文档永远不会覆盖新的版本。

index、get、delete请求时，我们指出每个文档都有一个\_version号码，这个号码在文档被改变时加一。Elasticsearch使用这个\_version保证所有修改都被正确排序。当一个旧版本出现在新版本之后，他会被简单的忽略。

我们利用\_version的这一优点确保数据不会因为修改冲突而丢失。我们可以指定文档的version来做想要的更改。如果那个版本号不是现在的，我们的请求就失效了。

让我们创建一个新的博文：

PUT /website/blog/1/\_create

"title" : "My first blog entry",

"text" : "Just trying this out..."

响应体告诉我们这是一个新建的文档，它的\_version是1.现在假设我们要编辑这个文档：把数据加载到web表单中，修改。然后保存成新版本。

首先我们检索文档：

GET /website/blog/1

响应体包含相同的\_version是1

![20170908164629805][]

现在，我们通过重新索引文档保存修改时，我们这样指定了version参数：

PUT /website/blog/1?version=1 <1>

"title" : "My first blog entry",

"text" : "Starting to get the hang of this..."

<1> 我们只希望文档的\_version是1时更新才生效。

请求成功，响应体告诉我们\_version已经增加到2：

![20170908164905084][]

这告诉我们当前\_version是2，但是我们指定想要更新的版本是 1。

我们需要什么取决于程序的需求。我们可以告知用户其他人修改了文档，你应该在保存前再看一下。而对于上文提高的商品stock\_count，我们需要重新检索最新文档然后申请新的更改操作。

所有更新和删除文档的请求都接受version参数，他可以允许在你的代码中增加乐观锁控制。

*  **使用外部版本控制系统**

一种常见的结构是使用一些其他的数据库作为主数据库，然后使用Elasticsearch搜索数据，这意味着所有主数据库发生变化。就要将其拷贝到Elasticsearch中。如果有多个进程负责这些数据的同步，就会遇到上面提到的并发问题。

如果主数据有版本字段——或一些类似于timestamp等可以用于版本控制的字段——是你就可以在Elasticsearch的查询字符串后面添加version\_type=external来使用这些版本号。版本号必须是整数，大于零小于9.2e+18——Java中的正的long。

外部版本号不仅在索引和删除请求中指定，也可以在创建（create）新文档中指定。

例如，创建一个包含外部版本号5的新博客，我们可以这样做：

PUT /website/blog/2?version=5&version\_type=external

"title" : "My first external blog entry",

"text" : "Starting to get the hang of this..."

在响应中，我们能看到当前的\_version号码是5：

![20170908165854388][]

现在我们更新这个文档，指定新version号码为10：

PUT /website/blog/2?version=10&version\_type=external

"title" : "My first external blog entry",

"text" : "This is a piece of cake..."

请求成功的设置了当前\_version为10：

![20170908170106251][]

如果你重新运行这个请求，就会返回一个像之前一样的冲突错误，因为指定的外部版本号不大于当前在Elasticsearch中的版本。

[20170908162558536]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/814413be44be45a19ff5ea8bd5b9bb0d.png
[20170908164629805]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/4b35e64bc7054e9c89ebf2b215e67700.png
[20170908164905084]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/8345a5a8df0e43dcbbcf0fca38f3f08a.png
[20170908165854388]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/5a510d0aa8024670a8c067eece68808c.png
[20170908170106251]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/8f5a8b3776054411986179ca85d902bc.png