kudu之Compaction 设计原理

妖狐艹你老母 2022-01-21 23:59 322阅读 0赞

本文将介绍kudu执行rowSet刷新/压缩的机制。注意：本文不讲有关将delta数据刷新到delta文件的任何信息！

目标：将存在并行更新的情况下，将两个或多个具有重叠key范围的RowSet合并到一个新的RowSet中。输出RowSet还应该对旧RowSets中删除的任何行进行垃圾收集。

让我们从一个简单的Compaction 操作例子开始，压缩一个rowset得到一个新的rowset。这个压缩带来的效果是删除可回收的数据，生效数据更新。Compaction 有两个主要阶段：

"flush_snap"
               |
               |
      before   v
    <----------|
                  Phase 1:
              merging/flushing
               |-----------|
                             Phase 2: migrate
                             deltas
                           |---------------|
                                             compaction
                                             complete
                                           |----------->
    
    |--------------  time ----------------------------->

系统稳定状态：

*  数据的更新只作用在源RowSet中

过渡到第1阶段：

*  创建快照迭代器以合并输入RowSet，并保存关联的MVCC快照状态。
 *

阶段1：合并/刷新数据：

*  使用上面创建的迭代器为输出RowSet创建一组新数据。它将包括在阶段1开始之前到达的任何更新或删除，但不包括在压缩的任一阶段到达的更新或删除。
 *  在此阶段到达的任何变更仅记录在输入RowSet的增量跟踪结构中。由于合并是在快照上运行的，因此不会在输出RowSet中包括这些变更。

阶段2：从第1阶段迁移增量

*  在此阶段到达的任何变动都应该应反应在输入RowSet和输出RowSet。只要在更新发生时，将要查找的键复制到输出RowSet的键列中，就可以很容易地做到这一点。这是通过交换“DuplicatingRowSet”来实现的，它将更新同时转发到输入和输出rowset。
 *  此阶段中的任何读取都必须由输入RowSet提供服务，因为输出RowSet缺少在合并阶段到达的增量。
 *  因为合并的输出rowset中忽略了在阶段1期间到达的任何变动，所以我们现在必须将这些变动“迁移”到输出RowSet。这可以通过收集未包含在快照迭代器中的所有增量并将它们应用于输出rowset的增量跟踪器来高效地完成。

第2阶段结束：交换RowSet

*  在阶段2之后，两个RowSet具有逻辑上相同的数据，并且它们可以原子交换。一旦交换了输出RowSet，数据的更新需要作用在输出RowSet中，并且可以删除旧的RowSet。

# 扩展到多个RowSet #

上述算法可以同样很好地扩展到多个RowSet。在压缩开始时，每个RowSet都会被快照，并创建一个快照迭代器。然后，合并迭代器按升序键顺序执行所有快照的合并。

发表评论取消回复

表情：

评论列表（有 0 条评论，322人围观）

还没有评论，来说两句吧...

相关阅读

相关 Apache Kudu(二) 原理

文章目录 Kudu 介绍 kudu 是什么 kudu 应用场景概念

你的名字/ 2023年03月13日 03:37/ 0 赞/ 7 阅读

相关 kudu之CFile设计原理

本文翻译自https://github.com/apache/kudu/blob/master/docs/design-docs/cfile.md CFile CFil

不念不忘少年蓝@/ 2022年01月23日 09:51/ 0 赞/ 293 阅读

相关 kudu之tablet设计原理

Tablet是Kudu表的水平分区，就像是BigTable中的tablets和HBase中的regions一样。每个tablet中都由一系列连续的行组成，这些行不会与任何其他t

╰+攻爆jí腚メ/ 2022年01月23日 00:29/ 0 赞/ 383 阅读

相关 kudu之Compaction 策略设计原理

本文档讲解了执行Compaction的策略。有关如何实现Compaction的详细信息，请参阅[kudu之Compaction 设计原理][kudu_Compaction]。

曾经终败给现在/ 2022年01月22日 00:25/ 0 赞/ 307 阅读

相关 kudu之Compaction 设计原理

本文将介绍kudu执行rowSet刷新/压缩的机制。注意：本文不讲有关将delta数据刷新到delta文件的任何信息！目标：将存在并行更新的情况下，将两个或多个具有重叠ke

妖狐艹你老母/ 2022年01月21日 23:59/ 0 赞/ 323 阅读

相关 kudu之维护操作

维护操作的调度维护操作（maintenance operations）作为本文阐述的对象，是在kudu正常运行的过程中，运行在后台的进程。为了保证kudu系统操作的流畅

快来打我*/ 2022年01月12日 14:43/ 0 赞/ 422 阅读

相关 kudu之一致性设计

注意：本文档已过期。应对其进行更新，以反映与Raft共识相关的设计决策和实现\[1\]。本文档介绍了Kudu如何使用Viewstamped Replication（VS）算

旧城等待，/ 2021年12月23日 15:53/ 0 赞/ 320 阅读

相关 kudu之更改Raft配置的设计

出于可操作性和可用性的原因，我们希望能够动态更改tablet server集群。此功能的使用场景包括：更换故障的tablet server以维持tablet数据的副本

怼烎@/ 2021年12月22日 09:07/ 0 赞/ 229 阅读

相关 kudu之Tablet Copy设计

Master和Tablet Copy与配置更改集成摘要本文阐述了如何在Kudu的Raft实现的上下文中进行Tablet Copy。有关Kudu中Raft配置更改的详

分手后的思念是犯贱/ 2021年12月18日 13:41/ 0 赞/ 300 阅读

相关 kafka offset __consumer_offsets_ 原理/Compact 整理

我们在kafka的log文件中发现了还有很多以 `__consumer_offsets_`的文件夹；总共50个; 由于Zookeeper并不适合大批量的频繁写入操作，新版Ka

「爱情、让人受尽委屈。」/ 2021年09月25日 03:52/ 1 赞/ 319 阅读