NoSQL中的行存储与列存储

布满荆棘的人生 2022-09-27 04:00 204阅读 0赞

[原文地址点击此处][Link 1]

在已知的几种[大数据][Link 2]处理软件中，[Hadoop][]的[Hbase][]采用列存储，[MongoDB][]是文档型的行存储，Lexst是二进制型的行存储。在这里，我不讨论这些软件的技术和优缺点，只围绕机械[磁盘][Link 3]的物理特质，分析行存储和列存储的存储特点，以及由此产生的一些问题和解决办法。

**　　一.结构布局**

行存储数据排列

![image1.png_jsessionid_398C33C49FD05D6462FC58E20F39D1BA][]

列存储数据排列

![image2.png_jsessionid_398C33C49FD05D6462FC58E20F39D1BA][]

表格的灰色背景部分表示行列结构，白色背景部分表示数据的物理分布，两种存储的数据都是从上至下，从左向右的排列。行是列的组合，行存储以一行记录为单位，列存储以列数据集合单位，或称列族(column family)。行存储的读写过程是一致的，都是从第一列开始，到最后一列结束。列存储的读取是列数据集中的一段或者全部数据，写入时，一行记录[被拆分][Link 4]为多列，每一列数据追加到对应列的末尾处。

**　　二. 对比**

从上面表格可以看出，行存储的写入是一次完成(dark注：首先，无论行还是列存储，只是数据在物理介质中的保存方式不同。但无论行还是列存储，一次都是写入一行记录。因为数据来源于业务，一个业务一定会由多列数据组成一行。其次，行存储类型在存储介质中，每行记录是连续保存的。比如oralce的数据块区段；列存储类型在存储介质中是每列记录连续保存的，我的理解就是一个数据块中，记录的是一列中的多条记录。因此，行存储先天优势就是每行记录在一个数据块中，在物理上是连续的。而列存储呢，一行记录基本一定是在不同的数据块中，所以在物理上不是连续的。所以写入的时候，磁头会不停的运动。所以写入速度较慢。)。如果这种写入建立在[操作系统][Link 5]的文件系统上，可以保证写入过程的成功或者失败，数据的完整性因此可以确定。列存储由于需要把一行记录拆分成单列保存，写入次数明显比行存储多，再加上磁头需要在盘片上移动和定位花费的时间，实际时间消耗会更大。所以，行存储在写入上占有很大的优势。

还有数据修改,这实际也是一次写入过程。不同的是，数据修改是对磁盘上的记录做删除标记。行存储是在指定位置写入一次，列存储是将磁盘定位到多个列上分别写入，这个过程仍是行存储的列数倍。所以，数据修改也是以行存储占优。 数据读取时，行存储通常将一行数据完全读出，如果只需要其中几列数据的情况，就会存在冗余列，出于缩短处理时间的考量，消除冗余列的过程通常是在内存中进行的。列存储每次读取的数据是集合的一段或者全部，如果读取多列时，就需要移动磁头，再次定位到下一列的位置继续读取。(新了解了一个东西，就是说数据库在读取数据后，会对数据做类型转换。说白了，就是把二进制的数据类型转换为整形、字符型等数据类型。基于此，在读取列存储数据的时候，一列只需要统一转换一次即可。不像行存储那样逢字段就转换，速度自然快了很多)

再谈两种存储的数据分布。由于列存储的每一列数据类型是同质的，不存在二义性问题。比如说某列数据类型为整型(int)，那么它的数据集合一定是整型数据。这种情况使数据解析变得十分容易。相比之下，行存储则要复杂得多，因为在一行记录中保存了多种类型的数据，数据解析需要在多种数据类型之间频繁转换，这个操作很消耗CPU，增加了解析的时间。所以，列存储的解析过程更有利于分析大数据。

**　　三. 优化**

显而易见，两种存储格式都有各自的优缺点：行存储的写入是一次性完成，消耗的时间比列存储少，并且能够保证数据的完整性，缺点是数据读取过程中会产生冗余数据，如果只有少量数据，此影响可以忽略;数量大可能会影响到数据的处理效率。列存储在写入效率、保证数据完整性上都不如行存储，它的优势是在读取过程，不会产生冗余数据，这对数据完整性要求不高的大数据处理领域，比如[互联网][Link 6]，犹为重要。

改进集中在两方面：行存储读取过程中避免产生冗余数据，列存储提高读写效率。

如何改进它们的缺点，并保证优点呢？

行存储的改进：减少冗余数据首先是用户在定义数据时避免冗余列的产生;其次是优化数据存储记录结构，保证从磁盘读出的数据进入内存后，能够被快速[分解][Link 7]，消除冗余列。要知道，目前市场上即使最低端CPU和内存的速度也比机械磁盘快上100-1000倍。如果用上高端的硬件配置，这个处理过程还要更快。

列存储的两点改进：1.在计算机上安装多块硬盘，以多线程并行的方式读写它们。多块硬盘并行工作可以减少磁盘读写竞用，这种方式对提高处理效率优势十分明显。缺点是需要更多的硬盘，这会增加投入成本，在大规模数据处理应用中是不小的数目，运营商需要认真考虑这个问题。2.对写过程中的数据完整性问题，可考虑在写入过程中加入类似关系[数据库][Link 8]的“回滚”机制，当某一列发生写入失败时，此前写入的数据全部失效，同时加入散列码校验，进一步保证数据完整性。

这两种存储方案还有一个共同改进的地方：频繁的小量的数据写入对磁盘影响很大，更好的解决办法是将数据在内存中暂时保存并整理，达到一定数量后，一次性写入磁盘，这样消耗时间更少一些。目前机械磁盘的写入速度在20M-50M/秒之间，能够以批量的方式写入磁盘，效果也是不错的。

**　　四. 总结**

两种存储格式各自的特性都决定了它们不可能是完[美的][Link 9]解决方案。如果首要考虑是数据的完整性和可靠性，那么行存储是不二选择，列存储只有在增加磁盘并改进软件设计后才能接近这样的目标。如果以保存数据为主，行存储的写入性能比列存储高很多。在需要频繁读取单列集合数据的应用中，列存储是最合适的。如果每次读取多列，两个方案可酌情选择：采用行存储时，设计中应考虑减少或避免冗余列;若采用列存储方案，为保证读写入效率，每列数据尽可能分别保存到不同的磁盘上，多个线程并行读写各自的数据，这样避免了磁盘竞用的同时也提高了处理效率。 无论选择哪种方案，将同内容数据聚凑在一起都是[必须的][Link 10]，这是减少磁头在磁盘上的移动，提高数据读取时间的有效办法。

附上个列存储的图

![20170307105115029][]

[Link 1]: http://blog.csdn.net/kevin_ston/article/details/33314299
[Link 2]: http://lib.csdn.net/base/hadoop
[Hadoop]: http://www.chinabyte.com/zq/hadoop/
[Hbase]: http://lib.csdn.net/base/hbase
[MongoDB]: http://lib.csdn.net/base/mongodb
[Link 3]: http://www.chinabyte.com/keyword/%E7%A3%81%E7%9B%98/
[image1.png_jsessionid_398C33C49FD05D6462FC58E20F39D1BA]: /images/20220708/cbebd02dab174215893f2cf3d15df24c.png
[image2.png_jsessionid_398C33C49FD05D6462FC58E20F39D1BA]: /images/20220708/0cc0cb6436ec47f79826e7514b8b34bf.png
[Link 4]: http://www.chinabyte.com/keyword/%E8%A2%AB%E6%8B%86%E5%88%86/
[Link 5]: http://soft.chinabyte.com/os/
[Link 6]: http://net.chinabyte.com/
[Link 7]: http://www.chinabyte.com/keyword/%E5%88%86%E8%A7%A3/
[Link 8]: http://lib.csdn.net/base/mysql
[Link 9]: http://com.chinabyte.com/midea/
[Link 10]: http://www.chinabyte.com/keyword/%E5%BF%85%E9%A1%BB%E7%9A%84/
[20170307105115029]: /images/20220708/242d30cef46a4434aaa0f9361b393a8f.png