4个开源对象存储的解决方案

野性酷女 2022-08-29 12:54 1453阅读 0赞

# 发现最流行的工具以免费实现对象存储系统 #

![免费！4个开源对象存储的解决方案][4]

> Photo by Joshua Coleman on Unsplash.

如福布斯所指出的，今天组织中的超过80％的数据是非结构化的。传统上，公司已经忽略了这种类型的数据，因为他们面临的挑战分析并产生有意义的见解。然而，由于正在发明其他类型的存储系统，例如基于块，文件和基于对象的存储系统，景观正在迅速变化。

在这三个中，对象存储似乎最有希望，这是通过亚马逊，谷歌和IBM等事实证明了基于对象的数据存储库的企业解决方案。

虽然此类商业选项肯定提供许多功能，但值得探索免费添加，这可以促进公司内的成功对象存储实现。在本文中，我们将讨论前四个开源对象存储工具以及它们如何相互比较。

# LakeFS #

![免费！4个开源对象存储的解决方案][4 1]

> Photo from lakeFS

在增强底层存储系统的几个开源工具中，LakeFS允许您先向对象存储存储库进行版本控制。

其目标是提供类似于类似的数据版本控制工具，同时也与现有云存储兼容。使用LakeFS，您可以像代码一样版本控制数据的Terabytes。此外，它还允许您在数据存储库上构建可重复的原子操作，使得可以执行大规模的ETL作业，数据分析和机器学习。

LakeFS允许您创建一个开发环境，您可以在可以以可重复的方式执行实验并记录它们。像Git一样，您可以创建提交和分支，使您可以沿着应用程序开发的时间表移动，并尝试孤立的新功能。令人惊讶的是，Lakefs在不重复任何数据的情况下执行所有这些 - 一切都使用特殊的元数据管理完成。

LakeFS还实现严格的数据集成和部署最佳实践。它提供格式，架构和文件元数据验证，以防止低质量数据进入数据湖并将其转换为数据沼泽。

# 2.JuiceFS #

![免费！4个开源对象存储的解决方案][4 2]

> Photo from JuiceFS

用3.3k github stars，接下来是果汁。其主要目的是将任何对象存储器转换为与POSIX，HDFS和NFS兼容的完整文件系统。

对象存储的定义特征是它缺少任何组织层次结构。所有数据存储在单个中央存储库中，数据只能由其GUI（全局唯一标识符）访问。虽然此功能提供高速和存储灵活性，但它可以在与现有文件系统的应用程序交互时产生问题。

Juicefs通过提供完全posix兼容的工具来解决这一点，该工具允许您与其他应用程序无缝地工作，没有任何业务侵入。此外，它可以内置在几乎任何云存储提供商的顶部，以将数据存储为对象。它还通过在熟悉的数据库引擎中保存元数据提供更好的管理，例如Redis，MySQL，PostgreSQL，SQLite等。

JuiceFS旨在提出其出色的性能，提供低网络延迟，可以以毫秒为单位测量。该工具还提供Hadoop Java SDK，因此可以很容易地集成到Hadoop生态系统中，并为使用Kubernetes的企业提供Kubernetes CSI驱动程序。

# 3. SeaweedFS #

![免费！4个开源对象存储的解决方案][4 3]

> Photo from SeaweedFS

SeaweedFS是一种直接替代的JuiceFS，在功能方面，但它更受欢迎。开源项目的可信度和非常未来依赖于其社区以及它是多么活跃，海行为在两个方面都进行了检查。截至6月2021日，GitHub存储库有超过12k星级和119名活跃贡献者。

SeaweedFS使速度和可扩展性成为最优先事项。根据他们的网站，他们的目标是：

*  存储数十亿个文件！
 *  快速服务于这些文件！

与其他对象存储系统不同，SeaWeedFS不会将所有数据保存在单个存储库中。相反，它使用单个中央主站来控制卷服务器的集群，这些卷服务器管理文件和元数据。此功能允许该工具更快，因为它缓解了所有并发问题的中央单主服务。

SeaweedFS引入并处理其无状态服务器的目录，称为Filer。它是线性可扩展的，并支持数十个可自定义的元数据存储，如MySQL，PostgreSQL，Redis，Cassandra，HBase，MongoDB，Elastic Search，LeveldB，RockSDB，SQLite，MEMSQL，TIDB，ETDD，CockroachdB等。

# 4. Minio. #

![免费！4个开源对象存储的解决方案][4 4]

> Photo from MinIO

另一个强大的JiuceFS和SeaweedFS的替代品是Minio。即使它相当年轻，Minio也成为混合云对象存储的领导者。它在私有和公共云中无缝运行，提供最广泛的使用情况 - AI / ML，分析，备份/恢复和移动和Web应用程序。

该项目在GitHub上拥有28,00多名明星，近300个有效贡献者，使其成为领先的开源对象存储系统工具。对于更严格的安全和持续支持，也有两个付费计划。

Minio还提供了最高质量的软件设计。它是kubernetes-native和s3兼容的兼容。它在AWS，Azure和GCP中有超过77M的运行实例，这比私有云的其余部分组合在一起。

在性能方面，它可以分别使用183 GB / s和171 Gb / s的读写速度运行，并且可以无缝地集成到Hadoop生态系统中。

# 概括 #

今天，我们讨论了与对象存储系统一起使用的四个最受欢迎的开源工具。虽然Juicefs，Seaweedf和Minio提供基于云提供商顶部的对象存储解决方案，但Lakefs提供了类似Git的数据版本控制系统，可以与此处提到的任何其他工具一起使用。

选择一个以上取决于您的公司和业务需求。例如，如果您想要完全开源工具，Seaweedfs是一个很好的选择。另一方面，如果要实现由大型社区支持的工具，并且可以为您的特定需求提供企业解决方案，Minio是完美的候选人。此外，将这些工具与LakeFS结合起来可能是一个很好的想法，以便您可以使用您的非结构化数据进行大数据和机器学习操作的完美设置。

(本文由闻数起舞翻译自Anna的文章《4 Must-Have Open Source Solutions for Object Storage》，转载请注明出处，原文链接：  
https://betterprogramming.pub/top-4-open-source-tools-for-object-storage-e43267bcd724)

[4]: /images/20220829/0bf414e5f2a2436b990ea9988afa7220.png
[4 1]: /images/20220829/3c410d02b0494c6bb7e345fef7da8600.png
[4 2]: /images/20220829/a5fe12dc642a4de2a3ec587c2043ab64.png
[4 3]: /images/20220829/84fb0bb986e7456c884613462a59706a.png
[4 4]: /images/20220829/11399e76512142839406e18174a033cb.png