SequoiaDB巨杉数据库深度整合Spark 2.0，国内首家Spark认证数据库

素颜马尾好姑娘i 2022-06-09 05:42 269阅读 0赞

[SequoiaDB巨杉数据库][SequoiaDB]也成为了[Spark官方认证][Spark]的全球合作伙伴和授权的Spark提供商之一，[SequoiaDB巨杉数据库][SequoiaDB]也是国内唯一获得该认证和发行权的数据库公司。

**深度整合Spark 2.0**

SequoiaDB 2.0通过深度集成最新的Spark 2.0内存计算框架，实现了批处理分析、流处理等贴近应用的功能。存储层和计算层两层分离的架构、技术互补，是硅谷大数据新架构的主流，将分布式计算与分布式存储的能力分别发挥到了极致。如今，Spark技术已经被大量运用到实时流处理、分析等不同领域。例如，对于实时风险管控、物联网设备监管、实时报表、以及后台数据加工分析都可以利用Spark技术得以实现。

![Spark2.0][]

SequoiaDB作为在线数据存储系统，是国内第一个真正意义上整合分布式数据库与Spark的分布式计算存储框架。通过分布式的SQL、索引、查询和计算模块整合，这一框架能够无缝适配当前主流大数据平台框架的发展趋势，也能够突出SequoiaDB的核心优势，为用户带来传统Hadoop体系无法提供的特性，提升企业数据的价值。

**SequoiaDB是Spark底层数据源首选**

SequoiaDB是一款文档型的分布式NewSQL数据库，其也是国内第一款完全自主研发、并且敢于开源的NewSQL数据库产品。SequoiaDB JSON对象式的存储结构，带来灵活的数据结构；分布式的架构，使得存储容量可以动态调整；高可用和读写分离则可以使得数据读写和离线数据分析分离，提升使用的效率；原生的Spark-SequoiaDB Connector 连接器让Spark与SequoiaDB完美对接。（Spark Connector教程见[链接][Link 1]）

以上这些特性都让SequoiaDB可以成为Spark数据源的首选。

*![SequoiaDB Spark connector][]*

*“SequoiaDB是一款NewSQL数据库，其可以在不同的物理节点之间对数据进行复制，并且允许用户指定使用哪一个数据备份。SequoiaDB允许在同一集群同时运行数据分析和数据操作负载，并且保证最小的I/O和CPU使用率。”*

*“Spark-SequoiaDB Connector是Spark的数据源，可以让用户能够使用SparkSQL对SequoiaDB的数据库集合中的数据进行读写。连接器用于SequoiaDB与Spark的集成，将无模式的存储模型、动态索引以及Spark集群的优势有机的结合起来。”——引自《Spark官方 Blog》*

* *

**SequoiaDB+Spark 打造一体化大数据平台**

*“Apache Spark和SequoiaDB的联合解决方案，使得用户可以搭建一个在同一个物理集群中支持多种类型负载（如，SQL语句和流处理）的统一平台。”*

* *SequoiaDB+Spark的一体化大数据平台，通过SequoiaDB与Spark架构的结合，实现了从数据的底层存储，到数据的处理分析，最终实现数据展现的一体化平台。平台打通了数据从存储到最终展现的全过程，不仅大大降低了用户部署、使用的成本，简化了整个系统的操作和维护，同时更通过平台的一体化整合，大大减少了因为不同的产品、架构之间对接、通信等操作造成的系统效率和数据安全性降低。此外，Spark的SparkSQL解析引擎，结合非结构化存储的SequoiaDB，帮助现有的SQL语句比较熟悉的用户，能在基本不修改业务操作的情况下，顺利的对接上SequoiaDB+Spark平台。

目前，一体化的大数据平台，已经在各个行业的大数据应用中开始普及。我们也举一个系统的例子来做说明。

**SequoiaDB+Spark实战案例：产品精准推荐系统**

这一系统，使用分布式的SequoiaDB，将所有用户的交易信息、操作信息进行了存储。这一存储的量级就已经达到了近PB级别。

之后，基于这些历史交易信息，平台就可以通过对这些数据的分析，对每个用户的交易行为进行预测，对用户进行分类和建模，最终根据分析的结果向每个用户推荐最适合的理财产品。

当用户模型系统通过分析所有的历史数据和日志，计算出需要推荐的产品时，这些用户特征也会作为这个用户的一个标签写入这个用户的信息中。这些新加入的用户标签，可以帮助前台的员工和产品推荐系统快速的分辨出每个顾客的兴趣和消费倾向。

部署了这套系统后，该金融产品的推荐成功率提升了10倍以上。

![SDB&Spark架构][SDB_Spark]

系统主架构图

**结束语**

Spark将是大数据、云计算未来将会占据主流的计算架构之一。如今，国内唯一一款开源企业级NewSQL数据库与Spark进行深度结合，不仅体现出国内大数据技术和产品已经具备与国际顶尖产品齐头并进的能力，也体现出了Spark这一新兴的大数据技术对于中国这一市场的重视，在产品发展初期就选择与中国的厂商进行全面的合作。此外，通过Spark这一技术在国内得到了较多的应用，可以看到中国目前企业对于大数据技术相比于其他方面，开放度和接受度更高，更愿意接收更新的技术，这对于国内的大数据技术、产品也是好消息。

[产品特性][Link 2]  
[解决方案与案例 ][Link 3]  
[数据库下载 ][Link 4]  
[技术文档 ][Link 5]

微信客服：  
sequoiadb111

![%$(LAXO\}X%1H2\{JOLG640GP.jpg][LAXO_X_1H2_JOLG640GP.jpg]

[SequoiaDB]: http://www.sequoiadb.com/cn/
[Spark]: https://databricks.com/spark/certification/certified-spark-distribution
[Spark2.0]: /images/20220609/59bf86d8102e4a06b6ef7550c71687ae.png
[Link 1]: http://www.sequoiadb.com/cn/index.php?m=Blog&a=Detail&id=5
[SequoiaDB Spark connector]: /images/20220609/ccad20ce079949edb292854b5da9da6b.png
[SDB_Spark]: /images/20220609/c1e20d5096c74866967124cff71cfabb.png
[Link 2]: http://product.sequoiadb.com/
[Link 3]: http://solution.sequoiadb.com/
[Link 4]: http://download.sequoiadb.com/
[Link 5]: http://doc.sequoiadb.com/
[LAXO_X_1H2_JOLG640GP.jpg]: /images/20220609/9bc4bd23a38e4178a8ad33d0db9b8eca.png