巨杉数据库TechDay回顾 | 分布式数据库@民生、Sharding Sphere@京东、ClickHouse@微博

刺骨的言语ヽ痛彻心扉 2023-01-05 05:08 167阅读 0赞

大数据时代，数据早已成为全球战略资源级的存在，数据库也成为了所有应用成功运行的核心。同时，随着创新业务的不断增加，业务的复杂及庞大的体量必然会产生错综复杂且规模巨大的结构化数据，这些都迫使企业对数据库的需求指向大规模、高可靠、高扩展及高性能。对任何企业而言，数据库都是其应用的核心资源，如何选择适合自身企业 IT 架构及业务的核心数据库是每一个 CIO/CTO 必须面对的问题。

2019年1月12日，巨杉TechDay首场沙龙活动，在北京市海淀图书城举行，此次活动围绕“分布式数据库架构设计与实践“进行详细深入的探讨与交流，与到场的数百名观众一起聊聊数据库的那些事儿。虽然天气寒冷，但会场早早的坐满了技术小伙伴们，这也再次证明了技术人对技术的热情，是无法用寒冷的天气阻挡的。首场沙龙活动，四位数据库领域资深大咖为到场的百余位朋友，奉上了一场分布式数据库的技术盛宴，也让我们度过了一个充实且精彩的下午。

![图片][934a7974719313b4532f533d74469848.png]

**民生银行分布式数据库实践**

中国民生银行信息科技部资深架构师周鹏，作为第一位演讲嘉宾，详细的介绍了分布式数据库的优势。他表示，对于银行来说，稳定性与高可用是其追求的目标，这也正是分布式数据库善于解决的问题。

第一为了解决单点风险，在数据库层面，传统方案通过操作系统高可用实现主备的切换，存在全局风险；其次是性能，随着客户量的增加，无论是传统数据库层面还是机器层面都是单机所带来的性能，对于水平扩展服务能力，则需要分布式数据库来解决。

![图片][885b3f54f2ff6e8c051fdcd33fe8e0ee.png]

周鹏先生针对民生银行在数据库分布式架构方面分享了民生银行的实践成果。第一部分是基于DB2的跨数据中心的数据库，讲述了民生银行在传统DB2的商业数据库上是如何运用分布式与双活的尝试。第二部分，是基于分库分表的数据库架构，周鹏先生直言这是最近做的比较有意义的尝试，主要是基于MySQL数据库在核心系统上做的分库分表的数据库的改造。最后，是巨杉数据库在数据中台、影像管理平台、归档数据存储等业务场景的应用。

**分布式数据库架构实践**

巨杉数据库联合创始人&CTO王涛第二个登场，在主题分享之前，王涛详细的介绍了巨杉数据库以及它所能够解决的行业问题，并强调巨杉数据库在2017与2018年连续两年入选Gartner数据库系列报告，与阿里云数据库，成为中国仅有的两家连续入选报告的产品。目前，巨杉数据库典型使用场景分类主要为核心交易系统、联机数量服务、HTAP混合业务处理与内容管理系统四大类，并已在超过50家大中型银行的核心生产系统上使用。对此，王涛先生分享了众多银行的联机交易系统、大型保险公司生产系统迁移、股份制银行在线服务平台等诸多案例。

![图片][9f0c520db3ecc08bbdbd861aec9bd1cc.png]

案例分享过后，王涛先生将具体的技术特性做了详细的分析，其中包括针对MySQL主从复制架构、SequoiaDB – MySQL 多活架构、SequoiaDB巨杉数据库 分布式数据库架构、分布式交易设计、全文检索索引支持、平台统一管理监控方案等数十种技术特性进行了详细的分析。

最后，在与工作人员的协同下，现场为大家演示了具体的性能测试，并分享了MySQL兼容样例，在分享与交流演示中，整场分享可谓干货满满。

**Apache ShardingSphere架构剖析及应用实践**

京东数科高级DBA潘娟女士作为第三个出场的讲师，直奔主题为大家讲解了Sharding Sphere的架构。她介绍当数据分片、分布式事务、数据库治理、弹性伸缩与管控界面的核心功能，与Sharding-JDBC、Sharding-Proxy、Sharding-Sidecar的接入端相结合，则成为了Apache Sharding Sphere架构。

![图片][ad574f660f788f564d9a59d142432cf2.png]

Apache Sharding Sphere作为数据库中间件生态圈，潘娟女士重点为大家分享了数据分片、社区分片、水平分片，并聚焦于数据分片中解析、路由、改写、执行和归并五个环节做出了详细的分享。

**基于ClinkHouse的数据高效分析**

最后一位与大家分享的嘉宾，是来自新浪微博数据平台部的系统研发工程师夏水军，夏老师的出场也将主题分享推向了高潮。他主要介绍了利用ClinkHouse的强大、快读的分析能力，来解决业务中的一些困难。

![图片][0f0fd87e0bb3f319d4b1529eb020a550.png]

分享开始夏水军先生介绍了该项目的背景，随后着重介绍了该项目的技术选型，其技术特点包括数据量大，总数据量高达几千亿；第二是每4分钟写一次，一次写几百万；第三是实时查询；第四是响应时间小于4秒；第五由于数据越来越多，则需要可扩展性；最后是增加复杂的SQL。

除此之外，夏水军还为我们分析了ClickHouse的优势与不足之处，不足之处在于ClickHouse不支持事务与多表join，只支持局部的update和delete，且高并发不足、运维困难等局限。但是其优势也是有目共睹的，包括True column-oriented storage、向量化执行，通过代码加快速度，进行动态编译，数据压缩、支持实时入库，支持Join以及使用快速等诸多优势。

![图片][56c7eabd7b5982b5ffe51d49e92b159b.png]

随着夏水军先生的精彩演讲的结束，现场还增加了简单轻松的互动环节，在场的近百位技术小伙们与数据库大咖们互动切磋，伴随着欢声笑语与热烈的现场交流，巨杉TechDay首场沙龙活动圆满结束。

首战告捷，如果你还意犹未尽，让我们继续关注巨杉TechDay下一次更加精彩令人期待的沙龙活动吧！

[934a7974719313b4532f533d74469848.png]: /images/20221119/faacd614f9574e0f9fa3a39e8f6270f9.png
[885b3f54f2ff6e8c051fdcd33fe8e0ee.png]: https://img-blog.csdnimg.cn/img_convert/885b3f54f2ff6e8c051fdcd33fe8e0ee.png
[9f0c520db3ecc08bbdbd861aec9bd1cc.png]: https://img-blog.csdnimg.cn/img_convert/9f0c520db3ecc08bbdbd861aec9bd1cc.png
[ad574f660f788f564d9a59d142432cf2.png]: https://img-blog.csdnimg.cn/img_convert/ad574f660f788f564d9a59d142432cf2.png
[0f0fd87e0bb3f319d4b1529eb020a550.png]: https://img-blog.csdnimg.cn/img_convert/0f0fd87e0bb3f319d4b1529eb020a550.png
[56c7eabd7b5982b5ffe51d49e92b159b.png]: https://img-blog.csdnimg.cn/img_convert/56c7eabd7b5982b5ffe51d49e92b159b.png