银行分布式数据库改造方案实践与探索

迈不过友情╰ 2022-12-28 01:50 140阅读 0赞

**主题：**银行分布式数据库改造方案实践与探索

**大纲：**

1. 分布式数据库可以带给我们哪些优势或者有哪些不足  
2. 对于数据库从业人员推荐哪种开发技能  
3. 对于新加入DB相关从业人员，分享经验和建议  
4. 分布式数据库下表关联的计算场景，推荐如何把控  
5. 从传统数据表迁移到分布式数据库有哪些需要注意的点

![format_png][]

![format_png 1][]

听说3306π要搞事情了

是啊，马上要搞3306π深圳站了

![format_png 2][]

![format_png 3][]

啊，是吗？哪天啊，在哪里办，怎么报名？

**12月19日**，就在**深圳南山区海岸城**，点文末的原文链接或者扫描二维码就可以报名了，一起来吹吹牛逼。

![format_png 4][]

嘉宾自我介绍

![format_png 5][]

**王辉  ****数据库专家**** **15年互联网、金融行业架构及IT运维管理经验，专注数据与数据库领域，精于构建系统安全与智能运维体系，善于系统架构优化及全链路分析诊断；丰富的IT项目开发、设计、管理经验；精通关系型数据库MySQL/Oracle、非关系型数据库Redis/MongoDB，近些年主要从事对国产、开源分布式数据库的调研与推广、异构数据库的改造与迁移等相关工作。

![format_png][]

请问王老师，分布式数据库可以带给我们哪些优势或者有哪些不足吗？

![format_png 6][]

优势：

1) 高扩展：当业务数据不断扩大，性能出现瓶颈，无法通过增加硬件资源获得提升时，分布式数据库可以通过将数据拆分横向扩充方式来解决

2) 高可靠：分布式数据库具备多副本特性，同时基于共识协议可以确保副本的数据一致性

3) 高可用：对于节点故障可以自动切换，无需人工干预，对应用透明

不足：

1) 由于分布式数据库是通过网络将各数据节点链接在一起，因此对网络带宽要求较高，任何网络的延迟等造成的问题都会被放大

2) 分布式事务大部分采用2PC的方式，虽然各厂商的产品都做过优化，但受制于原理，性能依然会有一定的损耗

3) 对特定的对象和语法存在限制，对开发来说有一定的改造成本

4) 成熟度相对较低、学习和运维成本较高

王老师经验丰富，作为数据库从业人员，开发技能必不可少，您比较推荐哪种开发技能呢？

![format_png 6][]

基础的Shell脚本语言可以实现简单的自动化运维；phyon语言可以实现更加复杂的自动化、甚至智能化运维管理的要求，非常建议熟练掌握与运用。

王老师作为成功的过来人，您对于新加入DB相关从业人员，可以分享下您的经验和建议吗？

![format_png 6][]

1） 培养自己良好的操作习惯，要有敬畏心，切不要凭感觉盲目操作。

2） 培养自己对问题故障处理的思路，对于生产故障，切不要自己过多的思考不能自拔，可通过第一时间询问他人等方式快速处理后，再慢慢分析与研究，把快速处理故障放在第一位。

3） 培养自己记录问题的习惯，通过不断的积累提升自己的写作与分析问题能力。

4） 培养自己不断学习与创新的能力，慢慢体会如何才能更好，更高效，更简单的完成自己的工作。

分布式数据库下表关联的计算场景，您推荐如何把控呢？

![format_png 6][]

1) 表关联一般不建议超过3张表以上的链接，需要结合业务场景和业务逻辑，对于分布式数据库表关联一定要采用分片键，这样才能确保数据在各分片节点分别进行关联而不垮分片节点，避免网络广播造成的垮节点数据汇聚开销；

2) 对于非分片表的关联，可以采用建立全局表的方式解决垮节点的问题；

3) 要培养开发人员的能力水平，制度相关开发规范，建立SQL审计流程，尽量避免业务逻辑简单而实现复杂化的现象。

请问王老师，从传统数据表迁移到分布式数据库，有哪些点需要注意的吗？

![format_png 6][]

1） 数据库的对象和语法兼容性问题，决定了开发改造成本

2） 迁移后的性能问题，性能至少不能低于原传统数据库

3） 迁移后的数据一致性问题，要反复验证确保数据迁移前后一致

4） 迁移时间窗口及操作风险，根据不同的时间窗口和数据量大小制度不同的迁移方案，同时要避免人为的操作风险

5） 全面的业务测试：包括应用功能、应用性能、稳定性等测试，数据是服务业务的，最终的成功以业务为准，因此在测试阶段，一定要对迁移后的数据做全面的业务验证测试

6） 制作详尽的迁移方案，同时寻找一个完善的迁移工具会事半功倍

7） 制度回退策略，以处理在遇到极端情况只能通过回退才能解决的问题。

总体上要做到数据完整一致性原则，业务稳定运行原则，成本可控原则和回退可信原则。

![format_png][]

![format_png 7][]

**扫码报名**

![format_png 8][]

点击文末“**阅读原文**”链接亦可报名

参与活动

学习新技能

赢取罗小波新书《MySQL复制技术和生产实践》和爱可生精美杯子

活动规则

在[《年轻人不讲武德？12月19日来3306π深圳站学点真本事》][12_19_3306]下方留言

写下您对本次活动的建议

或是想向嘉宾提出的问题

有效留言被选中后，点赞数超过30

按点赞数排名取前10名

赠送礼品

二者任选其一

![format_png 9][]

**关于「3306π」社区**

围绕 MySQL 核心技术，将互联网行业中最重要的数据化解决方案带到传统行业中；囊括其他开源技术RadonDB、ClickHouse、Redis、MongoDB、Hbase、Hadoop、ElasticSearch、Storm、Spark等；分享干货知识，即便是赞助商，也要求如此，拒绝放水

![format_png 10][]

[format_png]: /images/20221120/0c914bf7db28450492c70d7ad45201bd.png
[format_png 1]: /images/20221120/d33a7078adaa40d5ae8789ddf8ef3e94.png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90dGdrckU3VXBkYmpKWmljcVVuZGg2Nkh3bmpFdGtpY3FWT3hxSXY5RnVrSzg5NUphUjR2RGg1cmEwM0NWcjhwenprbERidzNUYU9RNVpXTWhYQUNYenJnLzY0MA?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy8ySGFBaWM2alVucW9EUUI3UVRUTHRJaDRNMWs3aWFTR2ljZ3F2Ukdmc2lhVmprWFhNOXJsNXFrQThjWWZGNHNuWnZsa3JsZUlCd3dSM0ZVcWRUdlBtdG81U2cvNjQw?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9hUjZnczNaRnRZOHZ5ZGhpY1RCMDN6MGZtM0x3SkNjNERDM3pNaWNKY0FWa09lbmNuRWNJNUV2UnpZWnVGaWFrT0p0V1hvRmRGTHdvakVFNUNHcmRBcUo2dy82NDA?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9lbVdKczRhc2ljc0M1NGh5NGhCRXppY0JtOTBuajV5eWMyS0hXT3I0OHJ6elVjQ1JMU3RzUUttWk9rUVVmVmljSkVEdmwxU1ZLRXl6UzVLZldveDd3V2tLQS82NDA?x-oss-process=image/format,png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi9lbVdKczRhc2ljc0NNWFZBbzFqN2liQmJPSEVXMGtyTjZxTTh3aWI0eXpyRktRMWtnR0Q0WlBLTkhxM1RHTFhOMXo3aWNsbWs4RzI4eW9jdDc5Q1k4UFVIZFEvNjQw?x-oss-process=image/format,png
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9lbVdKczRhc2ljc0ExZUVVVUFEamZnOXhpYWYzQkhOMGFwUlg3Z1l5cVRveVBhYkFNbGVTcjI0dDlpY1RFR1ByVWZlVHFRclBPSndLVFR4bGJNRXRmb2VjQS82NDA?x-oss-process=image/format,png
[format_png 8]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9lbVdKczRhc2ljc0FDTVZtSFBMRlpyd2V1UWJYSExJZlBVTzNXaWMxYkJjTzdMaWNmZWtldTFhbE9rNnhRdEhmQUJENTB1d0EybEZpY0xUVndxY0ZiNENjRkEvNjQw?x-oss-process=image/format,png
[12_19_3306]: http://mp.weixin.qq.com/s?__biz=MzI1NjkzNDU4OQ%3D%3D&chksm=ea1e4780dd69ce96ba2223ae62f7f44fe80e1ef8f087bc4b3f66de337a81e579018dfd5e2301&idx=1&mid=2247487570&scene=21&sn=54ec90afa06e39c5528f8b663cb4880d#wechat_redirect
[format_png 9]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9lbVdKczRhc2ljc0NoSDZna2pkZVJ4amRkc1hvUXRReHdqb04yU1BxaWJ5cHpkYzFRdGJraWNwM292RWhrZ1FBTEZIYXQxNFkzZ3N1aWE5ZmN3TWFpY2tXWHNBLzY0MA?x-oss-process=image/format,png
[format_png 10]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9lbVdKczRhc2ljc0J2aE1JRk54Q3JpYXBuNm1IT3J6NW1NTUUwcTBuUFZaaWFYZVFwSXl1RVFhVG9hTE5xcFVyUTVTSlNqSlFlMzdaaWFadmxGUmNpY2xUYTdRLzY0MA?x-oss-process=image/format,png