面试官们“爱不释手”的分布式系统架构到底是个什么鬼？

我不是女神ヾ 2022-01-14 16:51 241阅读 0赞

点击上方石杉的架构笔记，右上选择“**设为星标**”

每日早8点半，精品技术文章准时送上

![640?wx\_fmt=png][640_wx_fmt_png]

往期文章

[BAT 面试官是如何360°无死角考察候选人的（上篇）][BAT _360]

[每秒上万并发下的Spring Cloud参数优化实战][Spring Cloud]

[分布式事务如何保障实际生产中99.99%高可用][99.99]

[记一位朋友斩获 BAT 技术专家Offer的面试经历][BAT _Offer]

[亿级流量架构系列之如何支撑百亿级数据的存储与计算][Link 1]

![640?wx\_fmt=png][640_wx_fmt_png]

本文是公众号读者**W同学**的投稿

感谢**W同学**的技术分享

**目录：**

一、什么是分布式系统？

二、为什么要走分布式系统架构？

三、系统如何进行拆分？

四、分布式之后带来的技术挑战？

**一、什么是分布式系统？**

在谈分布式系统架构前，我们先来看看，什么是分布式系统？

假设原来我们有一个系统，代码量30多万行。现在拆分成20个小系统，每个小系统1万多行代码。

原本代码之间都是直接基于Spring框架走JVM内存调用，现在拆开来，将20个小系统部署在不同的机器上，然后基于分布式服务框架（比如dubbo）搞一个rpc调用，接口与接口之间通过网络通信来进行请求和响应。

所以分布式系统很重要的特点就是服务间要跨网络进行调用，我们来看下面的图：

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg]

此外，分布式系统可以大概可以分成两类。

## 1. 底层的分布式系统。 ##

比如hadoop hdfs（分布式存储系统）、spark（分布式计算系统）、storm（分布式流式计算系统）、elasticsearch（分布式搜索系统）、kafka（分布式发布订阅消息系统）等。

## 2. 分布式业务系统 ##

分布式业务系统，把原来用java开发的一个大块系统，给拆分成多个子系统，多个子系统之间互相调用，形成一个大系统的整体。

举个例子，假设原来你做了一个OA系统，里面包含了权限模块、员工模块、请假模块、财务模块，一个工程，里面包含了一堆模块，模块与模块之间会互相去调用，1台机器部署。

现在如果你把他这个系统给拆开，权限系统，员工系统，请假系统，财务系统，4个系统，4个工程，分别在4台机器上部署。

然后一个请求过来，完成这个请求，员工系统去调用权限系统，调用请假系统，调用财务系统，4个系统分别完成了一部分的事情。

最后4个系统都干完了以后，才认为是这个请求已经完成了。这就是所谓的分布式业务系统。

同样，我们来一张图，感受一下上述过程：

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 1]

**二、为什么要走分布式系统架构？**

有的同学可能要问了，我一台服务器跑的好好的，所有系统一个工程全部搞定，多好。为啥一定要去搞什么分布式系统架构，互相调用还要走远程，似乎还增加了不少工作量？

这里我就以我曾经待过的一个公司的血泪经历为例，来聊聊这个问题。

很多年前，在没有走分布式架构的时候，我待的这家公司的各个业务线都是垂直的 “**烟囱式**” 项目。

随着互联网的快速发展，公司的业务也在不断的发展，注册用户增加、网站应用的功能、规模不断扩大，特别是移动互联网的发展，APP、微信、自助终端机等访问渠道的增加，各种新业务，新需求不断涌入，系统遇到了各种各样的问题。

首先是项目工程无节制的变得臃肿庞大，系统复杂度增加，大几十万行代码，几十个开发人员，service层，dao层代码大量被copy使用，经常各种代码合并冲突问题要处理，非常耗费时间。

经常是我改动了我的代码，别人调用了我的接口，导致他的代码也出现问题，需要重新测试，麻烦的要死。

然后每次发布都是几十万行代码的系统一起发布，大家得一起提心吊胆准备上线，几十万行代码的上线，每次上线都要做很多的检查，很多异常问题的处理，每个人都高度紧张，被搞得几乎崩溃。

而且如果我现在有个新业务，打算把相关依赖升级一下，比如升级到最新的spring版本，还不行，因为这可能导致别人的代码报错，不敢随意乱改技术。并且一个web工程每次启动都需要好分钟的时间，本地IDE里面调试一次代码都很痛苦。

其次，随着用户访问流量的增加，系统负载压力变大，变得不堪重负，通过增加实例数，增加硬件扩容能够带来的效果已微乎其微，故障频发，效率低下。系统质量也越来越难以保证，测试周期也变得越来越长，无法满足公司业务发展的需要。

以上就是以前待过的公司一些 “不堪回首” 的往事，总得来说，问题主要体现在以下几个方面：

1.  应用代码耦合严重，功能扩展难
2.  新需求开发交互周期长，测试工作量大
3.  新加入的开发同事需要很长时间才能熟悉系统
4.  升级维护也很困难（改动任何一点地方都要升级整个系统）
5.  系统性能提升艰难，可用性低，不稳定。

好，既然我们已经深刻体会到了系统耦合的痛苦，那么现在就来看看，系统拆分后带来的好处：

首先，系统拆分了以后，会感觉整个世界都清爽了。

几十万行代码的系统，假设拆分成20个服务，平均每个服务就1-3万行代码，每个服务部署到单独的机器上。20个工程，就用20个git仓库代码，20个开发人员，每个人维护自己的那个服务就可以了。

*  因为是自己独立的代码，跟别人没关系。再也没有代码冲突了，爽！
 *  每次就测试我自己的代码就可以了，爽！
 *  每次就发布我自己的一个小服务就可以了，爽！
 *  技术上想怎么升级就怎么升级，保持接口定义不变，输入输出内容不变就可以了，爽！

总结起来一句话，分布式系统拆分之后，可以大幅度提升复杂系统大型团队的开发效率。

**三、系统如何进行拆分？**

一般来说，将系统进行拆分，首先需要对系统整体比较熟悉。可以走多轮拆分的思路，第一次拆分就是将以前的各个大的模块粗粒度的拆分开来。

比如一个电商系统可以拆分成订单系统、商品系统、店铺系统、会员系统、促销系统、支付系统等等。

后面可能每个系统又变得越来越复杂了，比如说订单系统又可以进一步拆分出来购物车系统，库存系统，价格系统等。

总得来说就是基于领域驱动设计的思想以及实战经验总结，同时参考业界一些常规做法，大家讨论着来进行拆分，逐步优化，多轮拆分，小步快跑，最终达到一个比较好的状态。

**四、分布式之后带来的技术挑战？**

首先就是分布式服务框架的选用，目前国内来讲主流的还是dubbo与spring cloud。

我们来思考一下，使用服务框架主要用来解决什么问题呢？如果不用dubbo或者spring cloud是否可以做分布式架构呢？

不用dubbo或者spring cloud等服务框架当然也是可以的，但是这就需要自己处理很多事情了。

比如，各个子系统走restful接口调用，那么就是http调用，这时比如传送过去一个对象，就要自己搞成一个json，然后一次调用失败后重试怎么做？

另外，一般来说都是集群部署，目标系统有多个实例，那么自己还要写一个负载均衡算法，如何每次随机从多个目标机器中挑选一个来调用？

还有，如果目标系统扩容新部署了一个实例，或者服务器故障下线了一个实例，如何动态让调用方感知到呢？ 诸如此类的很多问题，如果不用服务框架的话，自己这么瞎搞，会遇到各种各样的问题。

上述过程，用一张图给大家呈现一下：

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 2]

如果选用了某一个分布式服务框架，就需要深入的掌握这个框架的使用与底层原理，比如 dubbo 就需要搞明白以下的一些问题：

1.  dubbo的工作原理？
2.  dubbo支持的序列化协议？
3.  dubbo的负载均衡和高可用策略？动态代理策略？
4.  dubbo的SPI思想？
5.  如何基于dubbo进行服务治理、服务降级、失败重试以及超时重试？
6.  dubbo服务接口的幂等性如何设计（比如不能重复扣款，不能重复生成订单，不能重复创建卡号）？
7.  dubbo服务接口请求的顺序性如何保证？
8.  如何自己设计一个类似dubbo的rpc框架？

使用spring cloud也是一样，比如eureka的工作原理？feign声明式调用的原理？等等各种底层原理要搞懂。

还有其它一些走分布式架构后常见的要解决的技术问题：

1.  分布式会话
2.  分布式锁
3.  分布式事务
4.  分布式搜索
5.  分布式缓存
6.  分布式消息队列
7.  统一配置中心
8.  分布式存储，数据库分库分表
9.  限流、熔断、降级等。

以上这些问题，往深了说，每一个点都需要可能 N 篇文章来详细阐述，这里没法逐一展开，后面我们会继续通过一些文章，聊一聊这些分布式架构下的各种技术问题。

**END**

**划至底部，点击“在看”，是你来过的仪式感！**

![640?wx\_fmt=png][640_wx_fmt_png]

**推荐阅读**：

*  [简历写了会Kafka，面试官90%会让你讲讲acks参数对消息持久化的影响！][Kafka_90_acks]  
    
    
      
    
 *  [面试最让你手足无措的一个问题：你的系统如何支撑高并发？][Link 2]  
    
    
      
    
 *  [Java高阶必备：如何优化Spring Cloud微服务注册中心架构？][Java_Spring Cloud]

*  [高并发场景下，如何保证生产者投递到消息中间件的消息不丢失？][Link 3]

*  [从团队自研的百万并发中间件系统的内核设计看Java并发性能优化！][Java]

*  [如果20万用户同时访问一个热点缓存，如何优化你的缓冲架构？][20]

**更多文章：**

*  [2018年原创汇总][2018]
 *  [2019年原创汇总（持续更新）][2019]
 *  [爆款推荐][Link 4]
 *  [面试专栏][Link 5]

![640?wx\_fmt=png][640_wx_fmt_png]

欢迎长按下图关注公众号**石杉的架构笔记**

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 3]

**BAT架构经验倾囊相授**

![640?wx\_fmt=gif][640_wx_fmt_gif]

[640_wx_fmt_png]: /images/20220114/2e1373eb0de34830aa72a2b29a124941.png
[BAT _360]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247484144&idx=1&sn=a6b86d38a762e317ba78e2500fb1a8ff&chksm=fba6eaf3ccd163e5403a01be51216780040511b2ddc4d5750ace6e46b4242ceaf77d0432c680&scene=21#wechat_redirect
[Spring Cloud]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247483777&idx=1&sn=f144ee415bb743f5422314907fc7d819&chksm=fba6e982ccd160945aa5c53434e933e2f03e89d9faf634f0b573c1f7b6f4d6d2635cad091276&scene=21#wechat_redirect
[99.99]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247483876&idx=1&sn=51f8eadc16efd6b89eb1f3c6abe67e25&chksm=fba6e9e7ccd160f183b344d4773841ad8df9a2c099a16aae516ddb45aef7eaccb83570d171fe&scene=21#wechat_redirect
[BAT _Offer]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247484170&idx=1&sn=6c178884c1c5399e37562b9dc66cff6c&chksm=fba6eb09ccd1621ff8821b37f12d6df8a1d269ddc95ad10c0a4e71a3bf0017952bf19978d8ec&scene=21#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247483948&idx=1&sn=e75aa8b5cfae1363391801e2f74bd2ee&chksm=fba6ea2fccd163390520dbc62b6170c7f3d456207e623fce4ded036fea525a6782a31098b905&scene=21#wechat_redirect
[640_wx_fmt_jpeg]: /images/20220114/8c9e4221498942ac96e7583134754b63.png
[640_wx_fmt_jpeg 1]: /images/20220114/e3df674d02aa48d88a17b13e69f5ec3b.png
[640_wx_fmt_jpeg 2]: /images/20220114/d784d78b41e64b8f8bebd8b57a80b5c6.png
[Kafka_90_acks]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247485069&idx=1&sn=abd8ddc19fbb49c11c8ad9e1ffdff147&chksm=fba6ee8eccd1679874d5bd19109ed8cb3daadf59dabe67c906f8caed0714ba2dda16f5a032ce&scene=21#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247484429&idx=1&sn=d8038c21ecd733b8bb7ff784014243f9&chksm=fba6ec0eccd165189e92a294ab2b7cd6796982c188befe05c27f4e96ae5cd39f2baf436cf37d&scene=21#wechat_redirect
[Java_Spring Cloud]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247484680&idx=1&sn=d25e1f81ad75f68dd88755173843efad&chksm=fba6ed0bccd1641d7edfd05431904b96f2e3da7c04b3a75c2a350e374733f59971c01ddd9ae6&scene=21#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247484377&idx=1&sn=373832e0d050bb0618448f4403f02f2a&chksm=fba6ebdaccd162cca4a26199554cbfbc37c4aec56fe54c3864a0a9cfc3255884ed212512e5cd&scene=21#wechat_redirect
[Java]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247484395&idx=1&sn=46c756600ba36d94eb4439cf29810cae&chksm=fba6ebe8ccd162fef42bb35360df8ec6c75e1a9af1acc83ba333b3f35191ba8864c16e0a31da&scene=21#wechat_redirect
[20]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247484401&idx=1&sn=823cffa4a1aa73335bdfb7c02e8c85f0&chksm=fba6ebf2ccd162e422b1b496f5790ebdf7f6d11adb8d2e00957ca371dcca0514a3fde09af521&scene=21#wechat_redirect
[2018]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247485040&idx=2&sn=e6eba27a4a912cbd320f28e6d8716241&chksm=fba6ee73ccd16765d9d59ad38dc29bb983439f8c91bda5aef068e79ce35cc6c87869e96481cb&scene=21#wechat_redirect
[2019]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247485185&idx=2&sn=df2470abbcedee1792246dfb81acb446&chksm=fba6ef02ccd166143a04c7a233c1a32b43ce003e6790543354c0248a01d92421de6f3e3b42c5&scene=21#wechat_redirect
[Link 4]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247484866&idx=3&sn=b1018261f230a065b0888bc9b66d6df9&chksm=fba6edc1ccd164d70ff5cc4d31641562f9ba747e992b64041c29317b66f61e3c86566fce0a3d&scene=21#wechat_redirect
[Link 5]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247485185&idx=3&sn=278ce173dd5af6bce78ad9125bed2f45&chksm=fba6ef02ccd16614b5f562c021d18f5db2bc79ba3b33a2bf590db8cc121a3f8e94b4284990c4&scene=21#wechat_redirect
[640_wx_fmt_jpeg 3]: /images/20220114/bbe7e78e6c694cdbbaf40dd804db1abb.png
[640_wx_fmt_gif]: /images/20220114/5ffaa8c9fb4e46e4aa9291109dbe656b.png