服务端开发者从零构建系统方法论

桃扇骨 2021-09-24 23:38 251阅读 0赞

> 欢迎大家关注公众号「JAVA前线」查看更多精彩分享文章，主要包括源码分析、实际应用、架构思维、职场分享、产品思考等等，欢迎大家加我微信「java\_front」一起交流学习

# 1 前言 #

我认为技术之于业务的意义在于：技术可以实现业务的需求，技术可以丰富业务的手段，技术可以扩展业务的边界。

从0到1构建一个互联网技术系统是十分具有挑战性的工作，综合能力要求比较高。本文来谈一谈从0到1构建互联网技术系统基本方法论，具体实现细节可能会有所不同。

# 2 关键步骤 #

## 2.1 技术选型 ##

选用稳定的并且经过线上考验的技术和框架，不要刻意使用新技术或新版本。

## 2.2 绘制用例图 ##

用例图由参与者，用例，边界以及它们之间的关系构成，用于描述系统功能。

用例图是外部用户（被称为参与者）所能观察到的系统功能的模型图。用例图呈现了一些参与者，一些用例，以及它们之间的关系，主要用于对系统、子系统或类的功能行为进行建模。用例图是系统的蓝图。

## 2.3 设计领域模型 ##

设计清晰的领域模型对开发以及后续维护至关重要。简而言之就是系统有多少个模块，每个模块之间是怎么交互的，是同步还是异步，走消息还是直接调用。此时每个工程师可以认领自己熟悉的模块，作为子项目负责人，后续分模块进行开发。

## 2.4 设计交互流程 ##

系统间的模块是如何交互的？系统和其它系统间如何交互？这些问题需要在这个阶段得到详细而具体的回答。

一个比较好的方法是绘制时序图，用一个典型的业务场景为例，描绘出整个系统交互的主要流程。

## 2.5 设计数据表 ##

数据表设计有以下维度需要思考

*  基础数据字段
 *  核心业务字段
 *  数据表索引设计
 *  数据表体量
 *  是否需要分库分表

## 2.6 新建工程模块 ##

现在架构师就要开始创建工程和模块了。原则上是一个领域一个工程，按照领域级别分别开发和部署。当然项目刚开始为了快速迭代可以先合并几个领域到一个工程，等到体量大了再拆分。

## 2.7 明确代码规约 ##

异常是抛出还是捕获，接口的返回值需要用Result包装，监控、告警、流控由切面统一处理等，这样系统会具有很好的维护性。

## 2.8 开发阶段 ##

此时开发的基础条件都已具备，每个模块的负责人按照模块进行开发。

## 2.9 测试阶段 ##

开发人员单元测试要完备，测试人员先按模块进行测试，最后全链路测试。

# 2.10 发布阶段 #

明确各模块依赖关系，明确发布顺序，确定回滚方案。注意RPC服务循环依赖问题。

# 3 核心指标 #

完成上述工作，功能相关的工作就完成了。当然一个系统仅仅完成功能是远远不够的，还有以下的几个核心指标需要关注。

## 3.1 机器指标 ##

架构师只关注功能层面是不够的，因为有些功能看似正常，但是在运行一段时间会暴露严重问题。

例如刚发布上去功能完全正常，但运行一段时间后响应速度显著下降，原因是有开发人员在代码中随意声明线程，频繁创建线程达到了Linux支持的最大线程数，导致整个应用无法接收新的请求。

所以在线上还应该关注机器指标，比如线程数，CPU利用率，内存，磁盘空间，磁盘IO，网络流量，负载情况，GC情况等等。

当系统运行一段时间后出现耗时莫名增加，超时报警异常增多，但并没有发布或升级的操作，就需要立刻分析机器指标。

## 3.2 性能指标 ##

在客户端层，代理层，WEB层，服务端层，数据层都有着自己的性能优化的手段。简单介绍服务层和数据层常见优化方案。

常见的做法是在服务层和数据层之间加一个缓存层，可以是本地缓存也可以是分布式缓存，原则就是将数据放在离用户更近的地方，以空间换时间。

技术架构上可以抽出一层缓存工具框架包，在框架中统一提供比如缓存击穿，分布式锁等解决方案。

## 3.3 监控指标 ##

没有监控报警的业务系统非常不安全，工程师必须对系统监控报警敏感且及时响应。监控可以从以下方面去思考。

### (1) 业务监控 ###

*  业务异常：单位时间出现X次需要告警
 *  延时监控：某状态单位时间内是否变化
 *  数据量监控：单位时间数据量是否正常

### (2) 系统监控 ###

*  系统异常是不允许出现的异常，例如如空指针，操作数据库失败等异常，只要出现就立刻需要告警被感知

## 3.4 安全指标 ##

系统的安全性是系统的根本，要从系统安全和业务安全两个方向去考虑。下列指标只是提供一个思路，还有很多指标可以补充。

### (1) 业务安全 ###

*  超时是失败还是重试
 *  补偿机制是否完备
 *  分布式一致性是否实现
 *  监听消息业务幂等性是否完备

### (2) 系统安全 ###

*  是否鉴权
 *  是否流控
 *  是否高频检测
 *  是否随意声明线程

# 4 利用大数据 #

大数据技术和框架层出不穷，我们可以选择一些来扩展系统的功能，减轻系统的压力。

例如我们可以利用Hive进行离线数据分析，ES进行实时数据分析和数据检索，HBase存储行为轨迹数据等，可以减轻数据库压力，降低系统风险。大数据平台还可以提供数据化产出，为数据化运营提供有力保障。

# 5 文章总结 #

从0到1构建互联网技术系统需要有一定的架构思维和能力，这种能力也只有在不断实践，踩坑和思考中才可以形成。踩坑也不要灰心，注意吸取教训总结经验，这样才能尽快成为一名合格的架构师。

> 欢迎大家关注公众号「JAVA前线」查看更多精彩分享文章，主要包括源码分析、实际应用、架构思维、职场分享、产品思考等等，欢迎大家加我微信「java\_front」一起交流学习

发表评论取消回复

表情：

评论列表（有 0 条评论，251人围观）

还没有评论，来说两句吧...

相关阅读

相关 008-从零搭建微服务-系统服务（一）

模块规划后续服务都按下图结构创建，主要分为三块：mingyue-system 系统服务聚合模块、mingyue-system-api 系统服务公共 API 模块、min

谁践踏了优雅/ 2023年10月12日 11:09/ 0 赞/ 60 阅读

相关推荐系统：从零开始构建企业级推荐系统

在过去的一两年有很多人咨询作者怎么从零开始搭建工业级推荐系统，有做音视频的、有做新闻资讯的、有做在线教育的，不一而足。大家最大的困惑是不知道怎么下手，也不知道用什么算法合适

àì夳堔傛蜴生んèń/ 2023年09月25日 15:50/ 0 赞/ 55 阅读

相关手动从零使用ELK构建一套搜索服务

前言这两天需要对接一个新的搜索业务，由于测试机器还没到位，所以就自己创造条件，通过在Windows上安装VM虚拟机，模拟整套环境，从而能快速进入核心业务的开发测试状态中

不念不忘少年蓝@/ 2022年09月24日 10:18/ 0 赞/ 130 阅读

相关从零手写服务端框架

服务端开发是一个很笼统的概念，狭义讲，服务端开发只是后台程序员的逻辑开发，比如一些新功能（针对新数据的增删改查），或者游戏的新玩法等等；而广义上讲，服务端开发的工作会涉及除了：

浅浅的花香味﹌/ 2022年07月16日 09:20/ 0 赞/ 175 阅读

相关从零手写服务端框架

服务端开发是一个很笼统的概念，狭义讲，服务端开发只是后台程序员的逻辑开发，比如一些新功能（针对新数据的增删改查），或者游戏的新玩法等等；而广义上讲，服务端开发的工作会涉及除了：

刺骨的言语ヽ痛彻心扉/ 2022年07月16日 09:20/ 0 赞/ 189 阅读

相关后端开发者从零做一个移动应用（一）

移动互联网时代，我不想只当一个后端工程师是时候学习一些新的东西了！一直以来想要学习一些前端的知识，扩宽自己的技术栈，但是一直以来对前端都是进行了解，没有用一个产品

川长思鸟来/ 2022年06月13日 02:44/ 0 赞/ 183 阅读

相关后端开发者从零做一个移动应用（后端篇）

先来上一张前端页面的效果图（Vue + Vux + Vuex + Vue-Router）。 ![image][] \ 第一次做gif 没什么经验，太大了。加载慢 \ 项

蔚落/ 2022年06月12日 05:16/ 0 赞/ 310 阅读

相关系统开发服务端插件(openresty开发)

nginx version: openresty/1.13.6.2 openresty 基础框架下载地址： [http://openresty.org/c

港控/mmm°/ 2022年04月23日 08:20/ 0 赞/ 380 阅读

相关手动从零使用ELK构建一套搜索服务

\[b\]\[size=large\] 由于Iteye不支持MarkDown语法写的文章，请大家点击下面链接查看我放在开源中国上的文章 :D \[url\]htt

喜欢ヅ旅行/ 2022年04月11日 06:26/ 0 赞/ 461 阅读

相关服务端开发者从零构建系统方法论

> 欢迎大家关注公众号「JAVA前线」查看更多精彩分享文章，主要包括源码分析、实际应用、架构思维、职场分享、产品思考等等，欢迎大家加我微信「java\_front」一起交流学习

桃扇骨/ 2021年09月24日 23:38/ 0 赞/ 252 阅读