MySQL数据库服务器整体规划

川长思鸟来 2024-02-18 21:24 36阅读 0赞

参考资料：

[http://blog.51cto.com/zhilight/1630611][http_blog.51cto.com_zhilight_1630611]

我们在搭建MySQL数据库服务器的开始阶段就合理的规划，可以避免以后的很多问题的产生，大大节省我们的时间和精力，在一定幅度上降低成本。当然，这会涉及到多方面。比如机器的选型、业务评估和系统规划等。

所有的设计都是跟具体的需求相关的，我们首先要做的就是对业务进行整体评估。我在下面分享一个具体的例子。

## 一、**业务需求** ##

<table> 
 <tbody> 
 <tr> 
 <td>要求</td> 
 <td>指标</td> 
 </tr> 
 <tr> 
 <td>响应时间</td> 
 <td>查询和操作请求ms级别返回</td> 
 </tr> 
 <tr> 
 <td>数据总量</td> 
 <td>1年内大约有500G的数据量</td> 
 </tr> 
 <tr> 
 <td>每秒请求量</td> 
 <td>每秒有3W的请求量</td> 
 </tr> 
 <tr> 
 <td>读写比</td> 
 <td>读写比是1:1</td> 
 </tr> 
 <tr> 
 <td>重要程度</td> 
 <td>核心业务，P1级别故障</td> 
 </tr> 
 <tr> 
 <td>其他说明</td> 
 <td>数据具有时效性，历史数据访问减少，一般处理最近7天内的数据，数据总体长度约为1K</td> 
 </tr> 
 </tbody> 
</table>

## 二、**业务评估** ##

<table> 
 <tbody> 
 <tr> 
 <td>步骤</td> 
 <td>结果</td> 
 <td>说明</td> 
 </tr> 
 <tr> 
 <td>step1</td> 
 <td>&nbsp;</td> 
 <td>1年内数据量大约500G</td> 
 </tr> 
 <tr> 
 <td>&nbsp;</td> 
 <td>结果1</td> 
 <td>每秒产生的数据量为：500*1024*1024(365*24*60*60)=17KB</td> 
 </tr> 
 <tr> 
 <td>step2</td> 
 <td>&nbsp;</td> 
 <td>每秒3W次请求；读写比为1:1</td> 
 </tr> 
 <tr> 
 <td>&nbsp;</td> 
 <td>结果2</td> 
 <td>每秒的读请求为15000次；每秒的写请求是15000次。</td> 
 </tr> 
 <tr> 
 <td>step3</td> 
 <td>&nbsp;</td> 
 <td>记录的长度大约为1KB</td> 
 </tr> 
 <tr> 
 <td>&nbsp;</td> 
 <td>结果3</td> 
 <td>根据step1得出的结果，每秒insert的数据写入大约为17KB；根据step2得出的结果，每秒写入的请求为15000次，可得知14083(15000-17)次为update和delete操作之和。由于MySQL写入操作按照页来处理，页大小为16KB，假设每次操作的页都不相同，那么每秒写操作的数据量为16KB*15000=234MB。每秒读操作的数据量为16KB*15000=234MB。</td> 
 </tr> 
 <tr> 
 <td>step4</td> 
 <td>&nbsp;</td> 
 <td>处理最近7天的数据</td> 
 </tr> 
 <tr> 
 <td>&nbsp;</td> 
 <td>结果</td> 
 <td>热数据量为：(500/365)*7=21GB</td> 
 </tr> 
 <tr> 
 <td>step5</td> 
 <td>&nbsp;</td> 
 <td>操作ms级别返回</td> 
 </tr> 
 <tr> 
 <td>&nbsp;</td> 
 <td>结果</td> 
 <td>操作ms级别返回，并且读写基本平衡。需要尽可能多的将数据加载到内存。按照内存命中率接近100%计算的话，那么innodb_buffer大约21G，而其他的则大约需要2-4G，因此按照30%的超配原则，操作系统内存大约需要32G(32.5G)。如果带宽也按照30%的超配原则的话，那么写带宽(wBPS)限制为304MB/s，读带宽(rBPS)限制为304MB/s。</td> 
 </tr> 
 </tbody> 
</table>

## 三、**硬盘选择** ##

HDD类型的硬盘更善于处理一些顺序读写的内容，而SSD硬盘不管是顺序还是随机的性能都远远优于HDD的硬盘，但是SSD的硬盘价格必将昂贵。因此，我们可以通过合理的分配，降低整体拥有的成本。

例如，对于一些日志文件，这些日志文件主要是顺序IO，我们把这些文件放到HDD上，可以考虑使用RAID5S级别，提高日志系统的容错能力。对于数据文件，我们可以考虑放到SSD上，使用RAID10提高容错能力。

## 四、**机型测试** ##

**性能对比测试**：对于不同硬件设备在压力测试下数据库表现性能指标。对于硬件性能做出整体的评估。

**稳定性测试**：没有抖动现象，可以持续稳定的提供服务。

**掉电保护测试**：这个环节最好需要系统工程师配合。

**内存异常测试**：测试内存是否容易出现问题，能否对业务提供稳定的支持。

此外，还有IO设备和坏盘重构。

经过一系列的测试，我们可以选出2~3中候选机型，我们应当尽量避免应用和设备绑定，防止单个机型缺货，供应不足影响业务。

## 五、**成本评估** ##

通过前面的一些列的准备工作，我们可以选出候选的机型，考虑我们的使用成本。这包括：