【Mycat】数据库性能提升利器（二）——Mycat水平切分数据库

男娘i 2022-06-04 09:48 228阅读 0赞

# 一、前言 #

在上一篇博客中，小编向大家介绍了一下mycat和数据库切分的一些知识，具体实践还是要亲手实践，在项目中体验才会有感觉，所以在这一片博客中，小编给大家做一个用mycat水平切分数据库表的demo。

# 二、环境说明 #

*  Centos 7 
 *  jdk-8u131-linux-x64.rpm
 *  Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz
 *  mysql
 *  Navicat数据库管理工具

说明：

小编搭建三天Linux虚拟机：192.168.137.16，192.168.137.17，192.168.137.18。布置结构图如下

![这里写图片描述][SouthEast]

# 三、达到的效果 #

## 3.1 Mycat支持的数据库 ##

![这里写图片描述][SouthEast 1]

## 3.2采用分片规则 ##

数据库中数据主键id以bigint类型，每个分片要求最多有500w条数据，如果超过500万，就向下一个分片中存储。

![这里写图片描述][SouthEast 2]

说明：

1. 逻辑库(schema) ：  
      前面一节讲了数据库中间件，通常对实际应用来说，并不需要知道中间件的存在，业务开发人员只需要知道数据库的概念，所以数据库中间件可以被看做是一个或多个数据库集群构成的逻辑库。

2. 逻辑表（table）：  
      既然有逻辑库，那么就会有逻辑表，分布式数据库中，对应用来说，读写数据的表就是逻辑表。逻辑表，可以是数据切分后，分布在一个或多个分片库中，也可以不做数据切分，不分片，只有一个表构成。  
分片表：是指那些原有的很大数据的表，需要切分到多个数据库的表，这样，每个分片都有一部分数据，所有分片构成了完整的数据。 总而言之就是需要进行分片的表。  
非分片表：一个数据库中并不是所有的表都很大，某些表是可以不用进行切分的，非分片是相对分片表来说的，就是那些不需要进行数据切分的表。

3. 分片节点(dataNode)  
      数据切分后，一个大表被分到不同的分片数据库上面，每个表分片所在的数据库就是分片节点（dataNode）。

4. 节点主机(dataHost)  
      数据切分后，每个分片节点（dataNode）不一定都会独占一台机器，同一机器上面可以有多个分片数据库，这样一个或多个分片节点（dataNode）所在的机器就是节点主机（dataHost）,为了规避单节点主机并发数限制，尽量将读写压力高的分片节点（dataNode）均衡的放在不同的节点主机（dataHost）。

5. 分片规则(rule)  
      前面讲了数据切分，一个大表被分成若干个分片表，就需要一定的规则，这样按照某种业务规则把数据分到某个分片的规则就是分片规则，数据切分选择合适的分片规则非常重要，将极大的避免后续数据处理的难度。

# 四、mycat安装 #

## 4.1 安装jdk，1.7以上 ##

由于Mycat是由java开发，开发依赖了java7中的一些特性，所以需要依赖jdk1.7以上的环境。

1、下载jdk并上传到/usr/java目录  
jdk7下载地址为：[http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html][http_www.oracle.com_technetwork_java_javase_downloads_jdk7-downloads-1880260.html] 选择对应的linux版本，下载rpm文件。这里选择的是jdk-7u79-linux-x64.rpm。并上传到Linux的/usr/java目录下（java目录不存在则进行创建）。

2、解压安装

运行如下命令进行解压

rpm -ivh 文件名称

![这里写图片描述][SouthEast 3]

3、配置profile文件

运行如下命令:

vim /etc/profile

将如下内容添加到profile文件末尾并保持

export JAVA_HOME=/usr/java/jdk1.8.0_131
    export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    export PATH=$PATH:$JAVA_HOME/bin

![这里写图片描述][SouthEast 4]

保存之后，运行如下命令使配置生效

source /etc/profile

检查jdk是否安装成功，运行如下命令

java -version

## 4.2 安装Mycat ##

1.把Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz安装包解压，直接使用：

tar zxf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz

2.建议将mycat放到/usr/local/mycat目录下。

3.进入mycat目录，启动mycat

./mycat start

停止：

./mycat stop

mycat 支持的命令\{ console | start | stop | restart | status | dump \}  
Mycat的默认端口号为：8066

![这里写图片描述][SouthEast 5]

## 4.3 安装mysql ##

关于安装步骤，小编在[【Mysql】Linux环境安装Mysql][Mysql_Linux_Mysql]中写过了安装步骤，不会的小伙伴，可以选择性的补课。

这里，小编向192.168.137.16 安装了mysql，建立了db1和db3两个数据库，向192.168.137.17安装了mysql，建立了db2：

![这里写图片描述][SouthEast 6]

![这里写图片描述][SouthEast 7]

## 4.4 配置schema.xml ##

schema.xml文件可以说是Mycat配置的核心，本意是逻辑表的意思。

Schema.xml作为MyCat中重要的配置文件之一，管理着MyCat的逻辑库、表、分片规则、DataNode以及DataSource。弄懂这些配置，是正确使用MyCat的前提。这里就一层层对该文件进行解析。

*  schema 标签用于定义MyCat实例中的逻辑库
 *  Table 标签定义了MyCat中的逻辑表
 *  dataNode 标签定义了MyCat中的数据节点，也就是我们通常说所的数据分片。
 *  dataHost标签在mycat逻辑库中也是作为最底层的标签存在，直接定义了具体的数据库实例、读写分离配置和心跳语句。

进入到mycat/conf目录下，通过`vim schema.xml`修改配置文件：

在schema中我们配置了逻辑表table，在table中指明了数据节点和分片规则rule，这里我们使用的是auto-sharding-long，这个规则会根据id的大小来进行分片，id超出某个范围会在某个表内。

<?xml version="1.0"?>
    <!DOCTYPE mycat:schema SYSTEM "schema.dtd">
    <mycat:schema xmlns:mycat="http://io.>  <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
                    
                    <table name="tb_item" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />
            </schema>
            
         <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
            <heartbeat>select user()</heartbeat>
            
            <writeHost host="hostM1" url="192.168.137.16:3306" user="root" password="root">
                
            </writeHost>
        </dataHost>
    
        
        <dataHost name="localhost2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
                    <heartbeat>select user()</heartbeat>
                    
                    <writeHost host="hostM1" url="192.168.137.17:3306" user="root" password="root">
                            
                    </writeHost>
            </dataHost>
    
    </mycat:schema>

## 4.5 配置server.xml，设置Mycat的用户名和密码 ##

server.xml几乎保存了所有mycat需要的系统配置信息。最常用的是在此配置用户名、密码及权限。这里我们只需要修改user。

Server.xml配置：

<?xml version="1.0" encoding="UTF-8"?>
    
    <!DOCTYPE mycat:server SYSTEM "server.dtd">
    <mycat:server xmlns:mycat="http://io.mycat/">
            <system>
            <property name="useSqlStat">0</property>  
            <property name="useGlobleTableCheck">0</property>  
    
                    <property name="sequnceHandlerType">2</property>
           
             
            
            
                    
                    <property name="processorBufferPoolType">0</property>
                    
                    
                    
                    
                    
                    
                    
                    <property name="handleDistributedTransactions">0</property>
    
                            
                    <property name="useOffHeapForMerge">1</property>
    
                    
                    <property name="memoryPageSize">1m</property>
    
                    
                    <property name="spillsFileBufferSize">1k</property>
    
                    <property name="useStreamOutput">0</property>
    
                    
                    <property name="systemReserveMemorySize">384m</property>
    
    
                    
                    <property name="useZKSwitch">true</property>
    
    
            </system>
    
            
            
    
            <user name="root">
                    <property name="password">123456</property>
                    <property name="schemas">TESTDB</property>
    
                    
                    
            </user>
    
            <user name="user">
                    <property name="password">user</property>
                    <property name="schemas">TESTDB</property>
                    <property name="readOnly">false</property>
            </user>
    
    </mycat:server>

## 4.6 分片规则rule.xml ##

rule.xml这个配置文件不用修改，使用默认的就可以了，在这个文件中，定义了很多的分片规则，我们可以根据不同的情形来选择不同的规则。具体的分片细节。

## 4.7 运行 ##

配置好后，运行mycat：

![这里写图片描述][SouthEast 8]

使用navcat连接mycat，连接信息和server.xml配置的用户信息一样，端口是8066：

![这里写图片描述][SouthEast 9]

打开数据库后，发现有tb\_item表：

![这里写图片描述][SouthEast 10]

同时在16和17数据口的db1、db2、db3中都发现了tb\_item表：

![这里写图片描述][SouthEast 11]

向mycat中的tb\_item插入数据后：

所有的数据都会在mycat中的tb\_item中显示，因为我们使用的分片规则是auto-sharding-long 根据id范围分片，当id小于500万的时候，数据会存储在db1中，大于500万小于1000万的时候，数据会放到db2中，当数据大于1000万小于1500万的时候存储在db3中。

mycat：

![这里写图片描述][SouthEast 12]

db1：

![这里写图片描述][SouthEast 13]

db2：

![这里写图片描述][SouthEast 14]

db3：

![这里写图片描述][SouthEast 15]

# 五、小结 #

通过配置mycat，对数据库数据进行分片使用，这个真的让数据库的性能提升了不少，把数据库分片管理，提高了性能，使用也更加方便了。下一篇博客向大家介绍mycat的分片规则。

[SouthEast]: /images/20220604/6027ca7813d84d53b258277b9e1294ae.png
[SouthEast 1]: /images/20220604/83e0aaa9af2d42148a3a5d91db506976.png
[SouthEast 2]: /images/20220604/460d5bfcdf8f449c9c513fada10ec6cc.png
[http_www.oracle.com_technetwork_java_javase_downloads_jdk7-downloads-1880260.html]: http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html
[SouthEast 3]: /images/20220604/abdb94ca7d234e1a9821088eb388f0fd.png
[SouthEast 4]: /images/20220604/abd9fefcc7ec4bad81e497355d0b0c3e.png
[SouthEast 5]: /images/20220604/39880a8e285742f68ac7f78e436ec904.png
[Mysql_Linux_Mysql]: http://blog.csdn.net/kisscatforever/article/details/78753746
[SouthEast 6]: /images/20220604/61e070388b5f4bbe8dc0192e3af557d1.png
[SouthEast 7]: /images/20220604/519baf4506ac461a891d3df01c37b463.png
[SouthEast 8]: /images/20220604/10c6a86e62cc4f5797c38792648078a5.png
[SouthEast 9]: /images/20220604/eae93f6b2e334bf49b6a5bf45994bce0.png
[SouthEast 10]: /images/20220604/58dacd17350a4bb3a0cc99b3dce61bdc.png
[SouthEast 11]: /images/20220604/d0c2dcabc2f14717980af59f01e629b7.png
[SouthEast 12]: /images/20220604/63db8212fb334c8abc82775b48437625.png
[SouthEast 13]: /images/20220604/1a2ebf866a43452dbbd44ff48c54f34a.png
[SouthEast 14]: /images/20220604/07daab49687d45fe884aebd40d317b8c.png
[SouthEast 15]: /images/20220604/69d270030ef44845ad9d32d8af09810d.png