MyCat分片集群

喜欢ヅ旅行 2022-01-28 13:11 303阅读 0赞

# [MyCat分片集群][MyCat] #

数据库集群会产生的问题：

自增ID问题

数据关联查询问题（水平拆分）

数据同步问题

数据库集群 自动增长id产生重复的话，解决： UUID形式  （没有排序 不是自增） 设置数据库步长

其他方案： redis  或者雪花算法

数据库分库分表的策略：

数据库分表分库策略

数据库分表分库原则遵循 垂直拆分与水平拆分  
垂直拆分就是根据不同的业务，分为不同的数据库，比如会员数据库、订单数据库、支付数据库等，垂直拆分在大型电商系统中用的非常常见。  
优点：  
拆分后业务清晰，拆分规则明确，系统之间整合或扩展容易。  
缺点：  
部分业务表无法join，只能通过接口方式解决，提高了系统复杂度存在分布式事务问题。

数据库分表分库原则遵循 垂直拆分与水平拆分

**垂直拆分**是把不同的表拆到不同的数据库中，而水平拆分是把同一个表拆到不同的数据库中。  
   相对于垂直拆分，**水平拆分**不是将表的数据做分类，而是按照某个字段的某种规则来分散到多个库之中，每个表中包含一部分数据。简单来说，我们可以将数据的水平切分理解为是按照数据行的切分，就是将表中 的某些行切分到一个数据库，而另外的某些行又切分到其他的数据库中，主要有分表，分库两种模式  
该方式提高了系统的稳定性跟负载能力，但是跨库join性能较差。

在数据库分库分表原则中，遵循两个设计理论 垂直拆分 水平拆分

垂直拆分就是根据不同的业务，拆分成不同的数据库，比如会员数据库，订单数据库，支付数据库，消息数据库等。

垂直拆分缺点：

跨数据查询 必须采用接口形式通讯、分布式事务问题

垂直拆分把不容的表拆到不同的数据库中，而水平拆分是把同一个表拆分到不同的数据库中，或者把一张表的数据拆分n多个小表

如果一张表6条数据：

变成三个库 每个库中存放两条数据，一共三张表，三张表的结构是完全相同的。三个库进行均摊存放

在存的时候根据ID取模存放

在查询时候依然根据取模算法进行获取

拆分的好处： 如果数据量大的情况下，就算用索引也就那样。但是进行水平拆分就好了很多

![1179709-20190128201559621-1119618718.png][]

水平分片策略：

MyCat支持10种分片策略  
1、求模算法  
2、分片枚举  
3、范围约定  
4、日期指定  
5、固定分片hash算法  
6、通配取模  
7、ASCII码求模通配  
8、编程指定  
9、字符串拆分hash解析  
详细:http://www.mycat.io/document/mycat-definitive-guide.pdf

关于分片枚举：

分片枚举这种规则适用于特定的场景，比如有些业务需要按照省份或区县来做保存，而全国的省份区县固定的，这类业务使用这一规则。配置如下  
1.案例步骤：  
创建数据库userdb\_1 、 userdb\_2、userdb\_3  
2.修改partition-hash-int.txt 规则  
wuhan=0  
shanghai=1  
suzhou=2

详细配置请参考文档

根据地区进行分库 湖北数据库、江苏数据库 山东数据库  （三张表）

分片枚举算法就是根据不同的枚举（常量），进行分类存储。

可以使用分片枚举实现根据地区分类存储到不同数据库进行存放

环境搭建：

定义枚举（地区）  每个地区指定数据库存放位置

schema.xml:

<?xml version="1.0"?>
    <!DOCTYPE mycat:schema SYSTEM "schema.dtd">
    <mycat:schema xmlns:mycat="http://io.mycat/">
        
        <schema name="mycat_testdb" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1">
         
          <table name="order_info"  dataNode="dn1,dn2,dn3" rule="role2" /> 
        
        </schema>
            
        <dataNode name="dn1" dataHost="localhost1" database="user_db1" />
        <dataNode name="dn2" dataHost="localhost1" database="user_db2" />
        <dataNode name="dn3" dataHost="localhost1" database="user_db3" />
        
        <dataHost name="localhost1" maxCon="1000" minCon="10" balance="3" writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
            <heartbeat>select user()</heartbeat>
            
            <writeHost host="hostM1" url="192.168.91.8:3306" user="root" password="root">
                
                <readHost host="hostS2" url="192.168.91.9:3306" user="root" password="root" />
            </writeHost>
        </dataHost>
    </mycat:schema>

rule.xml:

<?xml version="1.0" encoding="UTF-8"?>
    
    <!DOCTYPE mycat:rule SYSTEM "rule.dtd">
    <mycat:rule xmlns:mycat="http://io.mycat/">
     
        <tableRule name="role2">
                 <rule>
                      < !-- 表示根据name字段进行分片存储的 -->
                      <columns>name</columns>
                    <algorithm>hash-int</algorithm>
                    </rule>
        </tableRule>
         
        <function name="hash-int" class="io.mycat.route.function.PartitionByFileMap">
            
            <property name="mapFile">partition-hash-int.txt</property>
             
            <property name="type">1</property>
             
            <property name="defaultNode">1</property>
        </function>
        
    </mycat:rule>

注意在实际应用时候 把rule.xml的注释去除掉

server.xml:

<?xml version="1.0" encoding="UTF-8"?>
    
    <!DOCTYPE mycat:server SYSTEM "server.dtd">
    <mycat:server xmlns:mycat="http://io.mycat/">
       
    
       
        <user name="root" defaultAccount="true">
            <property name="password">123456</property>
            <property name="schemas">mycat_testdb</property>
    
            
            
        </user>
    
        
        <user name="user">
            <property name="password">user</property>
            <property name="schemas">mycat_testdb</property>
            <property name="readOnly">true</property>
        </user>
    
    </mycat:server>

查询端口号被哪个进程占用：

netstat -tunlp | grep 8080

kill -9  666

分片规则：

wuhan=0
    shanghai=1
    suzhou=2

启动mycat

然后navicat工具连接之:

往mycat表的虚拟表里面写数据：会映射到实际物理数据库的表里面

![1179709-20190128225216675-802184496.png][]

映射的物理数据库：

![1179709-20190128225128657-1980689565.png][]

如果分片枚举没有的 根据配置会存储到 db2中！

![1179709-20190128225350616-1220830264.png][]

结构图：

![1179709-20190128225046700-1744699711.png][]

求模算法：根据ID去进行十进制求模运算，运算结果为分区索引

注意：数据库节点分片数量无法更改 （和ES集群非常类似）

schema.xml

<?xml version="1.0"?>
    <!DOCTYPE mycat:schema SYSTEM "schema.dtd">
    <mycat:schema xmlns:mycat="http://io.mycat/">
        
        <schema name="mycat_testdb" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1">
           
        <table name="user_info" dataNode="dn1,dn2,dn3" rule="role1"/>
        
        </schema>
            
        <dataNode name="dn1" dataHost="localhost1" database="user_db1" />
        <dataNode name="dn2" dataHost="localhost1" database="user_db2" />
        <dataNode name="dn3" dataHost="localhost1" database="user_db3" />
        
        <dataHost name="localhost1" maxCon="1000" minCon="10" balance="3" writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
            <heartbeat>select user()</heartbeat>
            
            <writeHost host="hostM1" url="192.168.91.8:3306" user="root" password="root">
                
                <readHost host="hostS2" url="192.168.91.9:3306" user="root" password="root" />
            </writeHost>
        </dataHost>
    </mycat:schema>

rule.xml

<?xml version="1.0" encoding="UTF-8"?>
    
    <!DOCTYPE mycat:rule SYSTEM "rule.dtd">
    <mycat:rule xmlns:mycat="http://io.mycat/">
     
       <tableRule name="role1">
            <rule>
                 
                <columns>id</columns>
                
                <algorithm>mod-long</algorithm>
            </rule>
        </tableRule>
     
        <function name="mod-long" class="io.mycat.route.function.PartitionByMod">
            
            <property name="count">3</property>
    </function>
    
        
    </mycat:rule>

server.xml

<?xml version="1.0" encoding="UTF-8"?>
    
    <!DOCTYPE mycat:server SYSTEM "server.dtd">
    <mycat:server xmlns:mycat="http://io.mycat/">
       
    
       
        <user name="root" defaultAccount="true">
            <property name="password">123456</property>
            <property name="schemas">mycat_testdb</property>
    
            
            
        </user>
    
        
        <user name="user">
            <property name="password">user</property>
            <property name="schemas">mycat_testdb</property>
            <property name="readOnly">true</property>
        </user>
    
    </mycat:server>

mycat连接到读的虚拟数据库

然后在真实物理数据库上面创建 user\_db1 user\_db2 user\_db3

在Myca的写权限的虚拟数据库创建表：

![1179709-20190129001026633-921961999.png][]

此时的其他的物理数据库里面也会刷新数同样的表

![1179709-20190129000953615-865729812.png][]

然后在write里面写入数据

![1179709-20190129001102605-101452484.png][]

会根据ID取模，分片到不同的物理数据库里面

[MyCat]: https://www.cnblogs.com/toov5/p/10332306.html
[1179709-20190128201559621-1119618718.png]: /images/20220128/8a4ba9919f39454aa9950571cd7a88af.png
[1179709-20190128225216675-802184496.png]: /images/20220128/b7af3c72a50b466bb91a63f5b43223f2.png
[1179709-20190128225128657-1980689565.png]: /images/20220128/b29f4d44c7504f82bea62d60a0112b4c.png
[1179709-20190128225350616-1220830264.png]: /images/20220128/a57d6714cc1f43929f6dfb1a4632cec0.png
[1179709-20190128225046700-1744699711.png]: /images/20220128/ebe6088c9a6a4befaf08780ea82f9bce.png
[1179709-20190129001026633-921961999.png]: /images/20220128/829516c2832c4b41a4f605c140fffe38.png
[1179709-20190129000953615-865729812.png]: /images/20220128/cf6bf3b18ac34b74b703460d4df4f5dc.png
[1179709-20190129001102605-101452484.png]: /images/20220128/2af4bd3dce8049afbc8be57ffd54ea02.png