Springboot 集成 Sharding-Jdbc

女爷i 2023-02-28 04:06 38阅读 0赞

### 文章目录 ###

*   *  背景
     *  分库分表
     *  建表准备
     *  引入依赖
     *  配置文件
     *  其他实体类和dao
     *   *  Order
         *  OrderConfig
         *  OrderDao
         *  OrderConfigDao
         *  OrderMapper.xml
         *  OrderConfigMapper.xml
     *  测试
     *  源码地址
     *  参考

## 背景 ##

一般来说数据库单表超过2000W性能就会急剧下降，我们就需要做相应的处理，分库分表，或者使用分布式数据库，而企业中较为常见的是分库分表。  
分库分表目前主流的框架有两种,一种是MyCat，另一种是 ShardingSphere，就目前两种框架的整体功能来看应该是差不多，都是仅支持基本SQL92语法，复杂特殊的语法一般不支持。而Mycat是以中间件的方式给你做SQL聚合，需要搭建一个MyCat中间件，同时也要保证Mycat的高可用，如果MyCat一单挂掉，整个系统就挂了，使用MyCat变相增加了系统的复杂性和可维护性。相反 ShardingSphere就不一样了，以jar的形式分库分表，我们只需要引入相关依赖作相应配置即可完成分库分表，也是目前主流使用的分库分表解决方式。本次我们就来研究一些Sharding-Jdbc

## 分库分表 ##

这里我们目前的打算分四个库，每个库2个表，以订单表为例

数据库结构如下:

## 建表准备 ##

分别在 db\_00,db\_01,db\_02.db\_03创建 t\_order\_0000, t\_order\_0001

DROP TABLE IF EXISTS `t_order_0000`;
    CREATE TABLE `t_order_0000` (
    `id` int(11) NOT NULL AUTO_INCREMENT,
    `user_id` bigint(20) DEFAULT NULL,
    `order_id` bigint(20) DEFAULT NULL,
    `user_name` varchar(255) DEFAULT NULL,
    PRIMARY KEY (`id`)
    ) ENGINE=InnoDB AUTO_INCREMENT=1239 DEFAULT CHARSET=utf8;
    
    
    -- ----------------------------
    -- Table structure for t_order_0001
    -- ----------------------------
    DROP TABLE IF EXISTS `t_order_0001`;
    CREATE TABLE `t_order_0001` (
    `id` int(11) NOT NULL AUTO_INCREMENT,
    `user_id` bigint(20) DEFAULT NULL,
    `order_id` bigint(20) DEFAULT NULL,
    `user_name` varchar(255) DEFAULT NULL,
    PRIMARY KEY (`id`)
    ) ENGINE=InnoDB AUTO_INCREMENT=1239 DEFAULT CHARSET=utf8;

同时在ds0单独见一个order\_config表

DROP TABLE IF EXISTS `order_config`;
    CREATE TABLE `order_config` (
      `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '编号',
      `pay_timeout` int(11) DEFAULT NULL COMMENT '支付超时时间;单位：分钟',
      PRIMARY KEY (`id`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin COMMENT='订单配置表';

![在这里插入图片描述][20200719174153424.png]

## 引入依赖 ##

<dependencies>
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-web</artifactId>
            </dependency>
            <dependency>
                <groupId>mysql</groupId>
                <artifactId>mysql-connector-java</artifactId>
                <scope>runtime</scope>
            </dependency>
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-test</artifactId>
                <scope>test</scope>
                <exclusions>
                    <exclusion>
                        <groupId>org.junit.vintage</groupId>
                        <artifactId>junit-vintage-engine</artifactId>
                    </exclusion>
                </exclusions>
            </dependency>
    
            
            <dependency>
                <groupId>org.mybatis.spring.boot</groupId>
                <artifactId>mybatis-spring-boot-starter</artifactId>
                <version>2.1.1</version>
            </dependency>
            
            <dependency>
                <groupId>org.apache.shardingsphere</groupId>
                <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
                <version>4.0.0-RC2</version>
            </dependency>
            
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-test</artifactId>
                <scope>test</scope>
            </dependency>
            <dependency>
                <groupId>org.projectlombok</groupId>
                <artifactId>lombok</artifactId>
            </dependency>
    
        </dependencies>

说明： sharding-jdbc-spring-boot-starter 暂时不要使用最新的 4.0.0-RC3，会有一些奇怪bug，  
连接池尽量不要加入 druid，不然也会出现sharing-jdbc 的DataSource冲突，如果非要用，可自行百度找解决方法，  
这是官网给出的说明  
![在这里插入图片描述][2020071917471847.png]

## 配置文件 ##

Sharding-Jdbc 使用起来非常简单，难点就是核心配置文件，本次我们使用默认的分片策略

# ds1
    spring.shardingsphere.datasource.ds0.type=com.zaxxer.hikari.HikariDataSource
    spring.shardingsphere.datasource.ds0.driver-class-name=com.mysql.jdbc.Driver
    spring.shardingsphere.datasource.ds0.jdbc-url=jdbc:mysql://localhost:3306/ds0?useUnicode=true&characterEncoding=utf8&serverTimezone=Asia/Shanghai
    spring.shardingsphere.datasource.ds0.username=root
    spring.shardingsphere.datasource.ds0.password=123456
    # ds1
    spring.shardingsphere.datasource.ds1.type=com.zaxxer.hikari.HikariDataSource
    spring.shardingsphere.datasource.ds1.driver-class-name=com.mysql.jdbc.Driver
    spring.shardingsphere.datasource.ds1.jdbc-url=jdbc:mysql://localhost:3306/ds1?useUnicode=true&characterEncoding=utf8&serverTimezone=Asia/Shanghai
    spring.shardingsphere.datasource.ds1.username=root
    spring.shardingsphere.datasource.ds1.password=123456
    # ds2
    spring.shardingsphere.datasource.ds2.type=com.zaxxer.hikari.HikariDataSource
    spring.shardingsphere.datasource.ds2.driver-class-name=com.mysql.jdbc.Driver
    spring.shardingsphere.datasource.ds2.jdbc-url=jdbc:mysql://localhost:3306/ds2?useUnicode=true&characterEncoding=utf8&serverTimezone=Asia/Shanghai
    spring.shardingsphere.datasource.ds2.username=root
    spring.shardingsphere.datasource.ds2.password=123456
    
    # ds3
    spring.shardingsphere.datasource.ds3.type=com.zaxxer.hikari.HikariDataSource
    spring.shardingsphere.datasource.ds3.driver-class-name=com.mysql.jdbc.Driver
    spring.shardingsphere.datasource.ds3.jdbc-url=jdbc:mysql://localhost:3306/ds3?useUnicode=true&characterEncoding=utf8&serverTimezone=Asia/Shanghai
    spring.shardingsphere.datasource.ds3.username=root
    spring.shardingsphere.datasource.ds3.password=123456
    
    #数据源名称，多数据源以逗号分隔
    spring.shardingsphere.datasource.names=ds0,ds1,ds2,ds3
    #未配置分片规则的表将通过默认数据源定位-适用于单库单表，该表无需配置分片规则
    spring.shardingsphere.sharding.default-data-source-name=ds0
    
    # 分库 以 user_id 为分片键，因为分四个库，所以取模 4，虚拟表名为 t_order
    spring.shardingsphere.sharding.tables.t_order.database-strategy.inline.algorithm-expression=ds$->{ user_id % 4}
    spring.shardingsphere.sharding.tables.t_order.database-strategy.inline.sharding-column=user_id
    
    
    # 分表 分片键位order_id,每个库分为两表，所以取模2
    spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.algorithm-expression=t_order_000$->{ order_id % 2}
    spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.sharding-column=order_id
    # 这里由于分库分表字段不相同配置，不然会导致使用user_id 查询找不到相应的表，如果我们分库分表都使用 user_id 则不需要这个配置
    spring.shardingsphere.sharding..tables.t_order.actual-data-nodes = ds$->{ 0..3}.t_order_000$->{ 0..1}
    
    #是否开启SQL显示，默认值: false
    spring.shardingsphere.props.sql.show= true
    
    # mybatsi 配置
    # 别名
    mybatis.type-aliases-package=com.zou.entity
    mybatis.mapper-locations=classpath:mapper/*.xml # 开启驼峰自动转大写 mybatis.configuration.mapUnderscoreToCamelCase=true

## 其他实体类和dao ##

### Order ###

@Data
    @ToString
    public class Order { 
    
        private String id;
        private Long userId;
        private Long orderId;
        private String userName;
    
    }

### OrderConfig ###

@Data
    public class OrderConfig { 
    
    
        private Integer id;
        private Integer payTimeout;
    }

### OrderDao ###

@Repository
    public interface OrderDao { 
    
        // 查询某个用户订单列表
        List<Order> getOrders(Order order);
    
        // 插入订单信息
        int addOrder(Order orderInfo);
    }

### OrderConfigDao ###

@Repository
    public interface OrderConfigDao { 
        List<OrderConfig> getOrderConfig();
    }

### OrderMapper.xml ###

<?xml version="1.0" encoding="UTF-8"?>
    <!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
    <mapper namespace="com.zou.dao.OrderDao">
    
    
        <select id="getOrders" parameterType="Order"
                resultType="Order">
            select
                t.id ,
                t.user_id ,
                t.order_id ,
                t.user_name
            from t_order t
            where t.user_id=#{ userId}
    	</select>
    
        <insert id="addOrder" parameterType="Order" useGeneratedKeys="true" keyProperty="id">
            INSERT INTO t_order (
                user_id,user_name,order_id
            ) VALUES (
                #{ userId},#{ userName},#{ orderId}
            )
        </insert>
    
    </mapper>

### OrderConfigMapper.xml ###

## 测试 ##

@SpringBootTest(classes = ShardingSphereApplication.class)
    @RunWith(SpringRunner.class)
    public class OrderDaoTest { 
    
        @Autowired
        OrderDao orderDao;
    
    
        @Test
        public void insert() { 
            for (int i = 0; i < 1000; i++) { 
                long userId = i;
                long orderId = i + 1;
                Order order = new Order();
                order.setUserName("阿离");
                order.setUserId(userId);
                order.setOrderId(orderId);
                int result = orderDao.addOrder(order);
            }
        }
    
       
    
    }

插入数据逻辑：  
userId = 0 --> 0%4 = 0 对应数据库 db0  
orderId = 1 --> 1%2 = 1 对应表 t\_order\_0001

所以第一条数据就落到 db0数据库的 t\_order\_0001表  
![在这里插入图片描述][20200719180224413.png]

其他的也是如此

查询

@Test
        public void testQueryList() { 
            Order order = new Order();
            order.setUserId(2l);
    
            List<Order> list = orderDao.getOrders(order);
            list.forEach(s -> System.out.println(s));
        }

由于我们只指定了分库片 userId查询，所以这里就会查询 ds2数据库，但是无法确定是那张表，所以会查询所有表，然后将所有表的结果归并返回，我们看sql可以看出  
![在这里插入图片描述][2020071918091343.png]

@Test
        public void getOrders() { 
            Order order = new Order();
            order.setUserId(8l);
            order.setOrderId(8l);
           orderDao.getOrders(order);
    
        }

如果我们指定 userId 和 orderId就可以找到对应的库和表，就只会查询一张表  
![在这里插入图片描述][20200719181136195.png]

如果我们查询默认没有分库分表的普通表 order\_config，则会自动去我们配置的默认数据库去找到相应的表

@Autowired
        OrderConfigDao orderConfigDao;
    
        @Test
      public  void getOrderConfig() { 
            orderConfigDao.getOrderConfig();
    
        }

## 源码地址 ##

https://github.com/weihubeats/springcloud-shopping-parent

## 参考 ##

https://shardingsphere.apache.org/document/legacy/4.x/document/cn/overview/  
http://wuwenliang.net/2019/03/12/%E8%B7%9F%E6%88%91%E5%AD%A6shardingjdbc%E4%B9%8Bshardingjdbc%E5%85%A5%E9%97%A8/  
http://www.iocoder.cn/categories/Spring-Boot/

[20200719174153424.png]: /images/20230209/3c3e49ae0bb449b5acc77fb041c89078.png
[2020071917471847.png]: /images/20230209/7a17d3ab45b1460eb01756ff884a4238.png
[20200719180224413.png]: https://img-blog.csdnimg.cn/20200719180224413.png
[2020071918091343.png]: https://img-blog.csdnimg.cn/2020071918091343.png
[20200719181136195.png]: https://img-blog.csdnimg.cn/20200719181136195.png