SpringBoot 2.x ShardingSphere分库分表实战

亦凉 2022-01-07 12:17 273阅读 0赞

转自：  [https://blog.csdn.net/qq\_34936541/article/details/93816813][https_blog.csdn.net_qq_34936541_article_details_93816813]

SpringBoot优雅退出：[https://blog.csdn.net/xiexiaojing/article/details/93813666][https_blog.csdn.net_xiexiaojing_article_details_93813666]

为了追求极致的性能，Kafka掌控这11项要领： [https://blog.csdn.net/u013256816/article/details/93772377][https_blog.csdn.net_u013256816_article_details_93772377]

Ivanti罗琦：IT服务管理中“拧紧螺丝”要有门道儿：[https://blog.csdn.net/sch881226/article/details/93764475][https_blog.csdn.net_sch881226_article_details_93764475]

从事JAVA 20年最终却败给了Python，哭了：[https://blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/93800747][https_blog.csdn.net_dQCFKyQDXYm3F8rB0_article_details_93800747]

GitHub贡献全球第5，超15,000名软件工程师，后深度学习时代英特尔如何「软硬兼施」:  [https://blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/93716799][https_blog.csdn.net_dQCFKyQDXYm3F8rB0_article_details_93716799]

JDK 8 原子操作类 LongAdder: [https://blog.csdn.net/zhanglong\_4444/article/details/93710898][https_blog.csdn.net_zhanglong_4444_article_details_93710898]

Flink中CheckPoint详细: [https://blog.csdn.net/aa1215018028/article/details/93159049][https_blog.csdn.net_aa1215018028_article_details_93159049]

Spring Security(十一)：授权认证(OAuth2)-授权码模式(authorization\_code): [https://blog.csdn.net/vbirdbest/article/details/92071480][https_blog.csdn.net_vbirdbest_article_details_92071480]

eBay实战WebAssembly：50倍性能提升: [https://blog.csdn.net/chai2010/article/details/91011232][https_blog.csdn.net_chai2010_article_details_91011232]

我为什么推荐Prettier来统一代码风格: [https://blog.csdn.net/Fundebug/article/details/78342784][https_blog.csdn.net_Fundebug_article_details_78342784]

IT兄弟连 Java语法教程 数据类型1: [https://blog.csdn.net/ITXDL123/article/details/93844232][https_blog.csdn.net_ITXDL123_article_details_93844232]

设计模式（四）迭代器模式: [https://blog.csdn.net/Snowing1234\_5/article/details/93844214][https_blog.csdn.net_Snowing1234_5_article_details_93844214]

Spring常见面试题总结（超详细回答）: [https://blog.csdn.net/m0\_37132783/article/details/93844197][https_blog.csdn.net_m0_37132783_article_details_93844197]

Java 代码优化：使用构造函数和使用一个个setter的效率差别:  [https://blog.csdn.net/qq\_27093465/article/details/92763548][https_blog.csdn.net_qq_27093465_article_details_92763548]

Java 性能调优的 11 个实用技巧: [https://blog.csdn.net/g6U8W7p06dCO99fQ3/article/details/93551309][https_blog.csdn.net_g6U8W7p06dCO99fQ3_article_details_93551309]

关于java架构心得: [https://blog.csdn.net/rongshisuo/article/details/90757849][https_blog.csdn.net_rongshisuo_article_details_90757849]

数据库设计的一般步骤: [https://blog.csdn.net/zhongliwen1981/article/details/91871895][https_blog.csdn.net_zhongliwen1981_article_details_91871895]

一. 项目需求  
在之前我做项目的时候，数据量比较大,单表千万级别的,需要分库分表，于是在网上搜索这方面的开源框架,最常见的就是mycat,sharding-sphere,最终我选择后者,用它来做分库分表比较容易上手。

二. 简介sharding-sphere  
官网地址: https://shardingsphere.apache.org/

ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈，它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar（计划中）这3款相互独立的产品组成。 他们均提供标准化的数据分片、分布式事务和数据库治理功能，可适用于如Java同构、异构语言、容器、云原生等各种多样化的应用场景。

ShardingSphere定位为关系型数据库中间件，旨在充分合理地在分布式的场景下利用关系型数据库的计算和存储能力，而并非实现一个全新的关系型数据库。 它与NoSQL和NewSQL是并存而非互斥的关系。NoSQL和NewSQL作为新技术探索的前沿，放眼未来，拥抱变化，是非常值得推荐的。反之，也可以用另一种思路看待问题，放眼未来，关注不变的东西，进而抓住事物本质。 关系型数据库当今依然占有巨大市场，是各个公司核心业务的基石，未来也难于撼动，我们目前阶段更加关注在原有基础上的增量，而非颠覆。

sharding-jdbc 定位为轻量级Java框架，在Java的JDBC层提供的额外服务。 它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。

适用于任何基于Java的ORM框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template或直接使用JDBC。 基于任何第三方的数据库连接池，如：DBCP, C3P0, BoneCP, Druid, HikariCP等。 支持任意实现JDBC规范的数据库。目前支持MySQL，Oracle，SQLServer和PostgreSQL。

三. 项目实战  
本项目基于 Spring Boot 2.1.5 使用sharding-sphere + Mybatis-Plus 实现分库分表

1. pom.xml引入依赖  
<?xml version="1.0" encoding="UTF-8"?>      
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"      
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">      
    <modelVersion>4.0.0</modelVersion>      
    <parent>      
        <groupId>org.springframework.boot</groupId>      
        <artifactId>spring-boot-starter-parent</artifactId>      
        <version>2.1.5.RELEASE</version>      
        <relativePath/>      
    </parent>      
    <groupId>com.xd</groupId>      
    <artifactId>spring-boot-sharding-table</artifactId>      
    <version>0.0.1-SNAPSHOT</version>      
    <name>spring-boot-sharding-table</name>      
    <description>基于 Spring Boot 2.1.5 使用sharding-sphere + Mybatis-Plus 实现分库分表</description>      
    <properties>      
        <java.version>1.8</java.version>      
    </properties>      
    <dependencies>      
        <dependency>      
            <groupId>org.springframework.boot</groupId>      
            <artifactId>spring-boot-starter-web</artifactId>      
        </dependency>      
        <dependency>      
            <groupId>org.springframework.boot</groupId>      
            <artifactId>spring-boot-starter-test</artifactId>      
            <scope>test</scope>      
        </dependency>      
              
        <dependency>      
            <groupId>mysql</groupId>      
            <artifactId>mysql-connector-java</artifactId>      
            <scope>runtime</scope>      
        </dependency>      
              
        <dependency>      
            <groupId>com.baomidou</groupId>      
            <artifactId>mybatis-plus-boot-starter</artifactId>      
            <version>3.1.1</version>      
        </dependency>      
              
              
        <dependency>      
            <groupId>io.shardingsphere</groupId>      
            <artifactId>sharding-jdbc-spring-boot-starter</artifactId>      
            <version>3.1.0</version>      
        </dependency>      
              
        <dependency>      
            <groupId>io.shardingsphere</groupId>      
            <artifactId>sharding-jdbc-spring-namespace</artifactId>      
            <version>3.1.0</version>      
        </dependency>      
              
              
        <dependency>      
            <groupId>org.projectlombok</groupId>      
            <artifactId>lombok</artifactId>      
            <version>1.18.8</version>      
        </dependency>      
    </dependencies>      
    <build>      
        <plugins>      
            <plugin>      
                <groupId>org.springframework.boot</groupId>      
                <artifactId>spring-boot-maven-plugin</artifactId>      
            </plugin>      
        </plugins>      
    </build>      
</project>  
2. 创建数据库和表  
ds0      
  ├── user\_0       
  └── user\_1       
ds1      
  ├── user\_0       
  └── user\_1   
既然是分库分表 库结构与表结构一定是一致的 数据库: ds0

CREATE DATABASE IF NOT EXISTS \`ds0\` /\*!40100 DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4\_general\_ci \*/;      
USE \`ds0\`;      
SET NAMES utf8mb4;      
SET FOREIGN\_KEY\_CHECKS = 0;      
\-- ----------------------------      
\-- Table structure for user\_0      
\-- ----------------------------      
DROP TABLE IF EXISTS \`user\_0\`;      
CREATE TABLE \`user\_0\` (      
  \`id\` int(11) NOT NULL,      
  \`name\` varchar(255) DEFAULT NULL,      
  \`age\` int(11) DEFAULT NULL,      
  PRIMARY KEY (\`id\`)      
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;      
\-- ----------------------------      
\-- Table structure for user\_1      
\-- ----------------------------      
DROP TABLE IF EXISTS \`user\_1\`;      
CREATE TABLE \`user\_1\` (      
  \`id\` int(11) NOT NULL,      
  \`name\` varchar(255) DEFAULT NULL,      
  \`age\` int(11) DEFAULT NULL,      
  PRIMARY KEY (\`id\`)      
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;      
SET FOREIGN\_KEY\_CHECKS = 1;  
数据库: ds1

CREATE DATABASE IF NOT EXISTS \`ds1\` /\*!40100 DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4\_general\_ci \*/;      
USE \`ds1\`;      
SET NAMES utf8mb4;      
SET FOREIGN\_KEY\_CHECKS = 0;      
\-- ----------------------------      
\-- Table structure for user\_0      
\-- ----------------------------      
DROP TABLE IF EXISTS \`user\_0\`;      
CREATE TABLE \`user\_0\` (      
  \`id\` int(11) NOT NULL,      
  \`name\` varchar(255) DEFAULT NULL,      
  \`age\` int(11) DEFAULT NULL,      
  PRIMARY KEY (\`id\`)      
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;      
\-- ----------------------------      
\-- Table structure for user\_1      
\-- ----------------------------      
DROP TABLE IF EXISTS \`user\_1\`;      
CREATE TABLE \`user\_1\` (      
  \`id\` int(11) NOT NULL,      
  \`name\` varchar(255) DEFAULT NULL,      
  \`age\` int(11) DEFAULT NULL,      
  PRIMARY KEY (\`id\`)      
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;      
SET FOREIGN\_KEY\_CHECKS = 1;  
3. application.properties (重点)  
\# 数据源 ds0,ds1      
sharding.jdbc.datasource.names=ds0,ds1      
\# 第一个数据库      
sharding.jdbc.datasource.ds0.type=com.zaxxer.hikari.HikariDataSource      
sharding.jdbc.datasource.ds0.driver-class-name=com.mysql.jdbc.Driver      
sharding.jdbc.datasource.ds0.jdbc-url=jdbc:mysql://localhost:3306/ds0?characterEncoding=utf-8      
sharding.jdbc.datasource.ds0.username=root      
sharding.jdbc.datasource.ds0.password=root      
\# 第二个数据库      
sharding.jdbc.datasource.ds1.type=com.zaxxer.hikari.HikariDataSource      
sharding.jdbc.datasource.ds1.driver-class-name=com.mysql.jdbc.Driver      
sharding.jdbc.datasource.ds1.jdbc-url=jdbc:mysql://localhost:3306/ds1?characterEncoding=utf-8      
sharding.jdbc.datasource.ds1.username=root      
sharding.jdbc.datasource.ds1.password=root      
\# 水平拆分的数据库（表） 配置分库 + 分表策略 行表达式分片策略      
\# 分库策略      
sharding.jdbc.config.sharding.default-database-strategy.inline.sharding-column=id      
sharding.jdbc.config.sharding.default-database-strategy.inline.algorithm-expression=ds$->\{id % 2\}      
\# 分表策略 其中user为逻辑表 分表主要取决于age行      
sharding.jdbc.config.sharding.tables.user.actual-data-nodes=ds$->\{0..1\}.user\_$->\{0..1\}      
sharding.jdbc.config.sharding.tables.user.table-strategy.inline.sharding-column=age      
\# 分片算法表达式      
sharding.jdbc.config.sharding.tables.user.table-strategy.inline.algorithm-expression=user\_$->\{age % 2\}      
\# 主键 UUID 18位数 如果是分布式还要进行一个设置 防止主键重复      
\#sharding.jdbc.config.sharding.tables.user.key-generator-column-name=id      
\# 打印执行的数据库以及语句      
sharding.jdbc.config.props..sql.show=true      
spring.main.allow-bean-definition-overriding=true  
我这次使用配置文件方式实现分库以及分表  
以上配置说明:

逻辑表 user

水平拆分的数据库（表）的相同逻辑和数据结构表的总称。例：用户数据根据主键尾数拆分为2张表，分别是user0到user1，他们的逻辑表名为user。

真实表

在分片的数据库中真实存在的物理表。即上个示例中的user0到user1

分片算法:

Hint分片算法  
对应HintShardingAlgorithm，用于处理使用Hint行分片的场景。需要配合HintShardingStrategy使用。

分片策略:

行表达式分片策略 对应InlineShardingStrategy。使用Groovy的表达式，提供对SQL语句中的=和IN的分片操作支持，只支持单分片键。对于简单的分片算法，可以通过简单的配置使用，从而避免繁琐的Java代码开发，如: user$->\{id % 2\} 表示user表根据id模2，而分成2张表，表名称为user0到user\_1。

自增主键生成策略

通过在客户端生成自增主键替换以数据库原生自增主键的方式，做到分布式主键无重复。 采用UUID.randomUUID()的方式产生分布式主键。或者 SNOWFLAKE

4. 实体类  
package com.xd.springbootshardingtable.entity;      
import com.baomidou.mybatisplus.annotation.TableName;      
import com.baomidou.mybatisplus.extension.activerecord.Model;      
import groovy.transform.EqualsAndHashCode;      
import lombok.Data;      
import lombok.experimental.Accessors;      
/\*\*      
 \* @Classname User      
 \* @Description 用户实体类      
 \* @Author 李号东 lihaodongmail@163.com      
 \* @Date 2019-05-26 17:24      
 \* @Version 1.0      
 \*/      
@Data      
@EqualsAndHashCode(callSuper = true)      
@Accessors(chain = true)      
@TableName("user")      
public class User extends Model<User> \{      
    /\*\*      
     \* 主键Id      
     \*/      
    private int id;      
    /\*\*      
     \* 名称      
     \*/      
    private String name;      
    /\*\*      
     \* 年龄      
     \*/      
    private int age;      
\}  
5. dao层  
package com.xd.springbootshardingtable.mapper;      
import com.baomidou.mybatisplus.core.mapper.BaseMapper;      
import com.xd.springbootshardingtable.entity.User;      
/\*\*      
 \* user dao层      
 \* @author lihaodong      
 \*/      
public interface UserMapper extends BaseMapper<User> \{      
\}  
6. service层以及实现类  
UserService

package com.xd.springbootshardingtable.service;      
import com.baomidou.mybatisplus.extension.service.IService;      
import com.xd.springbootshardingtable.entity.User;      
import java.util.List;      
/\*\*      
 \* @Classname UserService      
 \* @Description 用户服务类      
 \* @Author 李号东 lihaodongmail@163.com      
 \* @Date 2019-05-26 17:31      
 \* @Version 1.0      
 \*/      
public interface UserService extends IService<User> \{      
    /\*\*      
     \* 保存用户信息      
     \* @param entity      
     \* @return      
     \*/      
    @Override      
    boolean save(User entity);      
    /\*\*      
     \* 查询全部用户信息      
     \* @return      
     \*/      
    List<User> getUserList();      
\}  
UserServiceImpl

package com.xd.springbootshardingtable.service.Impl;      
import com.baomidou.mybatisplus.core.toolkit.Wrappers;      
import com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;      
import com.xd.springbootshardingtable.entity.User;      
import com.xd.springbootshardingtable.mapper.UserMapper;      
import com.xd.springbootshardingtable.service.UserService;      
import org.springframework.stereotype.Service;      
import java.util.List;      
/\*\*      
 \* @Classname UserServiceImpl      
 \* @Description 用户服务实现类      
 \* @Author 李号东 lihaodongmail@163.com      
 \* @Date 2019-05-26 17:32      
 \* @Version 1.0      
 \*/      
@Service      
public class UserServiceImpl extends ServiceImpl<UserMapper, User> implements UserService \{      
    @Override      
    public boolean save(User entity) \{      
        return super.save(entity);      
    \}      
    @Override      
    public List<User> getUserList() \{      
        return baseMapper.selectList(Wrappers.<User>lambdaQuery());      
    \}      
\}  
7. 测试控制类  
package com.xd.springbootshardingtable.controller;      
import com.xd.springbootshardingtable.entity.User;      
import com.xd.springbootshardingtable.service.UserService;      
import org.springframework.beans.factory.annotation.Autowired;      
import org.springframework.web.bind.annotation.GetMapping;      
import org.springframework.web.bind.annotation.RestController;      
import java.util.List;      
/\*\*      
 \* @Classname UserController      
 \* @Description 用户测试控制类      
 \* @Author 李号东 lihaodongmail@163.com      
 \* @Date 2019-05-26 17:36      
 \* @Version 1.0      
 \*/      
@RestController      
public class UserController \{      
    @Autowired      
    private UserService userService;      
    @GetMapping("/select")      
    public List<User> select() \{      
        return userService.getUserList();      
    \}      
    @GetMapping("/insert")      
    public Boolean insert(User user) \{      
        return userService.save(user);      
    \}      
\}  
四. 测试  
启动项目  
打开浏览器 分别访问:

http://localhost:8080/insert?id=1&name=lhd&age=12      
http://localhost:8080/insert?id=2&name=lhd&age=13      
http://localhost:8080/insert?id=3&name=lhd&age=14      
http://localhost:8080/insert?id=4&name=lhd&age=15  
则执行插数据 然后查看控制台日志:

根据分片算法和分片策略 不同的id以及age取模落入不同的库表 达到了分库分表的结果

有的人说 查询的话 该怎么做呢 其实也帮我们做好了 打开浏览器 访问:  
http://localhost:8080/select

控制台打印:

分别从ds0数据库两张表和ds1两张表查询结果 然后汇总结果返回

之前有朋友问我单表数据量达千万,想做水平分割,不分库,也可以的吧?  
是完全可以的 只要修改配置文件的配置即可 非常灵活

通过代码大家也可以看到,我的业务层代码和平时单表操作是一样的,只需要引入sh配置和逻辑表保持现有的不便即可,使用无侵入我们的代码 可以在原有的基础上改动即可 可以说是非常方便

后面更新如何读写分离以及分库分表结合使用

项目地址: https://github.com/LiHaodong888/SpringBootLearn

既然来了，点个好看再走叭~~

\---------------------   
作者：小东啊   
来源：CSDN   
原文：https://blog.csdn.net/qq\_34936541/article/details/93816813   
版权声明：本文为博主原创文章，转载请附上博文链接！

[https_blog.csdn.net_qq_34936541_article_details_93816813]: https://blog.csdn.net/qq_34936541/article/details/93816813
[https_blog.csdn.net_xiexiaojing_article_details_93813666]: https://blog.csdn.net/xiexiaojing/article/details/93813666
[https_blog.csdn.net_u013256816_article_details_93772377]: https://blog.csdn.net/u013256816/article/details/93772377
[https_blog.csdn.net_sch881226_article_details_93764475]: https://blog.csdn.net/sch881226/article/details/93764475
[https_blog.csdn.net_dQCFKyQDXYm3F8rB0_article_details_93800747]: https://blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/93800747
[https_blog.csdn.net_dQCFKyQDXYm3F8rB0_article_details_93716799]: https://blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/93716799
[https_blog.csdn.net_zhanglong_4444_article_details_93710898]: https://blog.csdn.net/zhanglong_4444/article/details/93710898
[https_blog.csdn.net_aa1215018028_article_details_93159049]: https://blog.csdn.net/aa1215018028/article/details/93159049
[https_blog.csdn.net_vbirdbest_article_details_92071480]: https://blog.csdn.net/vbirdbest/article/details/92071480
[https_blog.csdn.net_chai2010_article_details_91011232]: https://blog.csdn.net/chai2010/article/details/91011232
[https_blog.csdn.net_Fundebug_article_details_78342784]: https://blog.csdn.net/Fundebug/article/details/78342784
[https_blog.csdn.net_ITXDL123_article_details_93844232]: https://blog.csdn.net/ITXDL123/article/details/93844232
[https_blog.csdn.net_Snowing1234_5_article_details_93844214]: https://blog.csdn.net/Snowing1234_5/article/details/93844214
[https_blog.csdn.net_m0_37132783_article_details_93844197]: https://blog.csdn.net/m0_37132783/article/details/93844197
[https_blog.csdn.net_qq_27093465_article_details_92763548]: https://blog.csdn.net/qq_27093465/article/details/92763548
[https_blog.csdn.net_g6U8W7p06dCO99fQ3_article_details_93551309]: https://blog.csdn.net/g6U8W7p06dCO99fQ3/article/details/93551309
[https_blog.csdn.net_rongshisuo_article_details_90757849]: https://blog.csdn.net/rongshisuo/article/details/90757849
[https_blog.csdn.net_zhongliwen1981_article_details_91871895]: https://blog.csdn.net/zhongliwen1981/article/details/91871895