ShardingSphere 分库分表我使用并踩坑了-平芜编程栈

为啥要分库分表

业务随着变化，表的内容变得越来越多，一个表里面的数据会日积月累的增加，而且之前的数据很少在看了，并降低了查询的效率。业务只关注前几个月的数据，统计数据，所以很多数据现代没有用了，所以可以在后期再去定时生成汇总。目前要分表分库只有一个业务库，工单工作量，把每天的项目工作情况进行分析下来，并记录下来，也就是日工作量。出现了大量无用项目信息工单信息。

已有数据表结构

已经跑了几个月的数据，表突然涌现出一天千万数据，原来业务数据上来了，一些不看好的项目开始录入系统了，系统突然卡死了，被大屏系统每5秒就拉去数据，把系统搞垮了，查询一下子慢了30秒。分析原因，找到事故接口。

开始操作了

大屏里面的数据进行查询，你频繁我就加缓存，数据来的并不快，可是他们查询的快，导致无效查询次数太多，这样我加入缓存，减少了数据库查询的次数。
统计和业务功能界面，我添加了日期查询的策略，先看到是一周的日期，进行日期添加索引，原来的20秒，瞬间回到1秒左右。
总算扛过了。但是业务还在涨啊，数据还在增加啊。
我提出，可以把已完成的项目数据进行归档处理可以吗？业务部门不乐意，他们觉得现在查询就符合他们的业务情况。
我的单表让我如何撑住。

引入ShardingSphere 将它原来不变，进行季度分表处理吧，当这个库10个的时候在分表，这个还有点时间，先把季度库创建，当然表结构一样。

为啥用它ShardingSphere ，就是觉得它基本上业务代码和库表都不用改，只改配置即可。

ShardingSphere 很坑

1、demo example基本上不全。
2、官网 https://shardingsphere.apache.org/document/current/cn/quick-start/shardingsphere-jdbc-quick-start/ 简单的如没有写一样。
3、版本坑，我使用4x 还是5x 呢？有啥区别呢？
4、我用的还是国产数据库，是否支持。
5、我使用的dynamic 已经查询了好多库了，是否还能支持。让我感觉道路一片空白。

ShardingSphere 真好用

使用ShardingSphere-JDBC数据分片功能即可。其他 ShardingSphere-Proxy 它支持性不好，数据库基本不用想了放弃。
使用 ShardingSphere-JDBC 先正常的配置pom

<dependency> <groupId>org.apache.shardingsphere</groupId> <artifactId>shardingsphere-jdbc</artifactId> <version>${latest.release.version}</version> <exclusions> <exclusion> <groupId>org.yaml</groupId> <artifactId>snakeyaml</artifactId> </exclusion> </exclusions> </dependency> <dependency> <groupId>org.yaml</groupId> <artifactId>snakeyaml</artifactId> <version>1.33</version> </dependency>

yml 里面配置

datasource: dynamic: datasource: master: ##原来的 url: ‘’ driver-class-name: com.microsoft.sqlserver.jdbc.SQLServerDriver username: password: master2: ## 新增的 driver-class-name: org.apache.shardingsphere.driver.ShardingSphereDriver url: jdbc:shardingsphere:classpath:shading-auto-tables-algorithm.yaml

shading-auto-tables-algorithm.yaml的添加即可

# JDBC 逻辑库名称。在集群模式中，使用该参数来联通 ShardingSphere-JDBC 与 ShardingSphere-Proxy。 # 默认值：logic_db databaseName (?): mode: dataSources: rules: - !FOO_XXX ... - !BAR_XXX ... props: key_1: value_1 key_2: value_2

这个就是官网给的，我反增思考了半天
我不把我的yaml 贴出来了，但是把坑读者也看不到，我找到一个很全的，分库还分表的情况了，还有多表进行同步并读写分离的情况都分析到了，比我的好多了。

dataSources: ds0: dataSourceClassName: com.zaxxer.hikari.HikariDataSource driverClassName: com.mysql.cj.jdbc.Driver jdbcUrl: jdbc:mysql://127.0.0.1:3306/ds_0?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=GMT%2B8&useTimezone=true username: root password: ilxw ds1: dataSourceClassName: com.zaxxer.hikari.HikariDataSource driverClassName: com.mysql.cj.jdbc.Driver jdbcUrl: jdbc:mysql://127.0.0.1:3306/ds_1?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=GMT%2B8&useTimezone=true username: root password: ilxw ds2: dataSourceClassName: com.zaxxer.hikari.HikariDataSource driverClassName: com.mysql.cj.jdbc.Driver jdbcUrl: jdbc:mysql://127.0.0.1:3306/ds_2?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=GMT%2B8&useTimezone=true username: root password: ilxw ds3: dataSourceClassName: com.zaxxer.hikari.HikariDataSource driverClassName: com.mysql.cj.jdbc.Driver jdbcUrl: jdbc:mysql://127.0.0.1:3306/ds_3?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=GMT%2B8&useTimezone=true username: root password: ilxw rules: - !SHARDING tables: # 订单表基础表 t_ent_order: # 真实表 actualDataNodes: ds$->{0..3}.t_ent_order # 分库策略 databaseStrategy: complex: shardingColumns: id,ent_id shardingAlgorithmName: hash-slot-algorithm # 订单详情表 t_ent_order_detail: actualDataNodes: ds$->{0..3}.t_ent_order_detail # 分库策略 databaseStrategy: complex: shardingColumns: id,ent_id shardingAlgorithmName: hash-slot-algorithm # 订单条目表 t_ent_order_item: actualDataNodes: ds$->{0..3}.t_ent_order_item_$->{0..7} # 分库策略 databaseStrategy: complex: shardingColumns: id,ent_id shardingAlgorithmName: hash-slot-algorithm # 分表策略 tableStrategy: complex: shardingColumns: id,ent_id shardingAlgorithmName: hash-slot-table-algorithm # 绑定表 bindingTables: - t_ent_order,t_ent_order_detail # 分片算法 shardingAlgorithms: hash-slot-algorithm: type: CLASS_BASED props: strategy: complex algorithmClassName: cn.javayong.shardingjdbc5.spring.common.sharding.HashSlotAlgorithm hash-slot-table-algorithm: type: CLASS_BASED props: strategy: complex algorithmClassName: cn.javayong.shardingjdbc5.spring.common.sharding.HashSlotAlgorithm # 非默认值，直接对分片数取余 directIndex: true # 广播 - !BROADCAST tables: - t_city props: # 日志显示 SQL sql-show: true

我只需要改的地方还有一个在哪个方法的service里面添加@DS(“master2”) 即可。启动失败问题收集
1、找不到表提示不存在表配置
actualDataNodes: ds$->{0…3}.t_ent_order_detail
这个参数错误。
2、HashSlotAlgorithm 这个算法
如果没有什么特殊表，基本初始化即可。
3、版本和spring 不适应怎么办。那就从低到高测试一遍，基本不是代码问题，都是版本问题。
4、druid 的版本问题。只有升级升级。