news 2026/6/6 19:49:48

分库分表数据源ShardingSphereDataSource的Connection元数据误用问题分析

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
分库分表数据源ShardingSphereDataSource的Connection元数据误用问题分析

背景

对于分库分表应用来说,使用org.apache.shardingsphere.driver.jdbc.core.datasource.ShardingSphereDataSource是一个不错的解决方案,你可以通过配置文件编写分库分表规则,从而在编码时透明地使用分表(当然,路由规则的相关字段还是要传的

但是,在一些场景中是需要绕过mybatis直接做一些操作的,特别是和数据库元数据相关的操作(包括表的结构变更)。

比如我遇到的场景:先查询各个分库中有哪些前缀为table_的表,并给这些表加一列col_x

我结合现有代码和大语言模型,先写了一版,线下运行良好,但是线上的某些分库死活找不到对应的分表,没法进行后续的处理。这个问题查了很久,昨天终于解决了,因此分享出来。

存在问题的代码

@Componet public class TableAlterHandler { @Resource private ShardingSphereDataSource dataSource; public List<String> findTablesByPrefix(String prefix, String physicalSchemaName) { if (StringUtils.isBlank(prefix) || StringUtils.isBlank(physicalSchemaName)) { throw new RuntimeException("分表前缀或分库名为空"); } List<String> tableNames = Lists.newArrayList(); try (HintManager hintManager = HintManager.getInstance(); Connection conn = dataSource.getConnection()) { hintManager.setDataSourceName(DBUtil.queryLogicalSchemaName(physicalSchemaName)); DatabaseMetaData metaData = conn.getMetaData(); try (ResultSet rs = metaData.getTables(physicalSchemaName, null, prefix + "%", new String[] {"TABLE"})) { while (rs.next()) { String tableName = rs.getString("TABLE_NAME"); tableNames.add(tableName); } } } catch (SQLException e) { throw new RuntimeException("处理大结果集失败", e); } return tableNames; } }

逻辑库和物理库

在分析问题之前,首先要明确两个概念:物理库名physicalSchemaName和逻辑库名logicalSchemaName,如果用错了,可能会让你没办法发现后续问题的本质原因。上面的代码,hintManager必须用逻辑库名,而metaData.getTables必须用物理库名。

所谓物理库和逻辑库,可以看作是我定义的概念。正如其名,物理库名就是你jdbcUrl里的库名,比如一个典型的阿里云Mysql的JDBC链接jdbc:mysql://``rm-bpxxxx.mysql.rds.aliyuncs.com/bizcenter_1?useSSL=false&autoReconnect=true&characterEncoding=utf8&serverTimezone=Asia/Shanghai

其中的bizcenter_1就是物理库名。这个名称也会在MySql元数据中出现,比如

select * from information_schema.tables;

可以看到这个库的所有表,而TABLE_SCHEMA列就是物理库名。

而逻辑库,则是ShardingSphereDataSource对物理库的映射,在application的配置文件(properties或yml)里,spring.shardingsphere.datasource配置下,你需要配置逻辑库名以及对应的JDBC链接。

你可以将多个逻辑库配置为同一个物理库,这是一种实践方式,可以用于后续的扩容。

问题现象

线下的三个逻辑库分别对应一个物理库,而这三个物理库在同一个阿里云RDS实例上,可以找到每个库对应的表。

而线上的仍然是三个逻辑库对应各自的物理库,每个物理库在不同的阿里云RDS实例上,会出现有时候能找到某个库对应的表,而另外两个库一个表都找不到的情况。

排查

遇到问题后,百思不得其解,因为线下环境一切正常,线上却总能复现问题。由于线上环境管控比较严,既不能远程debug,又不能直连线上库,很难定位原因。

第一阶段排查,我反复确认了上面代码中需要传数据库名的地方到底是逻辑库还是物理库。中间某个版本的确搞错了,但是为何在写错的前提下还能运行,没有做记录。

然后,我删掉了connection.setAutoCommit(false)resultSet.setFetchSize(batchSize)这样的用于降低每次查询元数据结果数量的代码,也没效果。

最后,我把代码移到了另一个连接同样数据库的应用中,因为那个应用有我之前类似的代码。移过去以后倒是歪打正着地解决了。

第二阶段的排查,是在一段时间后,我在原先的应用中开发新的功能,对原先代码进行改动,自以为修复好了,但是上线后发现还是和之前一样。

分析

线下线上最大的区别就是线下几个库是同一个MySql实例,而线上分属三个。我的代码里,疑点最大的是查询元数据metaData.getTables()这段。

好巧不巧,在我排查的第一阶段和第二阶段中间,我写了一个迁移表的功能,完全新写了查询表名的代码,并且为了不再犯物理库和逻辑库搞混的错误,特别地写了对应的工具类:

/** * 数据源持有组件,便于应用直接访问数据源 * */ @Component public class DataSourceHolder { @Resource protected ShardingSphereDataSource dataSource; /** 物理库名(jdbc链接里的库名)和数据源的关系 */ private Map<String, HikariDataSource> hikariDataSourceMap; /** 逻辑库名-物理库名关系 多个逻辑库可能对应同一个物理库 */ private Map<String, String> dsNameMap; /** * 通过物理库名获取ds * * @param physicalSchemaName * @return */ public HikariDataSource getDataSourceByPhysicalSchemaName(String physicalSchemaName) { return hikariDataSourceMap.get(physicalSchemaName); } /** * 通过逻辑库名获取对应物理库名 * * @param dsName * @return */ public String getPhysicalSchemaName(String dsName) { return dsNameMap.get(dsName); } /** * 通过逻辑库名获取ds * * @param logicalSchemaName * @return */ public HikariDataSource getDataSourceByLogicalSchemaName(String logicalSchemaName) { String physicalSchemaName = getPhysicalSchemaName(logicalSchemaName); if (StringUtils.isBlank(physicalSchemaName)) { throw new RuntimeException("逻辑库名找不到对应物理库, logicalSchemaName=" + logicalSchemaName); } return hikariDataSourceMap.get(physicalSchemaName); } @PostConstruct public void initHikariDataSourceMap() { dsNameMap = Maps.newHashMap(); hikariDataSourceMap = Maps.newHashMap(); Map<String, DataSource> dataSourceMap = dataSource.getContextManager().getDataSourceMap(dataSource.getSchemaName()); dataSourceMap.forEach( (dsName, ds) -> { HikariDataSource hds = (HikariDataSource) ds; try (Connection connection = hds.getConnection(); ) { hikariDataSourceMap.put(connection.getCatalog(), hds); dsNameMap.put(dsName, connection.getCatalog()); } catch (SQLException e) { throw new RuntimeException("组装数据源map失败", e); } }); } }

对应地,获取数据库Connection的方法是:

HikariDataSource hikariDataSource = dataSourceHolder.getDataSourceByPhysicalSchemaName(dsName); Connection connection = hikariDataSource.getConnection();

并且也不再使用HintManager指定逻辑库。

联想到线上线下MySql实例的差异,我猜测是因为:

线下三个库是同一个MySql实例,那么元数据information_schema.tables是一样的,在哪个库都能查到对应表。

线上则是不同的实例,直接使用ShardingSphereDataSource对应Connection的元数据,并不总是预期的库。

这个猜测原因,也在之前第一阶段的排查吻合,能正常工作的代码所在应用,获取数据源的方式实际是

Map<String, DataSource> allDataSource = shardingSphereDataSource.getContextManager().getDataSourceMap("logic_db"); Connection connection = allDataSouce.get(logicalSchemaName).getConnection();

虽然它也用了HintManger,但我认为是没有意义的。

修复

综合以上的分析,最终的修复代码如下

List<String> tableNames = Lists.newArrayList(); try (Connection conn = dataSourceHolder.getDataSourceByPhysicalSchemaName(physicalSchemaName).getConnection()) { DatabaseMetaData metaData = conn.getMetaData(); try (ResultSet rs = metaData.getTables(physicalSchemaName, null, prefix + "%", new String[] {"TABLE"})) { while (rs.next()) { String tableName = rs.getString("TABLE_NAME"); tableNames.add(tableName); } } } catch (SQLException e) { throw new RuntimeException("处理大结果集失败", e); } return tableNames;

这次再部署到生产环境,运行符合预期。

可见,当你需要实际分库对应的元数据时,不要用shardingSphereDataSource,而是应该用它关联具体分库的dataSource,也即shardingSphereDataSource.getContextManager().getDataSourceMap(),再用这个分库dataSource获取元数据。

否则,线下线上不同的MySql实例配置,会导致不同的现象,难以排查真正的原因。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/25 15:45:39

基于转子磁链模型的改进滑模观测器:采用自适应反馈增益与转子磁链提取的电机马达控制技术

电机马达基于转子磁链模型的改进滑模观测器 1.对滑模观测器进行改进&#xff0c;采用与转速相关的自适应反馈增益&#xff0c;避免恒定增益导致的低速下抖振明显的问题&#xff1b; 2.区别传统滑模从反电势中提取位置和转速信息&#xff0c;改进滑模观测器中利用转子磁链来提取…

作者头像 李华
网站建设 2026/6/3 4:53:09

mini-css-extract-plugin完全配置手册:从基础到高级实践

mini-css-extract-plugin完全配置手册&#xff1a;从基础到高级实践 【免费下载链接】mini-css-extract-plugin Lightweight CSS extraction plugin 项目地址: https://gitcode.com/gh_mirrors/mi/mini-css-extract-plugin 在现代前端开发中&#xff0c;CSS管理一直是一…

作者头像 李华
网站建设 2026/6/6 15:36:53

YOLO模型镜像支持GPU Direct RDMA,网络延迟更低

YOLO模型镜像支持GPU Direct RDMA&#xff0c;网络延迟更低 在现代工业视觉系统中&#xff0c;一个看似简单的需求——“看到异常立刻报警”——背后却隐藏着复杂的工程挑战。尤其是在千兆像素级摄像头遍布产线、城市道路或物流枢纽的今天&#xff0c;目标检测不仅要快&#xf…

作者头像 李华
网站建设 2026/5/25 16:06:01

YOLOv6-R32部署实战:工业相机直连GPU服务器

YOLOv6-R32部署实战&#xff1a;工业相机直连GPU服务器 在智能制造的浪潮中&#xff0c;一条PCB板正以每分钟数百件的速度通过质检工位。传统视觉系统还在处理上一帧图像时&#xff0c;这条产线已经完成了三次检测——延迟超过200ms的传统方案显然无法胜任。而一个悄然运行的新…

作者头像 李华
网站建设 2026/5/30 13:32:05

YOLO目标检测API支持批量推理,GPU利用率翻倍

YOLO目标检测API支持批量推理&#xff0c;GPU利用率翻倍 在智能制造工厂的质检产线上&#xff0c;每分钟有上千张高清图像需要实时分析&#xff1b;在城市交通监控中心&#xff0c;数百路视频流正等待被解析以识别违章行为。面对如此庞大的视觉数据洪流&#xff0c;单纯依赖更强…

作者头像 李华
网站建设 2026/6/6 15:38:10

YOLO模型微调教程:基于预训练镜像+GPU快速适配

YOLO模型微调实战&#xff1a;从预训练镜像到GPU加速的完整路径 在智能制造车间的一条高速电池生产线上&#xff0c;质检员正盯着监控屏幕——每分钟有上百片极片飞速通过视觉检测工位。过去&#xff0c;基于传统图像处理的算法对细微裂纹束手无策&#xff0c;漏检率居高不下&…

作者头像 李华