随着互联网技术的飞速发展，微服务架构已经成为行业的一种趋势，而Spring Boot作为微服务架构中不可或缺的一部分，为开发者提供了快速开发的能力。Spring Boot的版本迭代中，每个新版本都致力于改进性能、增加新特性以及简化开发流程。在Spring Boot的3.5.3版本中，重点增强了对Java语言特性的支持，提高了框架的稳定性和扩展性。同时，MyBatis Plus作为一款MyBatis的增强工具，在数据操作方面提供了更为便捷的CRUD接口，极大地简化了代码的编写，提高了开发效率。而ShardingSphere-JDBC作为一个轻量级Java框架，提供了数据分片、读写分离、多数据源管理等功能，为分布式数据库提供了一种灵活的解决方案。 在实际应用中，读写分离是一种常见的提高数据库性能的方式，通过将读和写操作分布在不同的服务器上来提高系统的吞吐量和可用性。ShardingSphere-JDBC作为一款轻量级的JDBC框架，在Spring Boot中集成后，可以通过配置实现数据库的读写分离，将读写请求分别发送到主从数据库服务器，从而提高系统的整体性能和数据库的负载能力。 自定义分表处理是ShardingSphere-JDBC提供的另一核心功能，它允许用户根据特定的业务场景和需求，对数据库表进行水平拆分。开发者可以定义分表策略，比如根据时间范围、根据数值范围等方式来拆分表。这种方式在处理大数据量的业务场景时尤为关键，通过水平拆分可以有效分散数据压力，提高查询效率，实现动态扩展。 ShardingSphere-JDBC不仅提供了读写分离和分表策略的功能，还提供了丰富的SQL兼容性能力，支持跨多种数据库的语法，保证了在不同数据库之间迁移的平滑性。它还提供了分布式事务的一致性保证和多种优化算法，如分库分表后的跨节点Join查询、聚合查询等，这些都是在实际开发中常常遇到的问题，ShardingSphere-JDBC通过其自身的功能模块，为这些问题提供了可行的解决方案。 在Spring Boot 3.5.3、MyBatis Plus 3.5.12和ShardingSphere-JDBC 5.5.2的环境下，开发者可以享受到三者集成后带来的便捷性和高效性。通过配置文件，开发者可以轻松完成读写分离和自定义分表的配置。在这一过程中，开发者无需关心底层的实现细节，只需关注业务逻辑的实现，大大降低了开发难度和出错的可能性。 例如，在一个电商网站的订单系统中，可以利用ShardingSphere-JDBC提供的分表策略来将订单数据按照时间或者订单编号进行分表存储，减轻单个表的查询压力。同时，通过读写分离的配置，可以将读操作分散到多个从库上，而写操作则直接写入主库，这样既保证了数据的一致性，又提升了系统的处理能力。在此基础上，MyBatis Plus为数据的CRUD操作提供了极大的便利，使得开发者可以更加专注于业务逻辑的实现。 在进行技术选型和架构设计时，必须考虑到系统的可扩展性、高可用性和维护成本。Spring Boot、MyBatis Plus和ShardingSphere-JDBC的组合，正是在这样的背景下，为开发者提供了一个既高效又可靠的解决方案。通过这些技术的整合使用，可以构建出高性能、易于维护和扩展的微服务架构应用，为企业级应用的开发提供强有力的技术支持。

### Shardingsphere 分库分表知识点详解 #### 1. 概览 ##### 1.1 简介 Shardingsphere 是一个分布式数据库中间件项目，它由 Apache 软件基金会维护，旨在为应用程序提供透明的数据分片、读写分离、数据加密等能力。Shardingsphere 的核心功能是将多个数据库或表视为单一逻辑数据库，从而实现水平扩展，提高系统性能和可扩展性。 ##### 1.1.1 Shardingsphere-JDBC Shardingsphere-JDBC 是 Shardingsphere 生态系统中的一个模块，它作为一个轻量级的 JDBC 扩展框架存在，能够无缝集成到任何基于 JDBC 的应用程序中，无需修改业务代码即可实现数据分片等功能。 - **特点**： - 支持所有基于 JDBC 的 ORM 框架，如 MyBatis、Hibernate 等。 - 完全兼容 JDBC 协议，对现有应用程序完全透明。 - 可以通过 Spring Boot Starter 或其他方式快速集成。 - **应用场景**： - 数据库横向扩展场景：当单个数据库无法承载大量数据时，可以使用 Shardingsphere-JDBC 进行分库分表操作。 - 复杂查询优化：通过路由规则配置，可以优化跨库、跨表的复杂 SQL 查询。 ##### 1.1.2 Shardingsphere-Proxy Shardingsphere-Proxy 作为另一个重要的组成部分，它充当了一个独立的数据库代理服务器，支持多种数据库类型，如 MySQL 和 PostgreSQL，并且具备以下特性： - **特点**： - 提供了与数据库驱动完全相同的协议，应用程序只需更改连接 URL 即可使用。 - 高度可定制化的 SQL 解析和路由逻辑。 - 支持多种数据库类型，包括 MySQL 和 PostgreSQL。 - **应用场景**： - 当应用程序不希望改变现有的 JDBC 连接逻辑时，可以通过 Shardingsphere-Proxy 实现分库分表。 - 对于需要进行复杂的 SQL 路由和改写的场景，使用 Shardingsphere-Proxy 更加灵活。 ##### 1.1.3 Shardingsphere-Sidecar（TODO） Shardingsphere-Sidecar 是一个正在开发中的组件，目前还没有详细的官方文档介绍其具体功能和用法。根据其名称推测，它可能是一个与服务网格相关的组件，用于在微服务架构中管理和监控 Shardingsphere 的运行情况。 ##### 1.1.4 混合架构 除了单独使用 Shardingsphere-JDBC 或 Shardingsphere-Proxy 之外，还可以结合两者使用，形成混合架构。这种架构模式适用于既有应用需要使用 JDBC 连接数据库，同时又希望引入代理服务器来简化某些操作的情况。 - **应用场景**： - 需要在不同的模块之间采用不同的分库分表策略。 - 对于旧系统改造，部分模块使用 Shardingsphere-JDBC，新开发的部分使用 Shardingsphere-Proxy。 #### 2. 快速入门 ##### 2.1 Shardingsphere-JDBC **步骤 1：引入 Maven 依赖** 为了使用 Shardingsphere-JDBC，首先需要在项目的 `pom.xml` 文件中添加相应的 Maven 依赖。 ```xml org.apache.shardingsphere shardingsphere-jdbc-core 5.0.0 ``` **步骤 2：规则配置** 配置分片规则通常包括定义数据源、表规则以及分片键等信息。 ```yaml sharding: data-sources: ds_0: type: com.zaxxer.hikari.HikariDataSource configuration: jdbcUrl: jdbc:mysql://127.0.0.1:3306/ds_0 username: root password: ds_1: type: com.zaxxer.hikari.HikariDataSource configuration: jdbcUrl: jdbc:mysql://127.0.0.1:3306/ds_1 username: root password: tables: t_order: actual-data-nodes: ds_${0..1}.t_order database-strategy: inline: sharding-column: user_id algorithm-expression: ds_${user_id % 2} table-strategy: inline: sharding-column: order_id algorithm-expression: t_order_${order_id % 2} ``` **步骤 3：创建数据源** 在应用启动时创建数据源，初始化 Shardingsphere-JDBC 的环境。 ```java DataSource dataSource = ShardingSphereDataSourceFactory.createDataSource(createDataSourceMap(), createShardingRuleConfiguration(), new Properties()); ``` **步骤 4：编写业务代码** 通过上述步骤，Shardingsphere-JDBC 已经配置完成，接下来可以直接使用 JPA、MyBatis 等 ORM 框架进行数据库操作。 ##### 2.2 Shardingsphere-Proxy **步骤 1：规则配置** Shardingsphere-Proxy 的配置与 Shardingsphere-JDBC 类似，但通常是在配置文件中完成的。 **步骤 2：引入依赖** 由于 Shardingsphere-Proxy 是一个独立的服务，因此无需在应用程序中引入额外的依赖。 **步骤 3：启动服务** 启动 Shardingsphere-Proxy 服务，可以通过命令行或配置文件启动。 ```bash java -jar shardingsphere-proxy-5.0.0.jar --configPath=/path/to/config.yaml ``` **步骤 4：使用 Shardingsphere-Proxy** 更新应用程序的数据库连接 URL，指向 Shardingsphere-Proxy 的地址。 ```java DataSource dataSource = DataSourceBuilder.create() .url("jdbc:mysql://localhost:3307?serverTimezone=UTC&useSSL=false") .username("root") .password("") .build(); ``` 通过以上步骤，我们可以看到 Shardingsphere-JDBC 和 Shardingsphere-Proxy 在分库分表方面的强大功能和支持。无论是对于传统应用还是现代微服务架构，Shardingsphere 都提供了灵活且高效的解决方案。

1. ruoyi框架基础集成了sharding5.0.0实现分表功能； 2. 采用动态数据源的方式，需要分表的连接采用单独的数据库连接； 3. 下载代码后，创建对应的数据库表，进行配置即可启动运行，测试功能； 4. 可以参考其中的实现代码，根据项目特点进行有选择性的借鉴； 5. 一个能够运行的代码，比单独的说明更直观；

这是一份康盛数据分表的实现代码，支持自动分表，同时支持跨表跨范围定位数据。

对数据库ChinaGas 中历史表t_base_History进行数据分表存储，按字段CollectDate不同的时间进行存储，建立数据库分组CGdbSF1~CGdbSF7，分组文件如CGdbSF1.ndf，建立分区函数CG_function，分区方案CG_scheme

常开发中我们经常会遇到大表的情况，所谓的大表是指存储了百万级乃至千万级条记录的表。这样的表过于庞大，导致数据库在查询和插入的时候耗时太长，性能低下，如果涉及联合查询的情况，性能会更加糟糕。分表和表分区的目的就是减少数据库的负担，提高数据库的效率，通常点来讲就是提高表的增删改查效率。

MySql 中间件 Mycat 1.6.5 mac.tar 程序 MAC 环境程序，MySql 读写分离，分库分表中间件。 1.6.5-RELEASE 版本

MySql 中间件 Mycat 1.6.5 unix.tar 程序 unix 环境程序，MySql 读写分离，分库分表中间件。 1.6.5-RELEASE 版本

本程序用于分割excel表成多个文件，分表的规则写在一个excel文件里面， 根据列列数生成表数，内容根据列内包含的内容来分割， 需要填写好规则表对应的总表列号，可分割多种excel表。 运行本程序需要先安装excel 压缩包中带演示的文件 文章地址：https://blog.csdn.net/qqq6654066/article/details/121645209

本文详细描述 MyCat 的安装配置参数介绍以及演示多种分库分表算法，每个步骤及参数都有说明，一步到位