MySQL8.0高可用集群架构实战

• MySQL Group Replication,简称MGR,是MySQL的主从同步高可用方案,包括数据同步及角色选举
• Mysql Shell是InnoDB Cluster的管理工具,用来创建和管理集群
• Mysql Router是业务流量入口,支持对MGR的主从角色判断,可以配置不同的端口分别对外提供读写服务,实现读写分离

• 连接MySQL服务器失败：ERROR: MySQL server at 'mgr-node2:3306' can't connect to 'mgr-node1:3306'（3306端口被阻塞）。
• Group Replication通信失败：ERROR: RuntimeError: Server address configuration error（33061端口被阻塞）。
• 节点无法加入集群： 即使MySQL服务启动，节点仍显示OFFLINE（端口未开放导致无法同步）。

disabled_storage_engines="MyISAM,BLACKHOLE,FEDERATED,ARCHIVE,MEMORY"

binlog_transaction_dependency_tracking=WRITESET slave_preserve_commit_order=ON slave_parallel_type=LOGICAL_CLOCK transaction_write_set_extraction=XXHASH64

// 对实例配置InnoDB Cluster相关参数 dba.configureInstance('root@mgr-node1:3306') dba.configureInstance('root@mgr-node2:3306') dba.configureInstance('root@mgr-node3:3306')

4.创建一主两从InnoDB集群

集群常用命令

#会列出dba相关指令 dba.help(); #列出详细指令的用法 dba.help('deploySandboxInstance'); #检查节点配置实例，用于加入cluster之前 dba.checkInstanceConfiguration("root@hostname:3306"); #节点初始化 dba.configureInstance('root@hostname:3306'); #重启集群 dba.rebootClusterFromCompleteOutage('myCluster'); #会列出集群相关指令 cluster.help(); #创建集群 var cluster = dba.createCluster('myCluster'); #获取当前集群实例 var cluster = dba.getCluster('myCluster'); 查看集群状态 cluster.status(); #检查cluster节点状态 cluster.checkInstanceState("root@hostname:3306") ; #增加节点 cluster.addInstance("root@hostname:3306") ; #删除节点 cluster.removeInstance("root@hostname:3306") ; #强制删除节点 cluster.removeInstance('root@hostname:3306',{force:true}); # 状态为missing的节点可以重新加入集群 cluster.rejoinInstance("root@hostname:3306") #解散集群 cluster.dissolve({force:true}) ; #集群描述 cluster.describe();

进入主节点创建集群

初始化完第一个实例后，就可以创建集群了。

# 进入主节点创建集群 mysqlsh root@192.168.65.223:3321 --js # 创建一个 cluster，命名为 'myCluster' var cluster = dba.createCluster('myCluster'); # 创建成功后，查看cluster状态 cluster.status();

当前集群的状态如下

• ONLINE - 节点状态正常。
• OFFLINE - 实例在运行，但没有加入任何Cluster。
• RECOVERING - 实例已加入Cluster，正在同步数据。
• ERROR - 同步数据发生异常。
• UNREACHABLE - 与其他节点通讯中断，可能是网络问题，可能是节点crash。
• MISSING - 节点已加入集群，但未启动group replication

测试数据是否同步

#主节点 mgr-node1 [root@192-168-65-223 ~]# docker exec -it mgr-node1 bash root@mgr-node1:/# mysql -uroot -p123456 mysql> create database test; use test; create table t(x int primary key auto_increment,y int); insert into t(x,y) value(1,1);

注意：如果创建表没有设置主键，会抛出错误：ERROR 3098 (HY000): The table does not comply with the requirements by an external plugin.

# 查看其他节点，数据是否同步 [root@192-168-65-223 ~]# docker exec -it mgr-node2 bash root@mgr-node2:/# mysql -uroot -p123456 mysql> use test; Reading table information for completion of table and column names You can turn off this feature to get a quicker startup with -A Database changed mysql> select * from t; +---+------+ | x | y | +---+------+ | 1 | 1 | +---+------+ 1 row in set (0.00 sec)

测试主从切换

#停掉主节点 [root@192-168-65-223 ~]# docker stop mgr-node1 # 连接到mgr-node2 MySQL mgr-node1:3306 ssl JS > \connect root@mgr-node2:3306 # 获取集群实例 MySQL mgr-node2:3306 ssl JS > var cluster=dba.getCluster(); # 查看集群状态 MySQL mgr-node2:3306 ssl JS > cluster.status() { "clusterName": "myCluster", "defaultReplicaSet": { "name": "default", "primary": "mgr-node2:3306", "ssl": "REQUIRED", "status": "OK_NO_TOLERANCE", "statusText": "Cluster is NOT tolerant to any failures. 1 member is not active.", "topology": { "mgr-node1:3306": { "address": "mgr-node1:3306", "memberRole": "SECONDARY", "mode": "n/a", "readReplicas": {}, "role": "HA", "shellConnectError": "MySQL Error 2003: Could not open connection to 'mgr-node1:3306': Can't connect to MySQL server on 'mgr-node1:3306' (113)", "status": "(MISSING)" }, "mgr-node2:3306": { "address": "mgr-node2:3306", "memberRole": "PRIMARY", "mode": "R/W", "readReplicas": {}, "replicationLag": null, "role": "HA", "status": "ONLINE", "version": "8.0.27" }, "mgr-node3:3306": { "address": "mgr-node3:3306", "memberRole": "SECONDARY", "mode": "R/O", "readReplicas": {}, "replicationLag": null, "role": "HA", "status": "ONLINE", "version": "8.0.27" } }, "topologyMode": "Single-Primary" }, "groupInformationSourceMember": "mgr-node2:3306"

可以看到mgr-node2升级为主节点

# 启动mgr-node1节点 [root@192-168-65-223 ~]# docker start mgr-node1 # 查看集群状态，发现mgr-node1正在恢复，最终正常 MySQL mgr-node2:3306 ssl JS > cluster.status() { "clusterName": "myCluster", "defaultReplicaSet": { "name": "default", "primary": "mgr-node2:3306", "ssl": "REQUIRED", "status": "OK_NO_TOLERANCE", "statusText": "Cluster is NOT tolerant to any failures. 1 member is not active.", "topology": { "mgr-node1:3306": { "address": "mgr-node1:3306", "instanceErrors": [ "NOTE: group_replication is stopped." ], "memberRole": "SECONDARY", "memberState": "OFFLINE", "mode": "R/O", "readReplicas": {}, "role": "HA", "status": "(MISSING)", "version": "8.0.27" }, "mgr-node2:3306": { "address": "mgr-node2:3306", "memberRole": "PRIMARY", "mode": "R/W", "readReplicas": {}, "replicationLag": null, "role": "HA", "status": "ONLINE", "version": "8.0.27" }, "mgr-node3:3306": { "address": "mgr-node3:3306", "memberRole": "SECONDARY", "mode": "R/O", "readReplicas": {}, "replicationLag": null, "role": "HA", "status": "ONLINE", "version": "8.0.27" } }, "topologyMode": "Single-Primary" }, "groupInformationSourceMember": "mgr-node2:3306" } MySQL mgr-node2:3306 ssl JS > cluster.status() { "clusterName": "myCluster", "defaultReplicaSet": { "name": "default", "primary": "mgr-node2:3306", "ssl": "REQUIRED", "status": "OK", "statusText": "Cluster is ONLINE and can tolerate up to ONE failure.", "topology": { "mgr-node1:3306": { "address": "mgr-node1:3306", "memberRole": "SECONDARY", "mode": "R/O", "readReplicas": {}, "replicationLag": null, "role": "HA", "status": "ONLINE", "version": "8.0.27" }, "mgr-node2:3306": { "address": "mgr-node2:3306", "memberRole": "PRIMARY", "mode": "R/W", "readReplicas": {}, "replicationLag": null, "role": "HA", "status": "ONLINE", "version": "8.0.27" }, "mgr-node3:3306": { "address": "mgr-node3:3306", "memberRole": "SECONDARY", "mode": "R/O", "readReplicas": {}, "replicationLag": null, "role": "HA", "status": "ONLINE", "version": "8.0.27" } }, "topologyMode": "Single-Primary" }, "groupInformationSourceMember": "mgr-node2:3306" }

更多的常见操作

参数配置

# 将所有节点的权重都改为50 var cluster = dba.getCluster() cluster.setOption("memberWeight",50) # 重新加入集群重试次数改为5次 cluster.setOption("autoRejoinTries",5) # 将其中一个节点的权重改为75 cluster.setInstanceOption("mgr-node2:3306","memberWeight",75) # 重新加入集群重试次数改为10次 cluster.setInstanceOption("mgr-node2:3306","autoRejoinTries",10)

配置节点权重

memberWeight选项的值域为0到100之间的整数，缺省值为50。该值是故障转移时自动选举主节点的百分比权重,具有较高memberWeight值的实例更有可能在单主群集中被选为主节点

// 查看集群的参数配置(包括memberWeight优先级配置) cluster.options() // 在集群创建时配置 dba.createCluster('myCluster', {memberWeight:75}) // 第一个节点配置方式 var cluster = dba.getCluster() cluster.addInstance('mgr-node2:3306',{memberWeight:50}) cluster.addInstance('mgr-node3:3306',{memberWeight:25}) // 在集群创建完成后修改权重 var cluster = dba.getCluster() cluster.setInstanceOption('mgr-node1:3306','memberWeight',100) cluster.setInstanceOption('mgr-node2:3306','memberWeight',50) cluster.setInstanceOption('mgr-node3:3306','memberWeight',25)

将节点重新加入集群

状态为mssing的节点,通常是组复制关闭或中断状态,可以用cluster.rejoinInstance()重新加入集群,会重新对该节点设置MGR相关参数(持久化到mysqld-auto.conf中)

cluster.removeInstance('root@hostname:3306',{force:true});

如果一些参数做了修改,如server_uuid变更,导致rejoin失败,则需要将节点从集群中删除后重新加入

cluster.removeInstance("root@hostname:3306",{force:true}) cluster.rescan() cluster.addInstance("root@hostname:3306")

集群多数节点异常,恢复

当集群多个节点异常,则失去了仲裁机制,剩下的一个节点

// 将集群剥离为单节点运行 JS > cluster.forceQuorumUsingPartitionOf("root@hostname:3306") // 重新加另外2个节点加入 JS > cluster.rejoinInstance("root@hostname2:3306") JS > cluster.rejoinInstance("root@hostname3:3306")

集群节点角色切换

单主模式-指定主节点切换

var cluster = dba.getCluster() cluster.setPrimaryInstance('homename:3306') cluster.status()

单主模式和多主模式相互切换

// 切换为多主模式 var cluster = dba.getCluster() cluster.switchToMultiPrimaryMode() // 指定明确的主节点将多主模式切换为单主模式 cluster.switchToSinglePrimaryMode("homename:3306")

将单主模式切换为多主模式的效果

销毁集群

删除与群集关联的所有元数据和配置，并禁用实例上的组复制，但不会删除在实例之间复制的任何数据。要再次创建集群，使用dba.createCluster()

var cluster = dba.getCluster() cluster.dissolve()

创建集群管理用户

cluster.setupAdminAccount('fox')

# 经典MySQL协议连接 mysqlsh --mysql -hmgr-node1 -ufox # X协议连接 mysqlsh --mysqlx -hmgr-node1 -ufox

7. 使用MySQL Router连接集群

配置路由器

mysqlrouter --bootstrap root@mgr-node2:3306 --force --user=root #或者指定host mysqlrouter --bootstrap root@mgr-node2:3306 --force --user=root --report-host mgr

注意，如果用户之前为该实例配置过路由，则可以通过指定force选项强制引导启动。

上面的内容是引导启动路由器时输出的信息，信息提示，MySQL经典协议使用6446端口和6447端口，X协议使用6448端口和6449端口，每种协议使用的两个端口分别用于读写和只读。

在一个运行的集群中，AdminAPI 可以引导多个路由器。用户可以使用cluster.listRouters()方法显示所有注册的路由器列表。

启动路由器

mysqlrouter &

路由器已经成功启动。现在，使用MySQL Shell连接路由器进行验证。

#连接mysqlrouter [root@192-168-65-223 ~]# mysqlsh root@localhost:6446 --sql MySQL localhost:6446 ssl SQL > use test; MySQL localhost:6446 ssl test SQL > select * from t;

查看集群成员信息

MySQL localhost:6446 ssl test SQL > select * from performance_schema.replication_group_members;

测试

测试读写端口6446

用户可以通过连接本机的6446端口连接到MySQL实例

6446为读写端口，也可以插入数据

测试只读端口6647：插入数据报错

MySQL InnoDB ReplicaSet

一、基本概述

# 创建组复制的网络 保证三个mysql容器之间可以通过容器名访问 docker network create --driver bridge --subnet 172.20.0.0/24 --gateway 172.20.0.1 rs-network mkdir -p /mysql/rs/node1/data /mysql/rs/node1/conf /mysql/rs/node1/log mkdir -p /mysql/rs/node2/data /mysql/rs/node2/conf /mysql/rs/node2/log #以rs-node1配置为例，创建/mysql/rs/node1/conf/custom.cnf，添加以下配置： vim /mysql/rs/node1/conf/custom.cnf [mysql] # 设置mysql客户端默认编码 default-character-set=utf8 [mysqld] #指定sever_id，多个Mysql实例需要分别改为对应的sever_id server_id=21 # 必须开启GTID支持 gtid_mode=ON enforce_gtid_consistency=ON # 启用二进制日志 log-bin=mysql-bin #启用并行复制 binlog_transaction_dependency_tracking=WRITESET replica_preserve_commit_order=ON replica_parallel_type=LOGICAL_CLOCK transaction_write_set_extraction=XXHASH64 # rs-node2同上，注意配置文件路径和修改server_id vim /mysql/rs/node2/conf/custom.cnf [mysql] # 设置mysql客户端默认编码 default-character-set=utf8 [mysqld] #指定sever_id，多个Mysql实例需要分别改为对应的sever_id server_id=22 # 必须开启GTID支持 gtid_mode=ON enforce_gtid_consistency=ON # 启用二进制日志 log-bin=mysql-bin #启用并行复制 binlog_transaction_dependency_tracking=WRITESET replica_preserve_commit_order=ON replica_parallel_type=LOGICAL_CLOCK transaction_write_set_extraction=XXHASH64 #运行mysql容器 # 为了便于测试，启动容器时指定好IP、hostname docker run -d \ --name rs-node1 \ --privileged=true \ --restart=always \ --ip 172.20.0.20 \ --hostname rs-node1 \ --add-host rs-node2:172.20.0.21 \ --network rs-network \ -p 3331:3306 \ -v /mysql/rs/node1/data:/var/lib/mysql \ -v /mysql/rs/node1/conf:/etc/mysql/conf.d \ -v /mysql/rs/node1/log:/logs \ -e MYSQL_ROOT_PASSWORD=123456 \ -e TZ=Asia/Shanghai mysql:8.0.27 \ --lower_case_table_names=1 docker run -d \ --name rs-node2 \ --privileged=true \ --restart=always \ --ip 172.20.0.21 \ --hostname rs-node2 \ --add-host rs-node1:172.20.0.20 \ --network rs-network \ -p 3332:3306 \ -v /mysql/rs/node2/data:/var/lib/mysql \ -v /mysql/rs/node2/conf:/etc/mysql/conf.d \ -v /mysql/rs/node2/log:/logs \ -e MYSQL_ROOT_PASSWORD=123456 \ -e TZ=Asia/Shanghai mysql:8.0.27 \ --lower_case_table_names=1 # 在宿主机上配置mysql容器的ip和host映射 vim /etc/hosts 172.20.0.20 rs-node1 172.20.0.21 rs-node2

所有实例分别配置远程访问

# 以node1为例 docker exec -it rs-node1 /bin/bash mysql -u root -p123456 #进入mysql执行 ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY '123456'; flush privileges;