Maxscale读写分离实施文档
创始人
2024-05-29 21:51:56
0

Maxscale介绍

MaxScale是maridb开发的一个mysql数据中间件,其配置简单,能够实现读写分离,并且可以根据主从状态实现写库的自动切换。
使用Maxscale无需对业务代码进行修改,其自带的读写分离模块,能够解析SQL语句,从而把对应的请求转发到对应的服务器上。
注:MaxScale需要MariaDB至少 10.3.1 以上版本的支持,版本过低可能导致部分功能无法使用。
MariaDB MaxScale 2.2版本,在支持原有读写分离的基础上,又添加了主从复制集群管理功能,
MariaDB MaxScale 2.5版本,实现了GUI图形化、可视化监控管理web页面。

环境说明

数据库:Mariadb10.3.37
Maxscale:2.5.4

名称操作系统IP备注
Maxscale代理Centos7192.168.1.203可以和应用服务器,也可由单独配置一台服务器
MasterCentos7192.168.1.154读写
SlaveCentos7192.168.1.161只读

架构图


客户端通过Maxscale把请求转发给Master或者Slave,如果Master连接出现故障,则把请求转发给Slave

配置主从服务器

在MariaDB中,只要开启了binlog,所有的DML和DDL都会形成事件并且写入其中,并且每一件事务都会生成全局唯一的事务ID:Global transaction ID(全局事务ID),简称GTID。
GTID是属于全局唯一,所以无需过多配置,从机可通过GTID同步主机binlog文件,从而形成主从架构,在实际生产环境中能够提高数据库容错率;

配置Master(192.168.1.154)服务器

Master-mariadb配置文件

复制配置文件到**/etc/my.cnf.d/**目录下

#########################
#     配置binlog选项    #
########################## 开启binlog
log-bin# 开启副本记录binlog日志
log-slave-updates = ON# binlog记录方式为行
binlog_format=ROW# 30天内清理binlog日志
expire_logs_days = 30# 统一主从复制LOG名称,包含如下:log-bin, log-bin-index, relay-log, relay-log-index, general-log-file, 
# log-slow-query-log-file, --log-error-file, and pid-file.
log-basename = master1# 开启记录binlog的库名,多个用,分割
# binlog-do-db = test#########################
# 以下为GTID主从复制选项#
########################## 开启半同步
# 10.3以插件方式安装
plugin-load = "rpl_semi_sync_master=semisync_master.so"
rpl-semi-sync-master-enabled = 1# 10.3之后集成到了系统内,只需开启插件即可
plugin_load_add = semisync_master
rpl_semi_sync_master_enabled = ON
rpl_semi_sync_master_wait_point=AFTER_SYNC # 开启半同步# 配置Master,ServerID,不能和Slave重复
server-id = 100# 开启Master记录Slave binlog日志,前提Slave需要开启binlog
log-slave-updates=1# 开启GTID严格模式
gtid_strict_mode=1

查看Master同步是否成功

SHOW VARIABLES LIKE 'rpl_semi_sync_master_enabled';
+------------------------------+-------+
| Variable_name                | Value |
+------------------------------+-------+
| rpl_semi_sync_master_enabled | ON    |
+------------------------------+-------+
1 row in set (0.001 sec)

配置Master监控账户

监控用于监控节点服务器工作状态,出现故障时可以自动迁移

CREATE USER 'maxscale_monitor'@'%' IDENTIFIED BY 'maxscale123456';
GRANT RELOAD,SUPER,REPLICATION SLAVE,REPLICATION CLIENT ON *.* TO 'maxscale_monitor'@'%';# 查看授权
SHOW GRANTS FOR 'maxscale_monitor'@'%';

配置Master路由账户

Maxscale需要对传入的客户请求进行后端身份验证,所以要创建一个特殊账户做验证。在代理服务器执行如下命令:

CREATE USER 'maxscale_route'@'%' IDENTIFIED BY 'maxscale123456';
GRANT SELECT ON mysql.user TO 'maxscale_route'@'%';
GRANT SELECT ON mysql.db TO 'maxscale_route'@'%';
GRANT SELECT ON mysql.tables_priv TO 'maxscale_route'@'%';
GRANT SELECT ON mysql.columns_priv TO 'maxscale_route'@'%';
GRANT SELECT ON mysql.procs_priv TO 'maxscale_route'@'%';
GRANT SELECT ON mysql.proxies_priv TO 'maxscale_route'@'%';
GRANT SELECT ON mysql.roles_mapping TO 'maxscale_route'@'%';
GRANT SHOW DATABASES ON *.* TO 'maxscale_route'@'%';
GRANT SELECT ON mysql.* TO 'maxscale_route'@'%';# 查看授权
SHOW GRANTS FOR 'maxscale_route'@'%';

制作、恢复Slave备份

制作Master备份,用于恢复到Slave服务器,制作备份推荐使用**MariaDB-backup,**这样制作和恢复速度比较快,能节省非常多的时间

安装MariaDB-backup

在Master和Slave安装MariaDB-backup

yum install MariaDB-backup

开始创建Slave备份

在Master执行

# 创建备份文件
mariabackup --backup --target-dir=/backup/dbbak --user=root --password=test123456# 生成预恢复文件
mariabackup --prepare --target-dir=/backup/dbbak

参数说明:
–backup:创建指定动作为备份
–target-dir=/backup/dbbak:指定Master全备文件存放目录
–user=root --password=test123456:指定数据库用户名和密码
–prepare:指定动作为预恢复
–target-dir=/backup/dbbak :指定刚才创建的全备存放目录

复制备份文件到Slave从机

scp -r /backup/dbbak root@192.168.1.161:/home/user

恢复Master备份到Slave从机

恢复时需要停掉Slave mariadb服务,并且清空mariadb数据目录
在Slave执行

# 停止服务
systemctl stop mariadb# 清空目录rm -rf /home/mysql/*

锁Master库

在恢复从库时,为避免主库产生事务,导致GTID改变,需要锁住主库
在Master执行

FLUSH TABLES WITH READ LOCK;

开始Slave恢复

在Slave执行

mariabackup --copy-back --target-dir=/home/user/dbbak#重新授权
chown -R mysql:mysql /home/mysql/#启动服务
systemctl start mariadb

–copy-back : 指定动作为恢复备份,恢复时保留备份文件
–target-dir:指定恢复文件目录

解锁Master

待Slave恢复完成后,解锁Master

UNLOCK TABLES;

配置Slave(192.168.1.161)服务器

Master-mariadb配置文件

复制配置文件到**/etc/my.cnf.d/**目录下

#########################
#     配置binlog选项    #
########################## 开启binlog
log-bin# 开启副本记录binlog日志
log-slave-updates = ON# binlog记录方式为行
binlog_format=ROW# 30天内清理binlog日志
expire_logs_days = 30# 统一主从复制LOG名称,包含如下:log-bin, log-bin-index, relay-log, relay-log-index, general-log-file, 
# log-slow-query-log-file, --log-error-file, and pid-file.
log-basename = master1# 开启记录binlog的库名,多个用,分割
# binlog-do-db = test#########################
# 以下为GTID主从复制选项#
########################## 开启半同步
# 10.3以插件方式安装
plugin-load = "rpl_semi_sync_slave=semisync_slave.so"
rpl-semi-sync-slave-enabled = 1# 10.3之后集成到了系统内,只需开启插件即可
# 从库开启半同步
plugin_load_add = semisync_slave
rpl_semi_sync_slave_enabled=ON# 配置ServerID,不能和master重复
server-id = 200# 开启Master记录Slave binlog日志,前提Slave需要开启binlog
log-slave-updates=1# 开启GTID严格模式
gtid_strict_mode=1# 开启Slave并行复制
slave_parallel_threads=4# 开启Slave从Master读取binlog时进行完整校验
master-verify-checksum=1# 只允许读,不允许写
read only=1

配置Slave同步监控账户

由于主备配置文件已包含,此步可以掠过

配置Slave路由账户

由于主备配置文件已包含,此步可以掠过

查看Slave同步是否成功

出现**rpl_semi_sync_slave_enabled:ON**,说明开启成功

SHOW VARIABLES LIKE 'rpl_semi_sync_slave_enabled';
+-----------------------------+-------+
| Variable_name               | Value |
+-----------------------------+-------+
| rpl_semi_sync_slave_enabled | ON    |
+-----------------------------+-------+
1 row in set (0.001 sec)

配置同步信息

配置同步信息,首先要获取Master的binlog名称、position点和最后一次的GTID号,可以在上面的备份文件**xtrabackup_info**中获取到

# 在从库执行
cat /home/mysql/xtrabackup_info# 找到如下选项就是
binlog_pos = filename 'master1-bin.000009', position '598081860', GTID of the last change '0-100-2622'

在Slave配置同步Master的信息

# 登录mysql
mysql -u root -p# 在从库mysql执行
CHANGE MASTER TOMASTER_HOST='192.168.1.154',MASTER_USER='maxscale_monitor',MASTER_PASSWORD='maxscale123456',MASTER_PORT=3306,MASTER_LOG_FILE='master1-bin.000011',MASTER_LOG_POS=598081860,MASTER_USE_GTID=slave_pos,MASTER_CONNECT_RETRY=10;

启动Slave

# 登录mysql
mysql -u root -p# 启动从机
START SLAVE;# 查看从机工作状态
SHOW SLAVE STATUS \G

测试同步

测试数据增删改查

如果出现如下两个选项,说明Slave同步Master成功

# 出现如下两个选项说明启动成功:
Slave_IO_Running: Yes
Slave_SQL_Running: Yes

数据同步需要一些时间,长短关系到网速以及主库和从库之间的binlog数据偏移量;
在Master查看

MariaDB [mysql]> SHOW MASTER STATUS \G
*************************** 1. row ***************************File: master1-bin.000011Position: 64952Binlog_Do_DB: 
Binlog_Ignore_DB: 
1 row in set (0.000 sec)

在Slave查看
如果
Master_Log_File: master1-bin.000011
Read_Master_Log_Pos: 64952
和主库里的一致,说明同步正常,接下来可以进行测试了

MariaDB [(none)]> SHOW SLAVE STATUS \G
*************************** 1. row ***************************Slave_IO_State: Waiting for master to send eventMaster_Host: 192.168.1.154Master_User: maxscale_monitorMaster_Port: 3306Connect_Retry: 10Master_Log_File: master1-bin.000011Read_Master_Log_Pos: 64952

在主库表里进行增删改查,查看从库表里数据是否正常,并且上面的参数主库和从库一致说明同步完全正常;

测试同步Binlog同步

在网上看到在配置Slave同步信息时,不要设置Master_Log_File,原因是:当主服务器切换记录binlog文件时,从服务器将无法切换到对应的文件,如果需要自动配置从库切换Binlog,则需要将Master_Log_File参数留空即可。

CHANGE MASTER TO MASTER_HOST='192.168.1.154',
MASTER_PORT=3306,
MASTER_USER='maxscale_monitor',
MASTER_PASSWORD='maxscale123456',
# MASTER_LOG_FILE='master1-bin.000011', # 此参数不要设置
MASTER_USE_GTID=slave_pos,
MASTER_CONNECT_RETRY=10;

在Master执行,切换binlog和查看binlog

# 手动切换LOG
MariaDB [vipshop]> FLUSH LOGS;
Query OK, 0 rows affected (0.015 sec)#查看Binlog名称和检查点
MariaDB [mysql]> SHOW MASTER STATUS;
+--------------------+----------+--------------+------------------+
| File               | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+--------------------+----------+--------------+------------------+
| master1-bin.000012 |      389 |              |                  |
+--------------------+----------+--------------+------------------+
1 row in set (0.000 sec)

在Slave执行查看是否和Master一致

MariaDB [(none)]> SHOW SLAVE STATUS \G
*************************** 1. row ***************************Slave_IO_State: Waiting for master to send eventMaster_Host: 192.168.1.154Master_User: maxscale_monitorMaster_Port: 3306Connect_Retry: 10Master_Log_File: master1-bin.000012Read_Master_Log_Pos: 389

后再次在主库执行增删改查,查看从库和主库数据是否一致,如果一致则说明同步正常;

报错简单排查

如果未提示error connecting to master 'maxscale_monitor@192.168.1.154:3306,请做如下检查:

  1. 防火墙是否关闭或者允许3306端口通行;
  2. 密码是否正确;
  3. 授权是否正确;

详细排错可以查看这篇文章:https://www.yingsoo.com/news/database/69306.html

安装maxscale

添加mariadb源

curl -LsS https://downloads.mariadb.com/MariaDB/mariadb_repo_setup | sudo bash -s -- --mariadb-maxscale-version="2.5"

安装

如果maxscal和应用服务器一台,在应用服务器上安装即可,如果maxscale是单独的一台,在maxscal上安装即可

yum install maxscale -y

maxscale配置文件

maxscale的配置文件在/etc/根目录下
首先复制一份保留个备份

cp /etc/maxscale.cnf /etc/maxscale.cnf.bak

前面的英文注释为官方文档,不明白的可以去官方文档查看

# MaxScale documentation:
# https://mariadb.com/kb/en/mariadb-maxscale-25/# Global parameters
#
# Complete list of configuration options:
# https://mariadb.com/kb/en/mariadb-maxscale-25-mariadb-maxscale-configuration-guide/# 全局模块
# 开启maxscale线程,默认为1,最大为100;
# 如果maxscal为单独服务器,建议设置为auto;
# 如果maxscal和其他应用在同一服务器,建议设置为1,根据需求逐步添加;
[maxscale]
threads=1# 开启maxscale记录info信息
log_info=1# 关闭debug调试信息
# log_debug=0# 关闭消息扩展
log_augmentation=0# Server definitions
#
# Set the address of the server to the network
# address of a MariaDB server.
#
# 主机模块
# 定义主从服务器连接信息,有几台就配置几台
# 连接方式可以为ip:port或者使用socket[server1]
type=server
address=192.168.1.154
# 注意,socket 与 IP:PORT 冲突,只能选其一。同时需要注意MariaDB的GRANT配置。
# socket=/var/lib/mysql/mysql.sock
port=3306
protocol=MariaDBBackend[server2]
type=server
address=192.168.1.161
port=3306
protocol=MariaDBBackend# Monitor for the servers
#
# This will keep MaxScale aware of the state of the servers.
# MariaDB Monitor documentation:
# https://mariadb.com/kb/en/maxscale-25-monitors/# 配置故障转移模块
[MariaDB-Monitor]
type=monitor
module=mariadbmon
# 监控的服务器
servers=server1,server2
# 配置监控账号和密码
user=maxscale_monitor
password=maxscale123456
# 心跳检测,2000秒监测一次,也就是2秒
monitor_interval=2000# 启用自动故障转移,false为关闭,需要人工执行命令去做故障转移,通常为true
auto_failover=true
# 启用故障恢复后自动加入集群,false为关闭,需要人工在从库执行CHANGE MASTER TO NEW_MASTER, MASTER_USE_GTID = current_pos命令,通常为true
auto_rejoin=true# Service definitions# ReadConnRoute documentation:
# https://mariadb.com/kb/en/mariadb-maxscale-25-readconnroute/# 服务模块
# ReadWriteSplit documentation:
# https://mariadb.com/kb/en/mariadb-maxscale-25-readwritesplit/# 读写分离模块
# 基于statement SQL解析的方式
[Read-Write-Service]
type=service
router=readwritesplit
router_options=master,slave
servers=server1,server2
# 路由账号
user=maxscale_route
password=maxscale123456# root用户远程访问
# enable_root_user=1# 允许主服务器读,用于服务器少的情况下
master_accept_reads=true# 路由模块处理主服务器故障时的方法,默认主库出现故障时,此时有写请求,maxscale会断开连接;
# 值为error_on_write,当主库出现问题无法写入时,会提示客户端目前处于只读模式,
master_failure_mode=error_on_write
# 和上个参数配合,当主库恢复正常时,客户端有写请求,恢复正常
master_reconnection=true# 启用因果读取
# 例如主库上写入了一条数据,从库还没来得写入该记录。那么可以通过设置causal_reads=local,
# 此时客户端在从库上查询会hang住,直至等待causal_reads_timeout=10,10秒后请求会强制转发给master
causal_reads=local
causal_reads_timeout=10# Listener definitions for the services
#
# These listeners represent the ports the
# services will listen on.
## 配置监听模块
[Read-Write-Listener]
type=listener
service=Read-Write-Service
protocol=MariaDBClient
# 应用连接这个端口
port=4006

启动服务

systemctl start maxscale

如果启动报错,可以查看maxscale文档

cat /var/log/maxscale/maxscale.log 

测试

maxctrl操作命令

通过maxctrl后台管理命令查看主从复制集群状态信息,命令如下:

[root@loacl maxscale]# maxctrl list servers # 查看注册的主机
┌─────────┬───────────────┬──────┬─────────────┬─────────────────┬────────────┐
│ Server  │ Address       │ Port │ Connections │ State           │ GTID       │
├─────────┼───────────────┼──────┼─────────────┼─────────────────┼────────────┤
│ server1 │ 192.168.1.154 │ 3306 │ 0           │ Master, Running │ 0-100-2700 │
├─────────┼───────────────┼──────┼─────────────┼─────────────────┼────────────┤
│ server2 │ 192.168.1.161 │ 3306 │ 0           │ Slave, Running  │ 0-100-2700 │
└─────────┴───────────────┴──────┴─────────────┴─────────────────┴────────────┘[root@203 maxscale]# maxctrl list services # 查看注册服务
┌────────────────────┬────────────────┬─────────────┬───────────────────┬──────────────────┐
│ Service            │ Router         │ Connections │ Total Connections │ Targets          │
├────────────────────┼────────────────┼─────────────┼───────────────────┼──────────────────┤
│ Read-Write-Service │ readwritesplit │ 0           │ 0                 │ server1, server2 │
└────────────────────┴────────────────┴─────────────┴───────────────────┴──────────────────┘

更多命令参考官方文档:https://kb-prod.mariadb.com/kb/en/mariadb-maxscale-6-maxctrl/

创建测试用户

在主库执行,创建程序连接用户名/密码

MariaDB [(none)]> CREATE USER test;
Query OK, 0 rows affected (0.004 sec)MariaDB [(none)]> GRANT SELECT, INSERT, UPDATE,INDEX,CREATE VIEW, EXECUTE, SHOW VIEW, EVENT, TRIGGER ON test.* TO 'test'@'%' IDENTIFIED BY '123456';
Query OK, 0 rows affected (0.002 sec)MariaDB [(none)]> GRANT SELECT ON mysql.proc TO 'test'@'%';
Query OK, 0 rows affected (0.002 sec)

使用 Mysql 客户端到连接 MaxScale

开始测试

-P 4006:为maxscale的端口

# 登录maxscale
[root@203 maxscale]# mysql -u test -h 192.168.1.203 -P 4006 -p 
Enter password: 
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MariaDB connection id is 1
Server version: 10.3.37-MariaDB-log MariaDB ServerCopyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.# 使用查询当前主机名字,发现为slave从库
MariaDB [(none)]> select @@hostname;
+------------+
| @@hostname |
+------------+
| slave      |
+------------+
1 row in set (0.00 sec)# 开启事务
MariaDB [(none)]> start transaction;
Query OK, 0 rows affected (0.00 sec)# 查询当前主机名为master主库
MariaDB [(none)]> select @@hostname;
+------------+
| @@hostname |
+------------+
| pev.154    |
+------------+
1 row in set (0.01 sec)# 回滚事务
MariaDB [(none)]> rollback;
Query OK, 0 rows affected (0.00 sec)# 再次查询发现
MariaDB [(none)]> select @@hostname;
+------------+
| @@hostname |
+------------+
| slave      |
+------------+
1 row in set (0.00 sec)

文章来源

https://www.cnblogs.com/backups/p/maridb_maxscale.html
官方文档
https://mariadb.com/kb/en/mariadb-maxscale-25-setting-up-mariadb-maxscale/
https://mariadb.com/kb/en/mariadb-maxscale-25-mariadb-maxscale-configuration-guide/
主从常见错误
https://www.yingsoo.com/news/database/69306.html

相关内容

热门资讯

mapinfo 11破解序列号... 哎呀,今天真是气炸了!我这颗心啊,就像被猫抓了一样,七上八下的。你知道吗,我最近迷上了用MapInf...
进展性卒中时间节点-进展性卒中... 那天,我像往常一样醒来,却发现世界在我的左眼变得模糊。我以为只是疲劳,但很快,不仅仅是视线,我的左手...
polly wolly doo... 哎呀,说起《PollyWollyDoodle》这首歌,真是让人又笑又泪啊!这首歌,简单几句,就能把人...
胃病艾灸患者经验交流-艾灸真的... 哎呀,说到胃病,我这心里就五味杂陈的。你们知道吗,我这胃啊,就像个不听话的小孩,总是闹脾气。吃药、打...
gta5盗版怎么安装-GTA5... 哎呀,说到GTA5盗版安装,我这心情真是五味杂陈啊!首先,我得说,盗版这事儿,不是啥光彩的活儿。但既...
windows linux文件... 哎呀,说到Windows和Linux的文件系统,真是让人头大!你知道吗,这两个操作系统在文件管理上简...
windows pe iso下... 哎呀,说到WindowsPEISO下载,真是让人头疼!你知道吗,有时候电脑出问题了,急得像热锅上的蚂...
范聪聪的身份证号码-范聪聪身份... 你知道范聪聪的身份证号码吗?那串看似普通的数字,背后藏着多少不为人知的故事!每当我想起那串数字,心里...
万家乐燃气热水器怎样-万家乐燃... 大家好,我是一个对生活品质有追求的普通家庭主妇。今天,我要跟大家聊聊我家那位默默无闻却又不可或缺的“...
电子地图是怎么绘制的-探索电子... 嗨,大家好!今天我要带你们一起探索一下那些我们每天都在用的电子地图,到底是怎样神奇地出现在我们的手机...
lol怎么不锁定视角-LOL ... 大家好,我是一个普通的LOL玩家,今天我想吐槽一下这个视角锁定的问题,真是让我每次玩都火大!每次我按...
duetwindows如何下载... 嘿,大家好!今天我要给大家讲讲我最近的一次超级激动人心的冒险——下载DuetWindows!这可不是...
win8系统如何安装pe-Wi... 哎呀,说到这个Win8系统安装PE,真是让我又爱又恨!你知道吗,每次电脑出了问题,我就像热锅上的蚂蚁...
苹果电脑系统卡-苹果电脑卡顿问... 哎哟喂,说到我的苹果电脑,真是让我又爱又恨啊!当初看它那光滑的外表,简洁的界面,还以为它能一直飞快飞...
智能云输入法官方下载-智能云输... 哎呀,说到这个智能云输入法,我可是真的忍不住要大喊一声:“爱了爱了!”每次打开手机,看到那枯燥的传统...
得力考勤机连接失败-得力考勤机... 哎呀,真是让人头大!今天早上一到公司,准备打卡上班,结果那台得力考勤机又开始闹脾气了,死活连不上!这...
小米数据恢复软件:丢失数据的救... 哎呀,真是急死人了!上周末我还兴高采烈地和朋友们出去玩,拍了好多照片,录了好多视频,结果一回家,手机...
net文件怎么打开-探索 Ne... 嘿,亲爱的数字探险家们!今天我们要一起探索一个神秘的领域——Net文件的世界。你们是不是也曾在电脑的...
win8软件限制策略-Win8... 哎呀,说到Win8的软件限制策略,我就一肚子火!你知道吗,这玩意儿有时候真是个“小霸王”,老是限制我...
windows 8.1 小马-... 哎呀,说到Windows8.1,我这心里就五味杂陈的,就像遇到了那个曾经让你心动不已却又不告而别的老...