MySQL 5.6通過MMM實現讀寫分離的高可用架構

上一篇博文我們使用keepalived+主從同步搭建了一個簡單的MySQL高可用架構（詳見https://blog.51cto.com/jiangjianlong/1981994），今天再分享下通過MMM搭建的實現MySQL讀寫分離的高可用群集。MMM (Master-Master Replication Manager for MySQL)是使用perl開發的MySQL主主復制管理器，可實現讀寫分離的高可用架構，對主庫實現寫請求的高可用，對從庫實現讀請求的負載均衡。本文的架構示意圖如下：

一、部署環境

二、環境準備

1、配置好IP地址、主機名，關閉防火墻和selinux

2、分別為mysql-master01、mysql-master02、mysql-slave01、mysql-slave02安裝MySQL 5.6，安裝方法請參見本文之前的博文《MySQL 5.6.38在RedHat 6.5上通過RPM包安裝》，需要注意的是要安裝Mysql-devel的rpm包。

3、為5臺服務器配置好hosts解析：

192.168.10.81 mysql-master01

192.168.10.82 mysql-master02

192.168.10.83 mysql-slave01

192.168.10.84 mysql-slave02

192.168.10.85 mysql-monitor

4、將RedHat 6.5的介質配置成本地yum源

三、配置兩臺master互為主從

1、編輯mysql-master01和mysql-master02的/etc/my.cnf文件并重啟mysql服務：

mysql-master01：

[mysqld] 
server-id=1              #每臺設置不同
log-bin=mysql-bin
[mysqld_safe]
auto_increment_increment=2  #字段一次遞增多少 
auto_increment_offset=1    #自增字段的起始值,master02需設置為2 
replicate-do-db=all        #同步的數據庫，多個用逗號隔開 
log-slave_updates        #當一個主故障，另一個立即接管 
sync-binlog=1            #每條自動更新，安全性高，默認是0 
log-error = /var/log/mysqld.log
read_only = 1

mysql-master02:

[mysqld] 
server-id=2              #每臺設置不同 
log-bin=mysql-bin 
[mysqld_safe]
auto_increment_increment=2  #字段一次遞增多少
auto_increment_offset=2    #自增字段的起始值,master02需設置為2
replicate-do-db=all        #同步的數據庫，多個用逗號隔開
log-slave_updates       #當一個主故障，另一個立即接管
sync-binlog=1            #每條自動更新，安全性高，默認是0
log-error = /var/log/mysqld.log
read_only = 1

2、在mysql-master01上創建用于同步的賬戶repl，密碼為123456，并查詢master狀態，記下file名稱和posttion數值

mysql> GRANT REPLICATION SLAVE ON *.* to 'repl'@'%' identified by '123456';

mysql> show master status;

3、在mysql-master02上登錄mysql，執行以下語句開啟從服務器

mysql> change master to master_host='192.168.10.81',master_user='repl',master_password='123456',master_log_file='mysql-bin.000003',master_log_pos=318;

mysql> start slave;

mysql> show slave status\G

4、然后在mysql-master02上也創建用于同步的賬戶repl，密碼為123456，并查詢master狀態，記下file名稱和posttion數值

mysql> GRANT REPLICATION SLAVE ON *.* to 'repl'@'%' identified by '123456';

mysql> show master status;

5、在mysql-master01上登錄mysql執行以下語句開啟從服務器，注意這里master_host要填寫mysql-master02的IP

mysql> change master to master_host='192.168.10.82',master_user='repl',master_password='123456',master_log_file='mysql-bin.000006',master_log_pos=318;  

mysql> start slave;

mysql> show slave status\G

6、這樣兩臺master的互為主從就配置好了，下面我們來測試一下，先做mysql-master01上執行以下語句創建一個數據庫、一個表并插入一行數據

mysql> create database names_test;

mysql> use names_test;

mysql> create table names(id int(5),name char(15));

mysql> insert into names values (01,'jiangjianlong');

mysql> select * from names;

7、然后到mysql-master02上查詢一下，發現已經同步完成了，說明mysql-master02作為mysql-master01的從庫復制正常

8、在mysql-master02上也創建一個數據庫、一個表并插入一行數據

mysql> create database blogs_test;

mysql> use blogs_test;

mysql> create table blogs(id int(5),name char(35));

mysql> insert into blogs values (01,'jiangjianlong.blog.51cto.com');

mysql> select * from names;

9、在mysql-master01上查詢一下，發現數據也已經同步過來，說明mysql-master01作為mysql-master02的從庫也是復制正常

四、配置兩臺slave作為master01的從庫

1、mysql-slave01和mysql-slave02分別使用以下my.cnf

mysql-slave01：

[mysqld]
server-id=3              #每臺設置不同
log-bin=mysql-bin
 
[mysqld_safe]
replicate-do-db=all         
log-error = /var/log/mysqld.log
read_only = 1

mysql-slave02：

[mysqld]
server-id=4             #每臺設置不同
log-bin=mysql-bin
 
[mysqld_safe]
replicate-do-db=all         
log-error = /var/log/mysqld.log
read_only = 1

2、根據在mysql-master01上執行show master status查出來的結果，在mysql-slave01和mysql-slave02上分別執行以下sql語句,開啟從服務器：

mysql> change master to master_host='192.168.10.81',master_user='repl',master_password='123456',master_log_file='mysql-bin.000004',master_log_pos=120;

mysql> start slave;

mysql> show slave status\G

五、安裝MMM要求的Perl模塊

1、MMM對所有MySQL節點所要求的Perl模塊如下：

2、以下以mysql-master01為例進行perl模塊的安裝，另外3臺MySQL服務器同理。首先查看一下這些perl模塊還有哪些沒裝：

perldoc -l Algorithm::Diff  DBI  DBD::mysql File::Basename File::stat Log::Dispatch Log::Log4perl Mail::Send Net::ARP Proc::Daemon Time::HiRes

3、部分缺失的perl模塊在Redhat6.5的介質中有，可以通過本地yum源的方式安裝

[root@mysql-master01 ~]# yum install perl-DBI perl-DBD-mysql perl-MailTools perl-Time-HiRes perl-CPAN -y

4、使用以下命令再查看一下安裝結果

perldoc -l Algorithm::Diff  DBI  DBD::mysql File::Basename File::stat Log::Dispatch Log::Log4perl Mail::Send Net::ARP Proc::Daemon Time::HiRes

5、剩下的幾個perl模塊安裝起來稍微麻煩一點，可以使用源碼包編譯安裝，也可以使用cpan在線自動下載安裝，并能處理各模塊間的依賴關系。我一開始是嘗試去下載源碼包后手動進行編譯安裝，然而我在編譯到Log::Dispatch時我直接放棄這種方式了，因為它依賴于很多個其它的perl模塊，而這些模塊可能又依賴于別的多個模塊！如下圖：

6、所以我決定使用cpan在線自動安裝的方式，但需要服務器能連外網。由于使用cpan安裝Algorithm::Diff時會告警提示YAML沒有安裝，因此我先使用cpan安裝YAML,而安裝YAML時會把它所依賴的Algorithm::Diff給裝上

7、接著執行cpan Log::Dispatch安裝Log::Dispatch，沒想到在自動下載安裝了50多個依賴模塊后還是報錯提示有多個依賴的模塊缺失，如下圖：

8、解決辦法：依次使用cpan安裝上圖所示的缺少的模塊，然后再執行cpan Log::Dispatch就能成功安裝上，如果cpan安裝Params::ValidationCompiler時報錯，就單獨下載這個模塊的源碼包進行編譯安裝

9、執行cpan Log::Log4perl安裝Log::Log4perl模塊、執行cpan Net::ARP安裝Net::ARP模塊、執行cpan Proc::Daemon安裝Proc::Daemon模塊

10、再來查看下所需perl模塊的安裝結果，這下已經全部都裝好了

11、monitor服務器也對perl模塊有要求，如下圖：

12、同樣是使用cpan安裝這些模塊，在此不再贅述。4臺mysql服務器和monitor服務器的perl模塊都安裝完成后，我們就可以來安裝配置MMM了

六、MySQL-MMM安裝配置

1、MMM對MySQL用戶的要求如下：

2、由于本文未使用到MMM tools，因此只需創建前3個用戶，由于前面已經做好了主從同步，因此只需要在mysql-master01上創建即可同步到另外3臺MySQL服務器

GRANT REPLICATION CLIENT ON *.* TO 'mmm_monitor'@'192.168.10.%' IDENTIFIED BY 'monitor'; 

GRANT SUPER,REPLICATION CLIENT,PROCESS ON *.* TO 'mmm_agent'@'192.168.10.%' IDENTIFIED BY'agent';

GRANT REPLICATION SLAVE ON *.* TO 'mmm_repl'@'192.168.10.%' IDENTIFIED BY'repl';

注：其實用戶mmm_repl可以不用建，因為前面我們配置主從同步時已經建了一個repl用戶可供使用

3、使用以下語句檢查另外3臺MySQL服務器是否已同步了這3個用戶,可以看到都已經有了

select user,host from mysql.user where user in ('mmm_monitor','mmm_agent','mmm_repl');

4、在4臺MySQL服務器和monitor服務器上編譯安裝MMM，下面以mysql-master01為例

[root@mysql-master01 ~]# tar -zxf mysql-mmm-2.2.1.tar.gz -C /usr/

[root@mysql-master01 ~]# cd /usr/mysql-mmm-2.2.1/

[root@mysql-master01 mysql-mmm-2.2.1]# make install

5、安裝完成后，所有的配置文件都放到了/etc/mysql-mmm/下面。monitor服務器和MySQL服務器上都要包含一個共同的文件mmm_common.conf，內容如下：

[root@mysql-master01 mysql-mmm-2.2.1]# cat /etc/mysql-mmm/mmm_common.conf
active_master_role        writer
  
<host default>
cluster_interface                eth0
 
pid_path                                /var/run/mmm_agentd.pid
bin_path                                /usr/lib/mysql-mmm/
 
    replication_user        mmm_repl
    replication_password    repl
 
agent_user                            mmm_agent
agent_password                        agent
</host>
 
<host mysql-master01>
ip                                          192.168.10.81
mode                                        master
peer                                        mysql-master02
</host>
 
<host mysql-master02>
ip                                          192.168.10.82
mode                                        master
peer                                        mysql-master01
</host>
 
<host mysql-slave01>
ip                                          192.168.10.83
mode                                        slave
</host>
 
<host mysql-slave02>
        ip                                   192.168.10.84
        mode                                 slave
</host>
 
<role writer>
hosts                                        mysql-master01, mysql-master02
ips                                          192.168.10.91
mode                                        exclusive
</role>
 
<role reader>
hosts                                        mysql-slave01, mysql-slave02
ips                                          192.168.10.93, 192.168.10.94
mode                                        balanced
</role>
[root@mysql-master01 mysql-mmm-2.2.1]#

6、在mysql-master01上編輯好該文件后，通過scp傳輸到另外4臺服務器

7、4臺MySQL服務器還有一個mmm_agent.conf文件需要修改主機名

8、在4臺MySQL服務器的 /etc/init.d/mysql-mmm-agent的腳本文件的#!/bin/sh下面，加入如下內容 

source /root/.bash_profile，下面以mysql-master01為例

9、分別將4臺MySQL服務器的mmm_agent啟動腳本添加成系統服務并設置為自啟動，下面以mysql-master01為例

#chkconfig --add mysql-mmm-agent

#chkconfig mysql-mmm-agent on

10、分別將4臺MySQL服務器的mmm_agent啟動，如果前面的Perl模塊沒有裝好，可能會報錯啟動不了

/etc/init.d/mysql-mmm-agent start或service mysql-mmm-agent start

11、配置monitor服務器上的mmm_mon.conf文件

[root@mysql-monitor mysql-mmm]# cat/etc/mysql-mmm/mmm_mon.conf 
include
mmm_common.conf
 
<monitor>
        ip                  127.0.0.1
        pid_path               /var/run/mmm_mond.pid
        bin_path               /usr/lib/mysql-mmm/
        status_path              /var/lib/misc/mmm_mond.status
        ping_ips               192.168.10.81,192.168.10.82,192.168.10.83,192.168.10.84
</monitor>
 
<host default>
        monitor_user                  mmm_monitor
        monitor_password                monitor
</host>
 
<check default>
       check_period   5
       trap_period   10
       timeout       3
       max_backlog   86400
</check>
 
debug 0

12、在monitor服務器的 /etc/init.d/mysql-mmm-monitor的腳本文件的#!/bin/sh下面，加入如下內容 

source /root/.bash_profile

13、將mysql-mmm-monitor添加成系統服務并設置為自啟動

#chkconfig --add mysql-mmm-monitor

#chkconfigmysql-mmm-monitor on

14、啟動monitor服務器的mysql-mmm-monitor服務

15、在monitor服務器執行命令列出客戶端狀態，發現都是AWAITING狀態

16、在monitor服務器執行命令mmm_control set_online mysql-master01，將mysql-master01上線，過一會再看它就變成online狀態了

17、這時觀察mysql-master01的IP發現已經成功添加了Write VIP

18、依次將mysql-master02和mysql-slave01以及mysql-slave02設置為online，查看slave的IP也發現Read VIP也加上了。MMM到此已配置完成，下面將進行高可用測試

七、MySQL-MMM主庫高可用測試

1、將mysql-master01的mysql服務停止，模擬主庫宕機，再查看IP會發現Write VIP已被自動移除

2、觀察monitor服務器上的日志可以發現MMM檢測到mysql-maste01故障并將Write VIP切換到了mysql-master02上

3、查看mysql-master02的IP，發現Write VIP確實已添加上了

4、這時兩臺slave之前配置的主庫已經宕機并且主庫已切換，那它們是否會自動將Master Host也切換為mysql-master02呢？查看下它們的slave狀態，發現已自動切換

5、在monitor服務器上查看下客戶端的狀態，mysql-master01確實已離線，并且是能Ping通而mysql連接失敗

6、再次啟動master01的mysql服務，并設置為online，可以看到Write VIP并不會回切（除非當前的主庫再次宕機）

7、觀察到monitor服務器的日志如下：

8、再檢查下客戶端，已恢復正常

八、MySQL-MMM從庫高可用測試

1、將mysql-slave01的mysql服務停止，模擬從庫宕機，再查看IP會發現其上的Read VIP已被自動移除

2、觀察到monitor服務器上的日志發現mysql-slave01的Read VIP已被切換到mysql-slave02上：

3、在monitor服務器上查看客戶端狀態，發現mysql-slave02確實綁定了2個Read VIP

4、檢查mysql-slave02的IP，確實如此

5、將mysql-slave01的mysql服務恢復啟動，并在monitor服務器將其設置為online，可以看到切換回去的Read VIP并不是最開始的那個VIP，Read VIP并非固定不變

6、觀察monitor服務器的日志內容如下：

7、兩個slave的IP信息現在如下：

至此，MySQL-MMM讀寫分離的高可用架構經簡單測試均OK！以下是小結：

1、若master01主節點宕機，由master02備選主節點接管寫角色，slave1,slave2指向新master2主庫進行復制，slave01,slave02會自動change master到master02。

2、若master01主節點宕機，而master02同步又落后于master01時就變成了主可寫狀態，則這時的數據主無法保證一致性。

3、若master02,slave01,slave02延遲于master01主，而這個時master01宕機，slave01,slave02將會等待數據追上master01后，再重新指向新的主master02進行復制操作，這時的數據也無法保證同步的一致性。

4、對外提供讀寫的虛擬IP是由monitor程序控制。如果monitor沒有啟動那么db服務器不會被分配虛擬ip,但是如果已經分配好了虛擬ip，當monitor程序關閉了，則原先分配的虛擬ip不會關閉，只要不重啟網絡，外部程序還可以連接訪問，這樣能對monitor的可靠性要求降低一些，但是如果這時其中的某一個db服務器故障了就無法處理切換。因為agent程序受monitor程序的控制，處理主庫切換、從庫切換等操作。如果monitor進程關閉了那么agent進程就起不到什么作用，它本身不能處理故障。

5、monitor程序負責監控db服務器的狀態，包括Mysql數據庫、服務器是否運行、復制線程是否正常、主從延時等，以及控制agent程序處理故障。因此monitor是這個高可用架構中的核心角色，同時也是單點故障的風險點，應該能通過keepalived等方式將monitor也做成高可用，等以后有時間我再進行測試。

6、monitor監控端的配置文件參數“auto_set_online”可以讓從故障中恢復的節點自動online，待有空測試下。群集中節點服務器的狀態有三種分別是：HARD_OFFLINE→AWAITING_RECOVERY→online

7、默認monitor會控制mmm_agent會將writer db服務器read_only修改為OFF，其它的db服務器read_only修改為ON,所以為了嚴謹可以在所有的服務器的my.cnf文件中加入read_only=1，由monitor控制writer和read,root用戶和復制用戶不受read_only參數的影響。

本文出自江健龍的技術博客，轉載請注明出處 https://blog.51cto.com/jiangjianlong/2073744