heartbeat 3.0 mysql_3 构建Mysql+heartbeat+DRBD+LVS集群应用系统系列之heartbeat的搭建

谁践踏了优雅 2023-01-12 04:18 99阅读 0赞

preface

在上节的说了mysql的搭建，这节我们在上节的基础上，继续搭建heartbeat。

安装和配置heartbeat

采用yum安装，dbmaster81和dbbackup136上都安装，安装命令如下：

\[root@dbmaster81 ~\]\# rpm -vih http://dl.fedoraproject.org/pub/epel/6/x86\_64/epel-release-6-8.noarch.rpm \# 先安装这个yum源

\[root@dbmaster81 ~\]\# yum -y install heartbeat heartbeat-devel heartbeat-stonith heartbeat-pils

安装完成后，在dbmaster81上copy配置文件即可，dbmaster81配置完成后再scp给dbbackup136.

\[root@dbmaster81 ha.d\]\# cp /usr/share/doc/heartbeat-3.0.4/ha.cf /etc/ha.d/ \#heartbeat主配置文件

\[root@dbmaster81 ha.d\]\# cp /usr/share/doc/heartbeat-3.0.4/haresources /etc/ha.d/ \#资源信息定义文件

\[root@dbmaster81 ha.d\]\# cp /usr/share/doc/heartbeat-3.0.4/authkeys /etc/ha.d/ \# 心跳检测使用的认证文件，需要设置文件权限必须为600。

\[root@dbmaster81 ha.d\]\# chmod 600 /etc/ha.d/authkeys \# 必须是600权限

\[root@dbmaster81 ha.d\]\# cp /etc/init.d/mysqld /etc/ha.d/resource.d/ \# 把mysqld脚本复制到heartbeat下面，这样受heartbeat控制。

修改配置文件。

主配置文件

\[root@dbmaster81 ha.d\]\# cat /etc/ha.d/ha.cf

logfile /var/log/ha-log \#指定heartbeat日志文件的位置

keepalive 1 \# 心跳发送时间间隔

deadtime 15 \# 备用节点15s内没有检测到master机的心跳，确认对方故障

warntime 5 \# 警告5次

initdead 30 \# 守护进程启动30s后，启动服务资源。

ucast eth0 172.16.22.136 \# 另一台主机节点eth0的地址，注意是另一台。

auto\_failback off \# 当primary节点切换到secondary节点之后，primary节点恢复正常，不进行切回操作，因为切换一次mysql master成本很高。

node dbmaster81 \# 定义两个节点的主机名，一行写一个

node dbbackup136

respawn hacluster /usr/lib64/heartbeat/ipfail \#开启dopd功能

respawn hacluster /usr/lib64/heartbeat/dopd

apiauth ipfail gid=haclient uid=hacluster

apiauth dopd gid=haclient uid=hacluster

认证文件：

\[root@dbmaster81 ha.d\]\# grep -v ^\# /etc/ha.d/authkeys

auth 1 \#默认配置，去掉注释即可

1 sha1 HA\_DB \# 使用sha验证，密码为HA\_DB

资源说明文件：

\[root@dbmaster81 ha.d\]\# grep -v ^\# /etc/ha.d/haresources

dbmaster81 drbddisk::r0 Filesystem::/dev/drbd0::/database mysqld IPaddr::172.16.22.250/24/eth0

参数解释：

dbmaster81

这个是在ha.cf里面node参数指明的，两者必须一致。

192.168.22.250/24/eth0

这是个VIP，在两台主机之间漂移

drbddisk

这是一个管理drbd的脚本，heartbeat默认提供这个脚本文件，可以在/etc/ha.d/resource.d目录下找到。r0是一个启动资源，在DRBD配置文件中定义，通过“drbddisk::0”可以切换到drbd主机为primary节点或secondary节点，只有状态Primary节点才可以挂载DRBD分区。drbddisk脚本相当于执行了“drbdadm primary r0”，表示把DRBD资源的角色进行变更。

Filesystem::/dev/drbd0::/database

表示把/dev/drbd0设备挂载到/database分区下。

DRBDDISK脚本

\[root@dbmaster81 ~\]\# vim /etc/ha.d/resource.d/drbddisk

69 $DRBDADM --force primary $RES && break

\# 第69行，添加--force，使其强制成为Primary，如果不加的话，当master通过断电关机或者直接拔网线后，backup无法启动VIP以及drbd的，人工执行这个drbddisk脚本也是报错的，提示 State change failed: (-7) Refusing to be Primary while peer is not outdated ,导致无法切换。

我们把上面配好的四个配置文件(/ha.cf，/etc/ha.d/authkeys，/etc/ha.d/haresources，/etc/ha.d/resource.d/drbddisk)复制到172.16.22.136(dbbackup136)上面。但是需要改ha.cf配置文件里的ucast参数。改成dbbackup136自身的,还有haresources的dbmaster81，需要改成另一台备份服务器的主机名，由dbmaster81改为dbbackup136。

Notice

mysql不需要开机自启动，drbd和heartbeat需要开机自启动。

\[root@dbmaster81 ~\]\# chkconfig --list |grep -E "heartbeat|mysqld|drbd"

drbd 0:off1:off2:on3:on4:on5:on6:off

heartbeat 0:off1:off2:on3:on4:on5:on6:off

mysqld 0:off1:off2:off3:off4:off5:off6:off

启动heartbeat

在172.16.22.81上启动

\[root@dbmaster81 ha.d\]\# service heartbeat start \# 启动报错

Starting High-Availability services: CRITICAL: Resource drbddisk::r0 is active, and should not be!

CRITICAL: Non-idle resources can affect data integrity!

info: If you don't know what this means, then get help!

info: Read the docs and/or source to /usr/share/heartbeat/ResourceManager for more details.

CRITICAL: Resource drbddisk::r0 is active, and should not be!

CRITICAL: Non-idle resources can affect data integrity!

info: If you don't know what this means, then get help!

info: Read the docs and/or the source to /usr/share/heartbeat/ResourceManager for more details.

CRITICAL: Non-idle resources will affect resource takeback!

CRITICAL: Non-idle resources may affect data integrity!

Done.

\[root@dbmaster81 ha.d\]\# service heartbeat status \# 如没有启动成功，那么走下面的解决方法

解决方法

\[root@dbmaster81 ha.d\]\# service mysqld stop

Stopping mysqld: \[ OK \]

\[root@dbmaster81 ha.d\]\# umount /database/

\[root@dbmaster81 /\]\# service drbd stop

\[root@dbmaster81 ha.d\]\# service heartbeat start

两者都启动后，检测是否有VIP，heartbeat是否成功启动

\[root@dbmaster81 /\]\# ip a |grep 'inet' \#检测IP是否有

inet 127.0.0.1/8 scope host lo

inet6 ::1/128 scope host

inet 172.16.22.81/24 brd 172.16.22.255 scope global eth0

inet 172.16.22.250/24 scope global eth0

inet6 fe80::20c:29ff:fecb:9149/64 scope link

\[root@dbmaster81 ~\]\# tail -f /var/log/ha-log \# 查看日志是否正常启动

'''

ip-request-resp(default)\[11422\]:2016/11/21\_18:13:20 received ip-request-resp drbddisk::r0 OK yes

ResourceManager(default)\[11443\]:2016/11/21\_18:13:20 info: Acquiring resource group: dbmaster81 drbddisk::r0 Filesystem::/dev/drbd0::/database mysqld IPaddr::192.168.22.250/24/eth0 \# 开始执行这条语句在haresource

ResourceManager(default)\[11443\]:2016/11/21\_18:13:20 info: Running /etc/ha.d/resource.d/drbddisk r0 start \# 启动drbd

/usr/lib/ocf/resource.d//heartbeat/Filesystem(Filesystem\_/dev/drbd0)\[11507\]:2016/11/21\_18:13:20 INFO: Resource is stopped

ResourceManager(default)\[11443\]:2016/11/21\_18:13:20 info: Running /etc/ha.d/resource.d/Filesystem /dev/drbd0 /database start \# 挂载目录

Filesystem(Filesystem\_/dev/drbd0)\[11587\]:2016/11/21\_18:13:20 INFO: Running start for /dev/drbd0 on /database

Filesystem(Filesystem\_/dev/drbd0)\[11587\]:2016/11/21\_18:13:20 INFO: Starting filesystem check on /dev/drbd0

/usr/lib/ocf/resource.d//heartbeat/Filesystem(Filesystem\_/dev/drbd0)\[11579\]:2016/11/21\_18:13:21 INFO: Success \# 成功

ResourceManager(default)\[11443\]:2016/11/21\_18:13:23 info: Running /etc/ha.d/resource.d/IPaddr 192.168.22.250/24/eth0 start

IPaddr(IPaddr\_192.168.22.250)\[12005\]:2016/11/21\_18:13:23 INFO: Adding inet address 192.168.22.250/24 to device eth0 \# 启动VIP了

IPaddr(IPaddr\_192.168.22.250)\[12005\]:2016/11/21\_18:13:23 INFO: Bringing device eth0 up

'''

heartbeat进程在但是没有VIP

master和backup的heartbeat进程都在运行中，但是两者都没有VIP，此时，重启了master服务器上的drbd，mysql，heartbeat都不生效。最终，同时重启了master和backup上两台服务器上的heartbeat进程后，VIP才出现。

测试Mysql+Heartbeat+DRBD是否生效。

检测Mysql+Heartbeat+DRBD 是否正常联合工作，需要这么查看：

停掉master的heartheat看看是否能正常切换。

停掉master的网络或者直接将master系统shutdown，看看能否正常切换。

启动master的heartbeat看看是否能不切换回来,因为配置文件ha.cf中使auto\_failback为off，不进行切回。

注意：这里说的切换是不是已经将mysql停掉、是否卸载了文件系统等等。

我们在172.16.22.81(dbmaster81)上查看当前状态

\[root@dbmaster81 ~\]\# df -hT \# 磁盘挂载中

Filesystem Type Size Used Avail Use% Mounted on

/dev/sda2 ext4 28G 2.9G 23G 12% /

tmpfs tmpfs 238M 0 238M 0% /dev/shm

/dev/sda1 ext4 283M 57M 212M 22% /boot

/dev/drbd0 ext4 11G 48M 9.5G 1% /database

\[root@dbmaster81 ~\]\# service mysqld status \# 数据库在运行中

mysqld (pid 13035) is running...

\[root@dbmaster81 ~\]\# ip a|grep 'inet '

inet 127.0.0.1/8 scope host lo

inet 172.16.22.81/24 brd 172.16.22.255 scope global eth0

inet 172.16.22.250/24 brd 172.16.22.255 scope global secondary eth0 \# Vip在master上。

此时看看172.16.22.136(dbbackup136)上的状态。

\[root@dbbackup136 ~\]\# df -hT \# 磁盘未挂载

Filesystem Type Size Used Avail Use% Mounted on

/dev/sda2 ext4 28G 2.9G 23G 12% /

tmpfs tmpfs 238M 0 238M 0% /dev/shm

/dev/sda1 ext4 283M 59M 209M 22% /boot

\[root@dbbackup136 ~\]\# service mysqld status \# mysql停止运行的

mysqld is stopped

\[root@dbbackup136 ~\]\# ip a|grep 'inet '

inet 127.0.0.1/8 scope host lo

inet 172.16.22.136/24 brd 172.16.22.255 scope global eth0 \#没有VIP

停止heartbeat进程或者使拔掉master网线

我们在172.16.22.81(dbmaster81)上关机，模拟服务器宕机

\[root@dbmaster81 ~\]\# halt

此时看看172.16.22.136(dbbackup136)上的状态。

\[root@dbbackup136 ~\]\# service mysqld status \# 数据库在运行中

mysqld (pid 26739) is running...

\[root@dbbackup136 ~\]\# ip a|grep 'inet ' \# Vip在master上。

inet 127.0.0.1/8 scope host lo

inet 172.16.22.136/24 brd 172.16.22.255 scope global eth0

inet 172.16.22.250/24 brd 172.16.22.255 scope global secondary eth0

\[root@dbbackup136 ~\]\# df -hT \# 磁盘挂载中

Filesystem Type Size Used Avail Use% Mounted on

/dev/sda2 ext4 28G 2.9G 23G 12% /

tmpfs tmpfs 238M 0 238M 0% /dev/shm

/dev/sda1 ext4 283M 59M 209M 22% /boot

/dev/drbd0 ext4 11G 48M 9.5G 1% /database

master关机后，backup能够正常接替master的服务，此时向Mysql插入数据，看能不能够正常使用Mysql，我这边用Navicat来操作Mysql，连接的是VIP(172.16.22.250)，能够正常操作Mysql。说明Mysql+Heartbeat+DRBD联调成功。

等dbmaster81开机后，heartbeat的VIP等各项资源都没有回切回来，说明正确。因为配置文件配置的就是不回切，除非dbbackup136宕机了。

至此

我们已经把heartbeat安装成功，下面就说LVS+Mysql slave做负载均衡了。

heartbeat 3.0 mysql_3 构建Mysql+heartbeat+DRBD+LVS集群应用系统系列之heartbeat的搭建

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关 heartbeat 3.0 mysql_3 构建Mysql+heartbeat+DRBD+LVS集群应用系统系列之heartbeat的搭建

相关高可用集群—实现方案二：Heartbeat

相关 Heartbeat3.x应用全攻略之：测试Heartbeat的HA功能

相关高可用集群heartbeat全攻略

相关 HeartBeat 集群组件概述

相关 heartbeat（四）heartbeat v2 crm 及 NFS共享存储的mysql高可用集群

相关 heartbeat（三）heartbeat v2 crm 配置高可用集群

相关 heartbeat（二）heartbeat v2 haresource 配置NFS共享存储高可用集群

相关 heartbeat（一）heartbeat v2 haresource配置高可用集群

相关运维笔记29 （高可用集群之heartbeat+drbd+mysql）