集群的理解

我会带着你远行 2022-09-23 15:58 131阅读 0赞

来suse实习了一个多星期了，这期间主要就是在理解集群涉及的概念以及搭建简单的集群环境。这是第一次接触集群，很多概念还是没有完全理解，感觉就是看了很多单个的知识点，但是不能连珠成线。先来简单说说。

# 集群的分类 #

集群是由多个计算机组成的一个系统，其中这每一个计算机被称为节点，节点之间通过局域网或者其他方式连接起来，彼此配合完成一个或者多个任务。从宏观上来讲，这个系统相当于一个计算机 。一般集群有以下三个分类：

### 1.高性能计算集群 ###

高性能计算集群被使用在计算任务重的环境中，如果进程多是一些复杂的科学计算任务，如果这些进程全部运行在一个服务器上效率会非常差，如果是运行在高性能计算集群上，从效率讲优化了很多。

### 2.负载均衡集群 ###

负载均衡集群常常被使用在一些像访问频繁的网站这样任务繁重的环境中，负载均衡集群的目的是重新把任务分配给拥有资源的服务器去处理任务。这个听起来和高性能计算集群有点类似，实际上是不一样的。高性能计算集群中所有的节点的计算都是为了完成同一个任务，而负载均衡集群需要兼顾任务分配以找到最有效的任务处理方式和处理任务这两件事。

### 3.高可用集群 ###

高可用集群的目的就是为了确保关键资源或服务最大限度的可用性，集群通过在每个节点上安装特定软件来完成这点。该软件会负责监控每个集群节点和集群服务是否可用，如果节点不可用或者服务停止，集群需要立即知道并且确保尽可能快的重启节点。

# 一个简单高可用集群的组成 #

一个最基本的HA（High Acailability）集群需要四个组件，Shared Storage、Corosync、Pacemaker和STONITH（Shoot The Other Node In The Head）。先简单的解释这几个组件。

## 1.Shared Storage ##

集群必须决定哪一个服务器上的共享资源会被host，在该服务器上，数据和文件对于所有节点都必须是可用的，并且对数据或者文件的改动保证对所有节点都能可见，因此大部分集群都需要共享存储。大体上来说，有两种途径来管理共享存储，：NFS（Network File System）和SAN（storage area network）。NFS允许通过网络共享多个文件和目录，这是一种比较简单的方式来管理共享存储，但是灵活性比较差，因此大部分的集群都是用SAN方式管理共享存储 。SAN像一个外部磁盘收集器连接到服务器上，为了访问SAN，你需要配置一些基础设施——iSCSI（Internet Small Computer System Interface）或者Fible Channal。这里主要说ISCSI,iSCSI利用了TCP/IP的port 860 和 3260作为沟通的渠道。两部计算机之间利用iSCSI的协议来交换SCSI命令，让计算机可以通过局域网来把SAN模拟成为本地的储存装置。这赋予了ISCSI SAN很多优点，任何一个基于标准网络硬件的人都能创建一个iSCSI SAN来使用。

## 2.Corosync ##

Corosync是一个组通信系统，它执行高可用应用程序的通信操作，有以下特征：

*  一个封闭的程序组（A closed process group communication model）通信模式，这个模式提供一种虚拟的同步方式来保证能够复制服务器的状态。
 *  一个简单可用性管理组件（A simple availability manager），这个管理组件可以重新启动应用程序的进程当它失败后。
 *  一个配置和内存数据的统计（A configuration and statistics in-memory database），内存数据能够被设置，回复，接受通知的更改信息。
 *  一个定额的系统（A quorum system）,定额完成或者丢失时通知应用程序。

## 3.Pacemaker ##

Pacemaker是集群很重要的一个组件，他是集群的大脑，集群很多的决定都是靠他来决策的。比如说需要fencing哪个节点。pacemaker从根本上说是集群资源管理器,他通过监测和利用基础设施（像corosync和heartbeat）提供的消息从节点和资源中恢复错误来实现集群服务的可用性最大化。  
Pacemaker的主要特点包括：

*  监测和恢复节点或者资源级别的错误
 *  存储无关，并不要求有共享存储
 *  资源无关
 *  支持fencing以确保数据的正确性
 *  无论集群或大或小，都可以使用pacemaker
 *  等等

抽象来说，集群由三部分组成：

*  资源：这部分包括资源本身、开始停止和监控资源。本地deamon将会评比不同标准上的实现。
 *  资源管理：我们之前说pacemaker是集群的大脑，它负责对集群可能出现的事件（events）作出响应，其中包括节点加入或移除，服务失败等等。每当有一个事件出现，pacemaker会计算出最佳的解决方案并通知相关组件执行，根据不同的事件，pacemaker选择的方案有所不同，可能是移除资源，冲起节点或者强迫节点离线。
 *  低级别基础设施：像Corosync、cman和Heartbeat提供了关于集群的可靠信息传递等等。

## 4.STONITH ##

要解释stonith机制需要理解fencing这个概念。如果集群中有一个节点异常操作或者down了（每个节点每隔1.2秒向pacemaker发送一个heartbeat，如果pacemaker没有收到哪个节点的heartbeat，就认为该节点down了），集群需要立即移除该节点，这个移除操作被称为fencing（shoot节点的意思是该结点poweroff或者reboot，这个可以设定）。在集群中，每个资源都有连接状态，集群要求每一个资源某一时刻只能和一个节点连接，节点需要向集群提交对资源的改动，一个集群的状态就是资源状态和节点状态的集合。当一个节点或者资源的状态并不能被确定时，立即启动stonith机制。stonith机制在集群中的实现有很多种，我主要是看了sbd（share block device）这种方式。sbd deamon运行在集群中的每一个节点上，监测共享存储，如果它不能访问多数sbd或者其他的节点把fencing请求写在了该节点的特定文件中，此节点会立刻fencing自己。

# 配置一个简单的集群 #

解释完了集群需要的简单的组件，接下来说说如何配置一个简单的集群。这里说的是配置一个最简单的三个节点的集群，因此需要三台虚拟机。

### 1.先创建两个iscsi target（一个用作share storage，另一个用作sbd） ###

创建target的时候需要用到targetcli这个服务，有可能这个服务没有开机自启动，所以在创建之前需要查看那targetcli服务的状态。如图下所示：

![targetcli服务状态查看][targetcli]

如果服务状态是active就可以开始创建了。我们前面说share storage的时候说了，集群中每个节点都是通过network连接到share stoarage的，因此target创建的位置并没有什么关系，我是在本机上创建的。创建过程先在backstore的fileio目录下创建一个image，给出大小和名称，然后根据响应的image创建出iscsi target最后设置以下权限，保存设置就可以了。过程如下图所示。

![iscsi target 创建用作sbd][iscsi target _sbd]  
![接上][nqpr0ap.jpg]

在根据上面的步骤创建出另外一个target用作share storage，创建完成后ls以下就可以看见创建的target了，这个集群只是为了演示并没有任何事迹意义，因此share storage只给了100M的空间。  
![创建第二个iscsi target][iscsi target]

创建好了target以后，需要在集群中的每一个节点上login，因为集群中的节点此时并没有发现这两个target。login的时候需要知道target的名称，如果记不住target的名称，iscsiadm 提供了discovery功能。如图所示：  
![iscsi target login][]  
login以后，fdisk下就能看见这两个盘了。  
![fdisk 参考iscsi target][fdisk _iscsi target]  
我们之前在创建target的时候说明了，一个用作sbd一个用作share storage，在每一个节点上都login，每一个节点都能看见这两个存储了，然后就是进行一些share storage和sbd的设置了。先来设置share storage。

### 3.配置stonith（sbd方式） ###

我们前面说stonith的时候说了，实现stonith有很多种方式，我们选择sbd这种方式，并且选择/dev/sda.每个节点都需要有stonith，所以需要集群中的每个节点上都配置sbd。配置sbd的步骤大概是：

*  选择一个target的挂载点，然后格式化成sbd
 *  启动看门狗（如果没有看门狗硬件可以使用软狗），并且 把看门狗设置为开机自启动(/etc/init.d/boot.local)
 *  修改sbd配置文件（./ect/sysconfig/sbd），并启动sbd deamon  
    具体操作演示如下：  
    ![sbd演示1][sbd_1]  
    ![sbd演示2][sbd_2]  
    ![sbd演示3][sbd_3]  
    这时候如果你sbd -d /dev/XXX list就可以看到集群中所有的node被列出来了。  
    ![sbd list][]

#### 注：三台机器用作sbd的都必须是同一个target，还记得吗，我创建了两个target，两个target全部ligin进来（可以理解为挂载进来），三台机器用作sbd的必须是用一个target。这样有两个办法解决，一个就是先login一个进来，配置好了sbd以后在login另外一个。或者可以在dev目录下查看两个target被挂在到了哪个目录下，如图： ####

![查看挂载点][1469081447x2918527110.png]

### 3.设置share storage ###

选择刚刚login进来的两个盘中的其中一个，我们选择sdb来作为share storage。之前说了，share storage是每一个节点都能看见的，这就意味着每一个节点都能对share storage进行读写，为了对于这些并发的读写进行管理，我们需要在share storage上搭载一个文件系统，并且不能是我们常见的本地文件系统，因为本地文件系统并不能管理不同节点的并发读写，我们选择OCFS2（Oracle Cluster File System 2）,具体步骤如下：  
![ocfs2][]

#### 注：如果创建的时候输错了，可以通过crm edit来修改集群的resource。 ####

现在集群就已经配置好了。你可以通过crm status查看集群状态。

[targetcli]: /images/20220720/dc03af2453304aeba0de65718a93e2c8.png
[iscsi target _sbd]: /images/20220720/5102a6520d384b4ba7b20e979fe0bc99.png
[nqpr0ap.jpg]: /images/20220720/b4b0b5463912467491f439ef9d2f9538.png
[iscsi target]: /images/20220720/5132bf05c9c34d698a360904581ea290.png
[iscsi target login]: /images/20220720/a3fe5cdcc2e147c4b7b36eb4221f8785.png
[fdisk _iscsi target]: /images/20220720/3b03d59272674afdbb3ef3ac5adfcdfb.png
[sbd_1]: http://i.niupic.com/images/2016/07/21/sVXWL4.png
[sbd_2]: http://chuantu.biz/t5/19/1469077728x2918527110.png
[sbd_3]: http://chuantu.biz/t5/19/1469077785x2918527110.png
[sbd list]: http://chuantu.biz/t5/19/1469081603x2918527110.png
[1469081447x2918527110.png]: http://chuantu.biz/t5/19/1469081447x2918527110.png
[ocfs2]: http://chuantu.biz/t5/19/1469083651x2918527110.png