GPDB集群迁移(Greenplum)

ゝ一纸荒年。 2022-09-13 11:22 238阅读 0赞

**经过多次测试，GPDB集群迁移只需要把GPDB数据和安装目录直接rsync过去即可。这样才能保证权限和用户完整的迁移过去。**

**如果通过 导入导出的方式来迁移，复杂而且 需要做的操作很多。**

**segment迁移也差不多的套路：迁移目录，修改hosts，免密，启动。**

这个方法只适合，整个集群的迁移，或者某个节点的迁移。大同小异。

需求描述：

<table style="width:500px;"> 
 <thead> 
  <tr> 
   <th></th> 
   <th>旧机器（旧集群）</th> 
   <th>新机器（新集群）</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>master</td> 
   <td>192.168.2.221</td> 
   <td>192.168.2.222</td> 
  </tr> 
  <tr> 
   <td>segment</td> 
   <td>192.168.4.200</td> 
   <td>192.168.4.200</td> 
  </tr> 
  <tr> 
   <td>segment</td> 
   <td>192.168.4.201</td> 
   <td>192.168.4.201</td> 
  </tr> 
 </tbody> 
</table>

**即我只需要把master节点迁到新的机器即可。**

我们总共分几步来进行，步骤如下：

如下步骤是按照我当时安装旧集群的方式来准备的。每个人的环境不一样。

## 1、新机器 ##

说明：实际上面新机器只要把环境弄好，只需要 创建gpdb管理用户即可，我们用的是gpadmin。但是**建议在新机器上面安装一下gpdb**，确保依赖包正常。最后迁移的时候把原来的安装目录移除，使用旧的即可。

安装相关的依赖包

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>[root</code><code>@mdw</code>&nbsp;<code>~]# yum -y install rsync coreutils glib2 lrzsz sysstat e4fsprogs xfsprogs ntp readline-devel zlib zlib-devel openssl openssl-devel pam-devel libxml2-devel libxslt-devel python-devel tcl-devel gcc make smartmontools flex bison perl perl-devel perl-ExtUtils* OpenIPMI-tools openldap openldap-devel logrotate gcc-c++ python-py bzip2-devel libevent-devel apr-devel curl-devel ed python-paramiko python-devel</code></p> </td> 
  </tr> 
 </tbody> 
</table>

只需要创建gpadmin：

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>[root</code><code>@mdw</code>&nbsp;<code>~]# groupadd -g&nbsp;</code><code>530</code>&nbsp;<code>gpadmin</code></p> <p><code>[root</code><code>@mdw</code>&nbsp;<code>~]# useradd -g&nbsp;</code><code>530</code>&nbsp;<code>-u530 -m -d /home/gpadmin -s /bin/bash gpadmin</code></p> <p><code>[root</code><code>@mdw</code>&nbsp;<code>~]# passwd gpadmin&nbsp;&nbsp; #记录下密码，master和segment密码一致。如果忘记segment密码修改成和这个密码一样。不会影响旧的集群联系</code></p> </td> 
  </tr> 
 </tbody> 
</table>

绑定 hosts：

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>[root</code><code>@mdw</code>&nbsp;<code>conf]# vi /etc/hosts</code></p> <p><code>192.168</code><code>.</code><code>2.222</code>&nbsp;<code>mdw</code></p> <p><code>192.168</code><code>.4</code><code>.200</code>&nbsp;<code>sdw1</code></p> <p><code>192.168</code><code>.4</code><code>.201</code>&nbsp;<code>sdw2</code></p> </td> 
  </tr> 
 </tbody> 
</table>

修改主机名：

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>[gpadmin</code><code>@mdw</code>&nbsp;<code>~]$ vi /etc/sysconfig/network</code></p> <p><code>NETWORKING=yes</code></p> <p><code>HOSTNAME=mdw</code></p> </td> 
  </tr> 
 </tbody> 
</table>

修改内核配置：

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>[root</code><code>@mdw</code>&nbsp;<code>conf]# cat /etc/sysctl.conf</code></p> <p><code>kernel.shmall =&nbsp;</code><code>4294967296</code></p> <p><code>kernel.shmmax =&nbsp;</code><code>500000000</code></p> <p><code>kernel.shmmni =&nbsp;</code><code>4096</code></p> <p><code>kernel.shmall =&nbsp;</code><code>4000000000</code></p> <p><code>kernel.sem =&nbsp;</code><code>500</code>&nbsp;<code>1024000</code>&nbsp;<code>200</code>&nbsp;<code>4096</code></p> <p><code>kernel.sysrq =&nbsp;</code><code>1</code></p> <p><code>kernel.core_uses_pid =&nbsp;</code><code>1</code></p> <p><code>kernel.msgmnb =&nbsp;</code><code>65536</code></p> <p><code>kernel.msgmax =&nbsp;</code><code>65536</code></p> <p><code>kernel.msgmni =&nbsp;</code><code>2048</code></p> <p><code>net.ipv4.tcp_syncookies =&nbsp;</code><code>1</code></p> <p><code>net.ipv4.ip_forward =&nbsp;</code><code>0</code></p> <p><code>net.ipv4.conf.</code><code>default</code><code>.accept_source_route =&nbsp;</code><code>0</code></p> <p><code>net.ipv4.tcp_tw_recycle =&nbsp;</code><code>1</code></p> <p><code>net.ipv4.tcp_max_syn_backlog =&nbsp;</code><code>4096</code></p> <p><code>net.ipv4.conf.all.arp_filter =&nbsp;</code><code>1</code></p> <p><code>net.ipv4.ip_local_port_range =&nbsp;</code><code>1025</code>&nbsp;<code>65535</code></p> <p><code>net.core.netdev_max_backlog =&nbsp;</code><code>10000</code></p> <p><code>net.core.rmem_max =&nbsp;</code><code>2097152</code></p> <p><code>net.core.wmem_max =&nbsp;</code><code>2097152</code></p> <p><code>vm.overcommit_memory =&nbsp;</code><code>1</code></p> <p><code>net.ipv4.tcp_synack_retries =&nbsp;</code><code>3</code></p> <p><code>net.ipv4.tcp_syn_retries =&nbsp;</code><code>3</code></p> <p><code>[root</code><code>@mdw</code>&nbsp;<code>conf]# sysctl -p</code></p> </td> 
  </tr> 
 </tbody> 
</table>

修改文件打开限制，添加以下内容

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>[root</code><code>@mdw</code>&nbsp;<code>conf]# vi /etc/security/limits.conf</code></p> <p><code>* soft nofile&nbsp;</code><code>65536</code></p> <p><code>* hard nofile&nbsp;</code><code>65536</code></p> <p><code>* soft nproc&nbsp;</code><code>131072</code></p> <p><code>* hard nproc&nbsp;</code><code>131072</code></p> </td> 
  </tr> 
 </tbody> 
</table>

关闭 SELINUX 安全设置

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>[root</code><code>@mdw</code>&nbsp;<code>conf]# vi /etc/selinux/config</code></p> <p><code>SELINUX=disabled</code></p> </td> 
  </tr> 
 </tbody> 
</table>

## 2、旧机器 ##

1）如果有监控程序，先停止监控程序 gpcc stop，再停止gpdb，否则无法停止gpcc。  
2）直接同步gpdb数据和安装 文件到新机器

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>[root</code><code>@mdw</code>&nbsp;<code>conf]# rsync -avz --delete /home/gpadmin/gpdb&nbsp;</code><code>192.168</code><code>.</code><code>2.222</code><code>:/home/gpadmin/</code></p> <p><code>[root</code><code>@mdw</code>&nbsp;<code>conf]# rsync -avz --delete /data/gpdata&nbsp;</code><code>192.168</code><code>.</code><code>2.222</code><code>:/data</code></p> <p><code>[root</code><code>@mdw</code>&nbsp;<code>conf]# rsync -avz --delete /home/gpadmin/greenplum-db&nbsp;</code><code>192.168</code><code>.</code><code>2.222</code><code>:/home/gpadmin/</code></p> <p><code>[root</code><code>@mdw</code>&nbsp;<code>conf]# rsync -avz --delete /home/gpadmin/.bashrc&nbsp;</code><code>192.168</code><code>.</code><code>2.222</code><code>:/home/gpadmin/</code></p> <p><code># 迁移 监控工具</code></p> <p><code>[root</code><code>@mdw</code>&nbsp;<code>conf]# rsync -avz --delete /home/gpadmin/greenplum-cc-web&nbsp;</code><code>192.168</code><code>.</code><code>2.222</code><code>:/home/gpadmin/</code></p> <p><code># 监控工具密码文件，如果不迁这个密码文件启动监控工具会报错</code></p> <p><code>[root</code><code>@mdw</code>&nbsp;<code>conf]# rsync -avz --delete /home/gpadmin/.pgpass*&nbsp;</code><code>192.168</code><code>.</code><code>2.222</code><code>:/home/gpadmin/</code></p> </td> 
  </tr> 
 </tbody> 
</table>

## 3、两个segment  ##

**1）备份 /home/gpadmin/.ssh/authorized\_keys**

因为新机器做免密之后会将旧机器的key覆盖掉，所以这个步骤用于迁移失败可以直接将旧的key粘贴到后面，这样不需要重新做免密。

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>cp /home/gpadmin/.ssh/authorized_keys /home/gpadmin/.ssh/authorized_keys_20210927</code></p> </td> 
  </tr> 
 </tbody> 
</table>

**2）修改/etc/hosts**  
把192.168.2.221 mdw（旧IP） 改成192.168.2.222 mdw（新IP）

##  ##

## 4、新机器  ##

**1）免密**

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>[gpadmin</code><code>@mdw</code>&nbsp;<code>config]$ cd /home/gpadmin/gpdb/config</code></p> <p><code>[gpadmin</code><code>@mdw</code>&nbsp;<code>config]$ gpssh-exkeys -f hostlist #提示输入上面创建的密码</code></p> </td> 
  </tr> 
 </tbody> 
</table>

**确定免密成功：**

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>[gpadmin</code><code>@mdw</code>&nbsp;<code>config]$ gpssh -f hostlist -e&nbsp;</code><code>'pwd'</code></p> </td> 
  </tr> 
 </tbody> 
</table>

**2）修改/data/gpdata/master/gpseg-1/pg\_hba.conf**  
将192.168.2.221 （旧IP）改成 192.168.2.222（新IP）  
**3）启动gpdb**

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>[gpadmin</code><code>@mdw</code>&nbsp;<code>config]$ gpstart&nbsp;-a</code></p> <p><code>启动监控程序 gpcc start</code></p> </td> 
  </tr> 
 </tbody> 
</table>