oracle11g r2 rac环境添加节点

妖狐艹你老母 2022-08-06 15:05 245阅读 0赞

oracle11g r2 rac环境添加节点  
步骤：  
1.安装操作系统，操作系统的版本要现在集群节点的版本一致  
2.配置网络连接，存储网络连接  
要保证网络连接正常设置相应的ip地址（包括设置私有ip地址）目前我们两个节点的私有网络是直接的，这要需要改成通过交换机进行连接  
要保证新增节点能够正常连接到存储上，识别出共享磁盘，目前我们两个节点连接存储是通过直连的方式，这个要改成通过光纤交换机进行连接  
需要在新增的第三个节点上配置共享磁盘的映射  
如果使用的是udev映射，如下  
拷贝节点1的/etc/udev/rules.d/99-oracle-asmdevices.rules 到新增节点  
执行：  
/sbin/start\_udev  
检查映射是否正常  
在节点1执行：  
\[root@rac1 ~\]\# /sbin/scsi\_id -g -u /dev/asm-diskb  
360050763008083c57000000000000002  
\[root@rac1 ~\]\# /sbin/scsi\_id -g -u /dev/asm-diskc  
360050763008083c57000000000000003  
\[root@rac1 ~\]\# /sbin/scsi\_id -g -u /dev/asm-diskd  
360050763008083c57000000000000004  
\[root@rac1 ~\]\# /sbin/scsi\_id -g -u /dev/asm-diske  
360050763008083c57000000000000005  
\[root@rac1 ~\]\# /sbin/scsi\_id -g -u /dev/asm-diskf  
360050763008083c57000000000000006  
\[root@rac1 ~\]\# /sbin/scsi\_id -g -u /dev/asm-diskg  
360050763008083c57000000000000007  
然后在新增节点3上执行  
\[root@rac3 ~\]\# /sbin/scsi\_id -g -u /dev/asm-diskb  
\[root@rac3 ~\]\# /sbin/scsi\_id -g -u /dev/asm-diskc  
\[root@rac3~\]\# /sbin/scsi\_id -g -u /dev/asm-diskd  
\[root@rac3 ~\]\# /sbin/scsi\_id -g -u /dev/asm-diske  
\[root@rac3 ~\]\# /sbin/scsi\_id -g -u /dev/asm-diskf  
\[root@rac3 ~\]\# /sbin/scsi\_id -g -u /dev/asm-diskg  
执行结果如果和节点1执行的一一对应表示绑定正确  
3.配置3个节点的hosts文件  
如下配置：  
\#rac1  
192.168.56.105 rac1  
192.168.56.2 rac1-vip  
192.168.1.110 rac1-priv  
\#rac2  
192.168.56.104 rac2  
192.168.56.3 rac2-vip  
192.168.1.111 rac2-priv  
\#scanip  
192.168.56.88 cluster-scanip  
\#添加节点的ip地址配置  
\#rac3  
192.168.56.103 rac2  
192.168.56.4 rac2-vip  
192.168.1.112 rac2-priv  
4.配置新增节点系统配置  
修改系统参数  
配置limit.conf  
添加如下：(根据实际情况配置)  
root     soft  nproc  unlimited  
root     hard  nproc  unlimited  
root     soft  nofile 16384  
root     hard  nofile 65536  
oracle   soft  nproc  131072  
oracle   hard  nproc  131072  
oracle   soft  nofile  65536  
oracle   hard  nofile  65536  
grid   soft   nofile    65536  
grid   hard   nofile    65536  
grid   soft   nproc    131072  
grid   hard   nproc    131072  
grid   soft   stack    10240  
grid   hard   stack    32768  
配置内核参数sysctl.conf  
新增如下内容：  
kernel.shmall = 4294967296  
kernel.shmmax = 4398046511104  
kernel.shmmni = 4096  
kernel.sem = 250 32000 100 128  
fs.file-max = 6815744  
fs.aio-max-nr = 1048576  
net.ipv4.ip\_local\_port\_range = 9000 65500  
net.core.rmem\_default = 4194304  
net.core.rmem\_max = 4194304  
net.core.wmem\_default = 262144  
net.core.wmem\_max = 1048576  
执行sysctl –p生效  
安装oracle需要的操作系统包  
如下：  
binutils-2.20.51.0.2-5.11.el6 (x86\_64)  
compat-libcap1-1.10-1 (x86\_64)  
compat-libstdc++-33-3.2.3-69.el6 (x86\_64)  
compat-libstdc++-33-3.2.3-69.el6.i686  
gcc-4.4.4-13.el6 (x86\_64)  
gcc-c++-4.4.4-13.el6 (x86\_64)  
glibc-2.12-1.7.el6 (i686)  
glibc-2.12-1.7.el6 (x86\_64)  
glibc-devel-2.12-1.7.el6 (x86\_64)  
glibc-devel-2.12-1.7.el6.i686  
ksh  
libgcc-4.4.4-13.el6 (i686)  
libgcc-4.4.4-13.el6 (x86\_64)  
libstdc++-4.4.4-13.el6 (x86\_64)  
libstdc++-4.4.4-13.el6.i686  
libstdc++-devel-4.4.4-13.el6 (x86\_64)  
libstdc++-devel-4.4.4-13.el6.i686  
libaio-0.3.107-10.el6 (x86\_64)  
libaio-0.3.107-10.el6.i686  
libaio-devel-0.3.107-10.el6 (x86\_64)  
libaio-devel-0.3.107-10.el6.i686  
make-3.81-19.el6  
sysstat-9.0.4-11.el6 (x86\_64)  
检查方法  
rpm -q package\_name  
如果包没有安装，请进行安装  
如果机器能访问外网可以通过如下进行安装  
yum install package\_name   
5.创建用户组和目录  
用户组的id和用户的id要节点1和节点2的一样  
groupadd -g 6000 oinstall  
groupadd -g 5000 asmadmin  
groupadd -g 5001 asmdba  
groupadd -g 5002 asmoper  
groupadd -g 6001 dba  
groupadd -g 6002 oper  
useradd -u 500 -g oinstall -G asmadmin,asmdba,asmoper -d /home/grid -s /bin/bash  grid  
useradd -u 501 -g oinstall -G dba,asmdba -d /home/oracle -s /bin/bash  oracle  
创建目录：  
mkdir -p /oracle/grid/orabase  
mkdir -p /oracle/grid/11ggrid/app/11.2.0/grid  
mkdir -p /oracle/oracle  
chown -R oracle:oinstall /oracle  
chown -R grid:oinstall /oracle/grid/orabase  
chown -R grid:oinstall /oracle/grid/11ggrid/app/11.2.0/grid  
chmod -R 775 /oracle  
6.设置grid用户oracle用户环境变量  
grid:  
export GRID\_HOME=/oracle/grid/11ggrid/app/11.2.0/grid  
export ORACLE\_HOME=/oracle/grid/11ggrid/app/11.2.0/grid  
export PATH=$GRID\_HOME/bin:$GRID\_HOME/OPatch:/sbin:/bin:/usr/sbin:/usr/bin  
export ORACLE\_SID=+ASM3  
export LD\_LIBRARY\_PATH=$GRID\_HOME/lib:$GRID\_HOME/lib32  
export ORACLE\_BASE=/oracle/grid/orabase  
export ORA\_NLS10=$ORACLE\_HOME/nls/data  
\#export NLS\_LANG="Simplified Chinese"\_China.AL32UTF8  
export NLS\_LANG=American\_America.AL32UTF8  
export LANG=zh\_CN.GBK  
oracle:  
export ORACLE\_HOME=/oracle/oracle/app/oracle/product/11.2.0/dbhome\_1  
export PATH=$ORACLE\_HOME/bin:$ORACLE\_HOME/OPatch:/sbin:/bin:/usr/sbin:/usr/bin  
export ORACLE\_SID=orcl3  
export LD\_LIBRARY\_PATH=$ORACLE\_HOME/lib:$ORACLE\_HOME/lib32  
export ORACLE\_BASE=/oracle/oracle  
\#export ORA\_NLS10=$ORACLE\_HOME/nls/data  
\#export NLS\_LANG="Simplified Chinese"\_China.AL32UTF8  
export NLS\_LANG=American\_America.AL32UTF8  
export LANG=C  
7.配置ssh用户对等性  
参见对等性配置  
8.使用cvu验证添加节点是否符合要求（在已经存在的节点的grid和oracle用户下验证）  
$ cluvfy stage -pre nodeadd -n <New Node> -verbose  
9.添加节点到clusterware  
$ cd $CRS\_HOME/oui/bin  
$ ./addNode.sh -silent "CLUSTER\_NEW\_NODES=\{<NewNodeName>\}" "CLUSTER\_NEW\_PRIVATE\_NODE\_NAMES=\{<Interconnect>\}" "CLUSTER\_NEW\_VIRTUAL\_HOSTNAMES=\{<Virtual Host Name>\}"  
执行如下语句添加节点3在添加前会检查节点是否满足条件，如果不满足某一个检查项脚本会退出，请确认检查项是否可以忽略  
rac2-> ./addNode.sh -silent "CLUSTER\_NEW\_NODES=\{rac3\}" "CLUSTER\_NEW\_PRIVATE\_NODE\_NAMES=\{rac3-priv\}" "CLUSTER\_NEW\_VIRTUAL\_HOSTNAMES=\{rac3-vip\}"  
Performing pre-checks for node addition   
Checking node reachability...  
Node reachability check passed from node "rac2"  
Checking user equivalence...  
User equivalence check passed for user "grid"  
Checking CRS integrity...  
如果确认检查项可以忽略，需要设置跳过添加节点检查  
rac2->  export IGNORE\_PREADDNODE\_CHECKS=Y  
rac2-> ./addNode.sh -silent "CLUSTER\_NEW\_NODES=\{rac3\}" "CLUSTER\_NEW\_PRIVATE\_NODE\_NAMES=\{rac3-priv\}" "CLUSTER\_NEW\_VIRTUAL\_HOSTNAMES=\{rac3-vip\}"  
Starting Oracle Universal Installer...  
Checking swap space: must be greater than 500 MB.   Actual 2999 MB    Passed  
Oracle Universal Installer, Version 11.2.0.4.0 Production  
Copyright (C) 1999, 2013, Oracle. All rights reserved.  
Performing tests to see whether nodes rac1,rac3 are available  
............................................................... 100% Done.  
10. 执行root.sh脚本在第9步执行成功后会提示在新增的节点执行root.sh脚本  
在第9步执行结束时提示如下 ：  
Save inventory complete  
WARNING:A new inventory has been created on one or more nodes in this session. However, it has not yet been registered as the central inventory of this system.   
To register the new inventory please run the script at '/oracle/app/oraInventory/orainstRoot.sh' with root privileges on nodes 'rac3'.  
If you do not register the inventory, you may not be able to update or patch the products you installed.  
The following configuration scripts need to be executed as the "root" user in each new cluster node. Each script in the list below is followed by a list of nodes.  
/oracle/app/oraInventory/orainstRoot.sh \#On nodes rac3  
/oracle/app/11.2.0/grid/root.sh \#On nodes rac3  
To execute the configuration scripts:  
    1. Open a terminal window  
    2. Log in as "root"  
3. Run the scripts in each cluster node  
执行完后会提示执行orainstRoot.sh和root.sh脚本  
11. 确认新节点是否添加成功  
$ cluvfy stage -post nodeadd -n <NewNode>  
检查资源是否都正常  
crsct stat res –t   
显示如下：  
rac3-> crsctl stat res -t  
\--------------------------------------------------------------------------------  
NAME           TARGET  STATE        SERVER                   STATE\_DETAILS         
\--------------------------------------------------------------------------------  
Local Resources  
\--------------------------------------------------------------------------------  
ora.DATADG.dg  
               ONLINE  ONLINE       rac1                                           
               ONLINE  ONLINE       rac2                                           
               ONLINE  ONLINE       rac3                                           
ora.GRIDDATA.dg  
               ONLINE  ONLINE       rac1                                           
               ONLINE  ONLINE       rac2                                           
               ONLINE  ONLINE       rac3                                           
ora.LISTENER.lsnr  
               ONLINE  ONLINE       rac1                                           
               ONLINE  ONLINE       rac2                                           
               OFFLINE OFFLINE      rac3                                           
ora.asm  
               ONLINE  ONLINE       rac1                     Started               
               ONLINE  ONLINE       rac2                     Started               
               ONLINE  ONLINE       rac3                     Started               
ora.gsd  
               OFFLINE OFFLINE      rac1                                           
               OFFLINE OFFLINE      rac2                                           
               OFFLINE OFFLINE      rac3                                           
ora.net1.network  
               ONLINE  ONLINE       rac1                                           
               ONLINE  ONLINE       rac2                                           
               ONLINE  ONLINE       rac3                                           
ora.ons  
               ONLINE  ONLINE       rac1                                           
               ONLINE  ONLINE       rac2                                           
               ONLINE  ONLINE       rac3                                           
\--------------------------------------------------------------------------------  
Cluster Resources  
\--------------------------------------------------------------------------------  
ora.LISTENER\_SCAN1.lsnr  
      1        ONLINE  ONLINE       rac3                                           
ora.cvu  
      1        ONLINE  ONLINE       rac3                                           
ora.oc4j  
      1        ONLINE  ONLINE       rac3                                           
ora.orcl.db  
      1        ONLINE  ONLINE       rac1                     Open                  
      2        ONLINE  ONLINE       rac2                     Open                  
ora.rac1.vip  
      1        ONLINE  ONLINE       rac1                                           
ora.rac2.vip  
      1        ONLINE  ONLINE       rac2                                           
ora.scan1.vip  
      1        ONLINE  ONLINE       rac3     
12.添加完之后发现新增节点的监听是offline状态的需要修改节点的监听文件  
修改添加节点的endpoints\_listener.ora文件;  
修改ip地址为新增节点的vip和固定ip  
rac3-> cat endpoints\_listener.ora  
LISTENER\_RAC3=(DESCRIPTION=(ADDRESS\_LIST=(ADDRESS=(PROTOCOL=TCP)(HOST=192.168.56.4)(PORT=1521))(ADDRESS=(PROTOCOL=TCP)(HOST=192.168.56.106)(PORT=1521)(IP=FIRST))))             \# line added by Agent  
注：如果新增节点vip资源没有添加到crs，需要手动添加如下  
在root用户下执行：  
srvctl add vip -n rac3 -k 1 -A 192.168.56.4/255.255.255.0/eth0 -v  
启动vip资源  
srvctl start vip -n rac3  
13. 添加oracle软件到新增节点  
在节点1或者节点2的oracle用户执行  
$ cd $ORACLE\_HOME/oui/bin  
$ ./addNode.sh -silent "CLUSTER\_NEW\_NODES=\{<NewNodeName>\}"  
rac2-> ./addNode.sh -silent "CLUSTER\_NEW\_NODES=\{rac3\}"  
Performing pre-checks for node addition   
Checking node reachability...  
Node reachability check passed from node "rac2"  
Checking user equivalence...  
User equivalence check passed for user "oracle"  
WARNING:   
Node "rac3" already appears to be part of cluster  
Pre-check for node addition was successful.   
Starting Oracle Universal Installer...  
Checking swap space: must be greater than 500 MB.   Actual 2999 MB    Passed  
Oracle Universal Installer, Version 11.2.0.4.0 Production  
Copyright (C) 1999, 2013, Oracle. All rights reserved.  
Performing tests to see whether nodes rac1,rac3 are available  
............................................................... 100% Done.  
  
14.在新增的节点运行root.sh脚本（步骤12执行完后提示运行root.sh）  
在第12步结束时会提示执行root.sh脚本如下  
Save inventory complete  
WARNING:  
The following configuration scripts need to be executed as the "root" user in each new cluster node. Each script in the list below is followed by a list of nodes.  
/oracle/app/oracle/product/11.2.0/db\_1/root.sh \#On nodes rac3  
To execute the configuration scripts:  
    1. Open a terminal window  
    2. Log in as "root"  
    3. Run the scripts in each cluster node    
The Cluster Node Addition of /oracle/app/oracle/product/11.2.0/db\_1 was successful.  
Please check '/tmp/silentInstall.log' for more details.  
15. 验证添加的oracle软件是否成功  
$ cluvfy stage -post nodeadd -n <NewNode>  
16. 拷拷贝其他节点的tnsnames.ora文件到新增节点，并进行相应的修改  
17. 添加新增节点的数据库实例使用dbca图形化界面添加  
也是可以使用静默方式添加实例如下：  
dbca -silent -addInstance -nodeList node\_name -gdbName gdb\_name \[-instanceName instance\_name -sysDBAUserName sysdba -sysDBAPassword password\]  
  
node\_name： The node on which you want to add (or delete) the instance.  
gdb\_name ：Global database name.  
instance\_name ： Name of the instance. Provide an instance name only if you want to override the Oracle naming convention for Oracle RAC instance names.  
sysdba ：Name of the Oracle user with SYSDBA privileges.  
password ： Password for the SYSDBA user.  
查看集群的状态如下  
rac1-> crsctl status res -t  
\--------------------------------------------------------------------------------  
NAME           TARGET  STATE        SERVER                   STATE\_DETAILS         
\--------------------------------------------------------------------------------  
Local Resources  
\--------------------------------------------------------------------------------  
ora.DATADG.dg  
               ONLINE  ONLINE       rac1                                           
               ONLINE  ONLINE       rac2                                           
               ONLINE  ONLINE       rac3                                           
ora.GRIDDATA.dg  
               ONLINE  ONLINE       rac1                                           
               ONLINE  ONLINE       rac2                                           
               ONLINE  ONLINE       rac3                                           
ora.LISTENER.lsnr  
               ONLINE  ONLINE       rac1                                           
               ONLINE  ONLINE       rac2                                           
               ONLINE  ONLINE       rac3                                           
ora.LISTENERW.lsnr  
               ONLINE  ONLINE       rac1                                           
               ONLINE  ONLINE       rac2                                           
               ONLINE  ONLINE       rac3                                           
ora.asm  
               ONLINE  ONLINE       rac1                     Started               
               ONLINE  ONLINE       rac2                     Started               
               ONLINE  ONLINE       rac3                     Started               
ora.gsd  
               OFFLINE OFFLINE      rac1                                           
               OFFLINE OFFLINE      rac2                                           
               OFFLINE OFFLINE      rac3                                           
ora.net1.network  
               ONLINE  ONLINE       rac1                                           
               ONLINE  ONLINE       rac2                                           
               ONLINE  ONLINE       rac3                                           
ora.ons  
               ONLINE  ONLINE       rac1                                           
               ONLINE  ONLINE       rac2                                           
               ONLINE  ONLINE       rac3                                           
\--------------------------------------------------------------------------------  
Cluster Resources  
\--------------------------------------------------------------------------------  
ora.LISTENER\_SCAN1.lsnr  
      1        ONLINE  ONLINE       rac3                                           
ora.cvu  
      1        ONLINE  ONLINE       rac3                                           
ora.oc4j  
      1        ONLINE  ONLINE       rac3                                           
ora.orcl.db  
      1        ONLINE  ONLINE       rac1                     Open                  
      2        ONLINE  ONLINE       rac2                     Open                  
      3        ONLINE  ONLINE       rac3                     Open                  
ora.rac1.vip  
      1        ONLINE  ONLINE       rac1                                           
ora.rac2.vip  
      1        ONLINE  ONLINE       rac2                                           
ora.rac3.vip  
      1        ONLINE  ONLINE       rac3                                           
ora.scan1.vip  
      1        ONLINE  ONLINE       rac3        
18.修改新增节点undo表空间大小  
alter database datafile '+DATADG/orcl/datafile/undotbs3.xxx.xxxxx' reszie 8G;  
alter tablespace undotbs3 add datafile '+DATADG/orcl/datafile/undotbs3\_1.dbf' size 8G;  
alter tablespace undotbs3 add datafile '+DATADG/orcl/datafile/undotbs3\_2.dbf' size 8G;  
19.修改redo日志大小以及组数  
alter database add  logfile thread 3  
group 8  '+SYSTEMDG/orcl/onlinelog/redo3\_1.log' size 500M;  
alter database add  logfile thread 1  
group 9  '+SYSTEMDG/orcl/onlinelog/redo3\_2.log' size500M;  
alter database add  logfile thread 1  
group 10  '+SYSTEMDG/orcl/onlinelog/redo3\_3.log' size 500M;  
alter database add  logfile thread 1  
group 11  '+SYSTEMDG/orcl/onlinelog/redo3\_4.log' size 500M;  
20.拷贝rac其他一个节点的密码文件到新增节点并改名  
21.根据规划创建相应服务名以供应用程序连接