CentOS 7 静默安装 Oracle 11G RAC

秒速五厘米 2024-02-19 12:05 75阅读 0赞

#### 文章目录 ####

*   *  准备规划
     *   *  网络规划
         *  共享存储规划
     *  方案
     *   *  1、主机名配置
         *  2、创建用户组及用户
         *  3、关闭并禁用firewalld和selinux
         *  4、关闭并禁用avahi-daemon
         *  5、关闭透明大页和NUMA
         *  6、禁用NTP服务
         *  7、配置内核参数
         *  8、限制用户资源使用
         *  9、配置用户环境变量
         *  10、创建软件目录
         *  11、配置SSH互信
         *  12、配置共享存储
         *   *  非多路径方式
             *   *  1、查看磁盘的scsi\_id
                 *  2、绑定磁盘
                 *  3、生效
                 *  4、验证
                 *  5、重启后再次验证
             *  多路径方式
             *   *  1、安装多路径
                 *  2、查看节点1磁盘的scsi\_id
                 *  3、绑定磁盘
                 *  4、保存并加载多路径
                 *  1、安装多路径
                 *  2、查看节点2磁盘的scsi\_id
                 *  3、绑定磁盘
                 *  4、保存并加载多路径
             *  UDEV配置
             *   *  1、新增规则，有多少多路径配置就需要增加多少条规则。
                 *  2、重新加载udev
                 *  3、验证
                 *  1、新增规则，有多少多路径配置就需要增加多少条规则。
                 *  2、重新加载udev
                 *  3、验证
                 *  4、重启服务器验证
         *  13、上传软件包、解压并授权
         *  14、安装依赖包
         *  15、校验
         *  16、静默安装Grid软件
         *  17、静默配置其他ASM磁盘
         *  18、静默安装Oracle软件
         *   *  检查产品清单文件crs属性
             *  静默安装Oracle软件
             *  执行root脚本
         *  19、添加监听至集群中
         *   *  检查集群中的监听状态
             *  为集群添加监听并启动
             *  再次检查集群中的监听状态
         *  20、安装数据库
         *  错误
         *   *  1、执行脚本root.sh脚本报错CRS-2101:The OLR was formatted using version 3.

### 准备规划 ###

对于Oracle RAC环境来说，在最初就需要规划好网络和共享磁盘。

#### 网络规划 ####

在配置网络时，Oracle RAC的每个节点必须具有至少两个以上的网卡，一张网卡对外提供网络服务，另一张网卡用于各个节点间的通信和心跳检测等。

注意，在配置RAC集群的网卡时，如果节点1的公共接口是eth0，则所有节点的公共接口必须是eth0。（配置私有网口时也必须一致）另外，每个节点的主机名必须符合RFC 952标准，不允许使用下划线。

对于Oracle 11G RAC双节点来说，Oracle要求我们至少有7个ip地址，Public IP、Virtual IP和Scan IP在同一个网段下，Private IP在另一个网段中。例如，我这里配置的双节点网络如下所示：

<table> 
 <thead> 
  <tr> 
   <th>主机名</th> 
   <th>rac-1</th> 
   <th>rac-2</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Public IP</td> 
   <td>192.168.12.20</td> 
   <td>192.168.12.21</td> 
  </tr> 
  <tr> 
   <td>Private IP</td> 
   <td>1.1.1.1</td> 
   <td>1.1.1.2</td> 
  </tr> 
  <tr> 
   <td>Virtual ip</td> 
   <td>192.168.12.22</td> 
   <td>192.168.12.23</td> 
  </tr> 
  <tr> 
   <td>Scan ip</td> 
   <td>192.168.12.100</td> 
   <td>192.168.12.100</td> 
  </tr> 
 </tbody> 
</table>

另外，在虚拟机配置双网卡时，一张网卡设置为桥接或NET模式，另一个网卡必须配置为仅主机模式。

#### 共享存储规划 ####

每个硬件提供厂商都有不同的共享存储解决方案，我这里测试使用的是VMware Workstation Pro虚拟机来配置共享存储。

在创建共享存储时，建议是OCR给3个磁盘，每个在1G-10G左右就足够了，冗余模式选择Normal，有条件的可以选择High；DATA盘尽量给多点空间，毕竟是要存储数据，需要根据业务去评估数据的大小，而我这里是测试使用，因此仅分配50G，冗余选择External；FRA可配也可不配置，如果不配置就将其放在Linux的文件系统中。配置如下表所示：

<table> 
 <thead> 
  <tr> 
   <th>磁盘名</th> 
   <th>磁盘数量</th> 
   <th>磁盘大小</th> 
   <th>冗余模式</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>OCR</td> 
   <td>3</td> 
   <td>10G/个</td> 
   <td>Normal</td> 
  </tr> 
  <tr> 
   <td>DATA</td> 
   <td>1</td> 
   <td>50G</td> 
   <td>External</td> 
  </tr> 
  <tr> 
   <td>FRA</td> 
   <td>1</td> 
   <td>20G</td> 
   <td>External</td> 
  </tr> 
 </tbody> 
</table>

### 方案 ###

#### 1、主机名配置 ####

首先是配置两台节点的主机名，通常将其改成辨识度高的主机名。我这里分别修改为rac-1，rac-2。

**rac-1**

# 修改主机名
    [root@localhost ~]# hostnamectl set-hostname rac-1
    # 编辑配置文件hosts
    [root@localhost ~]# vim /etc/hosts

修改rac-1的hosts文件，在下面新增映射规则，修改后保存并退出。

# Public ip
    192.168.12.20 rac-1
    192.168.12.21 rac-2
    
    # Private ip
    1.1.1.1 rac-1-priv
    1.1.1.2 rac-2-priv
    
    # Virtual ip
    192.168.12.22 rac-1-vip
    192.168.12.23 rac-2-vip
    
    # Scan ip
    192.168.12.100 rac-scan

配置好后刷新主机名

[root@localhost ~]# exec bash

**rac-2**

# 修改主机名
    [root@localhost ~]# hostnamectl set-hostname rac-2
    # 编辑配置文件hosts
    [root@localhost ~]# vim /etc/hosts

修改rac-2的hosts文件，在下面新增映射规则，修改后保存并退出。

配置好后刷新主机名

[root@localhost ~]# exec bash

#### 2、创建用户组及用户 ####

配好主机名后，在两台节点上创建grid和oracle的管理用户。  
**rac-1**

# 新建用户组oinstall
    [root@rac-1 ~]# groupadd oinstall -g 500
    # 新建用户组dba
    [root@rac-1 ~]# groupadd dba -g 501
    # 新建用户组oper
    [root@rac-1 ~]# groupadd oper -g 502
    # 新建用户组asmadmin
    [root@rac-1 ~]# groupadd asmadmin -g 2003
    # 新建用户组asmdba
    [root@rac-1 ~]# groupadd asmdba -g 2004
    # 新建用户组asmoper
    [root@rac-1 ~]# groupadd asmoper -g 2005
    # 创建oracle用户并加入到相应组中
    [root@rac-1 ~]# useradd -u 500 -g oinstall -G dba,oper,asmdba,asmadmin,asmoper -d /home/oracle oracle
    # 创建grid用户并加入到相应组中
    [root@rac-1 ~]# useradd -u 2001 -g oinstall -G asmadmin,asmdba,asmoper,dba -d /home/grid grid
    # 设置oracle用户密码
    [root@rac-1 ~]# passwd oracle
    # 设置grid用户密码
    [root@rac-1 ~]# passwd grid

**rac-2**

# 新建用户组oinstall
    [root@rac-2 ~]# groupadd oinstall -g 500
    # 新建用户组dba
    [root@rac-2 ~]# groupadd dba -g 501
    # 新建用户组oper
    [root@rac-2 ~]# groupadd oper -g 502
    # 新建用户组asmadmin
    [root@rac-2 ~]# groupadd asmadmin -g 2003
    # 新建用户组asmdba
    [root@rac-2 ~]# groupadd asmdba -g 2004
    # 新建用户组asmoper
    [root@rac-2 ~]# groupadd asmoper -g 2005
    # 创建oracle用户并加入到相应组中
    [root@rac-2 ~]# useradd -u 500 -g oinstall -G dba,oper,asmdba,asmadmin,asmoper -d /home/oracle oracle
    # 创建grid用户并加入到相应组中
    [root@rac-2 ~]# useradd -u 2001 -g oinstall -G asmadmin,asmdba,asmoper,dba -d /home/grid grid
    # 设置oracle用户密码
    [root@rac-2 ~]# passwd oracle
    # 设置grid用户密码
    [root@rac-2 ~]# passwd grid

#### 3、关闭并禁用firewalld和selinux ####

为避免在安装过程中受到firewalld和selinux的影响，导致安装失败，暂时将它们全部禁用掉。

**rac-1**

# 停止firewalld服务运行
    [root@rac-1 ~]# systemctl stop firewalld
    # 禁用firewalld服务自启动
    [root@rac-1 ~]# systemctl disable firewalld
    # 禁用selinux自启动
    [root@rac-1 ~]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
    # 立即停止selinux
    [root@rac-1 ~]# setenforce 0

**rac-2**

# 停止firewalld服务运行
    [root@rac-2 ~]# systemctl stop firewalld
    # 禁用firewalld服务自启动
    [root@rac-2 ~]# systemctl disable firewalld
    # 禁用selinux自启动
    [root@rac-2 ~]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
    # 立即停止selinux
    [root@rac-2 ~]# setenforce 0

#### 4、关闭并禁用avahi-daemon ####

avahi-daemon服务可能会在网卡流量大的时候，造成网络请求障碍，因此禁用它。

**rac-1**

# 停止avahi-daemon服务
    [root@rac-1 ~]# systemctl stop avahi-daemon
    # 禁用avahi-daemon服务的自启动
    [root@rac-1 ~]# systemctl disable avahi-daemon
    # 配置NOZEROCONF参数
    [root@rac-1 ~]# echo 'NOZEROCONF=yes' >> /etc/sysconfig/network

**rac-2**

# 停止avahi-daemon服务
    [root@rac-2 ~]# systemctl stop avahi-daemon
    # 禁用avahi-daemon服务的自启动
    [root@rac-2 ~]# systemctl disable avahi-daemon
    # 配置NOZEROCONF参数
    [root@rac-2 ~]# echo 'NOZEROCONF=yes' >> /etc/sysconfig/network

#### 5、关闭透明大页和NUMA ####

Oracle官方文档中指出透明大页可能会导致在RAC中造成性能影响，因此关闭透明大页。NUMA为什么关闭，暂时不清楚，后续研究下。

**rac-1**

# 配置启动禁用透明大页和NUMA
    [root@rac-1 ~]# sed -i 's/quiet/quiet transparent_hugepage=never numa=off/' /etc/default/grub
    # 生成启动规则
    [root@rac-1 ~]# grub2-mkconfig -o /boot/grub2/grub.cfg
    # 重启服务器
    [root@rac-1 ~]# reboot

**rac-2**

# 配置启动禁用透明大页和NUMA
    [root@rac-2 ~]# sed -i 's/quiet/quiet transparent_hugepage=never numa=off/' /etc/default/grub
    # 生成启动规则
    [root@rac-2 ~]# grub2-mkconfig -o /boot/grub2/grub.cfg
    # 重启服务器
    [root@rac-2 ~]# reboot

#### 6、禁用NTP服务 ####

Oracle会在安装时检测是否有NTP服务，如果有，则会认为你的服务器是使用NTP来同步节点时间的，会将自身的CTSS服务配置成观察状态；如果检测到没有NTP服务，则会使用CTSS服务来同步时间。CTSS服务会将安装Grid软件的那台来作为主节点，然后让集群的其他节点时间与主节点的时间进行同步。

禁用NTP服务，使用Oracle的CTSS服务来同步节点的时间。

**rac-1**

# 停止NTP服务
    [root@rac-1 ~]# systemctl stop ntpd
    # 禁用NTP服务自启动
    [root@rac-1 ~]# systemctl disable ntpd

禁用ntp服务后，确认下主节点的时区和时间。如果时区和时间错误，则将其改为正确的。

# 确认时区和时间
    [root@rac-1 ~]# date

**rac-2**

# 停止NTP服务
    [root@rac-1 ~]# systemctl stop ntpd
    # 禁用NTP服务自启动
    [root@rac-1 ~]# systemctl disable ntpd

禁用ntp服务后，确认下服务器与主节点的时间和时区。如果时区和时间差异较大，则将其修改为主节点的时区，并将时间调整到与主节点相近的时间，后续CTSS服务会修正时间。

# 确认时区和时间
    [root@rac-1 ~]# date

#### 7、配置内核参数 ####

配置内核参数，调整Oracle性能。

**rac-1**

[root@rac-1 ~]# vim /etc/sysctl.conf

新增以下参数，并根据实际情况调整参数大小。

net.ipv4.icmp_echo_ignore_broadcasts = 1
    net.ipv4.conf.all.rp_filter = 1
    fs.file-max = 6815744
    fs.aio-max-nr = 1048576
    kernel.shmall = 2097152
    kernel.shmmax = 2147483648
    kernel.shmmni = 4096
    kernel.sem = 250 32000 100 128
    net.ipv4.ip_local_port_range = 9000 65500
    net.core.rmem_default = 262144
    net.core.rmem_max= 4194304
    net.core.wmem_default= 262144
    net.core.wmem_max= 1048576

配置介绍：

*  fs.file-max 最大打开文件数
 *  kernel.shmall 共享内存的总量，8G内存设置：2097152\*4k/1024/1024
 *  kernel.shmmax 最大共享内存的段大小，一般设置为服务器的80%内存总大小
 *  net.ipv4.ip\_local\_port\_range 可使用的ipv4端口范围

其他参数有时间再去研究，这里暂时先写这几个重要的。如果你的服务器只运行单个实例(数据库)，我这里给出一个大概的建议值参考：

*  内存为12G
    
     *  kernel.shmall = 3145728
     *  kernel.shmmax = 12884901887
 *  内存为16G
    
     *  kernel.shmall = 4194304
     *  kernel.shmmax = 17179869183
 *  内存为32G
    
     *  kernel.shmall = 8388608
     *  kernel.shmmax = 34359738367
 *  内存为64G
    
     *  kernel.shmall = 16777216
     *  kernel.shmmax = 68719476735

重加载内核参数

# 让参数生效
    [root@rac-1 ~]# sysctl -p

**rac-2**

[root@rac-1 ~]# vim /etc/sysctl.conf

新增以下参数，并根据实际情况调整参数大小。

配置介绍：

其他参数有时间再去研究，这里暂时先写这几个重要的。如果你的服务器只运行单个实例(数据库)，我这里给出一个大概的建议值参考：

重加载内核参数

# 让参数生效
    [root@rac-1 ~]# sysctl -p

#### 8、限制用户资源使用 ####

配置oracle用户和grid用户的资源硬限制和软限制。

**rac-1**

编辑limits配置文件

[root@rac-1 ~]# vim /etc/security/limits.conf
    
    oracle soft nproc 2047
    oracle hard nproc 16384
    oracle soft nofile 1024
    oracle hard nofile 65536
    
    grid soft nproc 2047
    grid hard nproc 16384
    grid soft nofile 1024
    grid hard nofile 65536

login文件增加参数

[root@rac-1 ~]# echo "session    required    pam_limits.so" >>/etc/pam.d/login

编辑profile文件，在最下面新增内容。

[root@rac-1 ~]# vim /etc/profile
    
    if [ $USER = "oracle" ] || [ $USER = "grid" ] ; then
     if [ $SHELL = "/bin/ksh" ]; then
      ulimit -p 16384
      ulimit -n 65536
     else
      ulimit -u 16384 -n 65536
     fi
    fi

![image][]

**rac-2**

编辑limits配置文件

[root@rac-2 ~]# vim /etc/security/limits.conf
    
    oracle soft nproc 2047
    oracle hard nproc 16384
    oracle soft nofile 1024
    oracle hard nofile 65536
    
    grid soft nproc 2047
    grid hard nproc 16384
    grid soft nofile 1024
    grid hard nofile 65536

login文件增加参数

[root@rac-2 ~]# echo "session    required    pam_limits.so" >>/etc/pam.d/login

编辑profile文件，在最下面新增内容。

[root@rac-2 ~]# vim /etc/profile
    
    if [ $USER = "oracle" ] || [ $USER = "grid" ] ; then
     if [ $SHELL = "/bin/ksh" ]; then
      ulimit -p 16384
      ulimit -n 65536
     else
      ulimit -u 16384 -n 65536
     fi
    fi

![image-1652927422870][]

#### 9、配置用户环境变量 ####

接下来就是配置oracle和grid的用户环境变量了。

**rac-1**

配置oracle用户变量

[root@rac-1 ~]# vim /home/oracle/.bash_profile

在文件内容的最下面新增以下内容

export ORACLE_BASE=/u01/app/oracle
    export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/dbhome_1
    export PATH=$ORACLE_HOME/bin:$PATH
    export LANG=en_US.UTF-8

配置grid用户变量

[root@rac-1 ~]# vim /home/grid/.bash_profile

在文件内容的最下面新增以下内容

export ORACLE_BASE=/u01/app/grid
    export ORACLE_HOME=/u01/app/11.2.0/grid
    export PATH=$ORACLE_HOME/bin:$PATH
    export ORACLE_SID=+ASM1
    export LANG=en_US.UTF-8

配置好后，生效一下

# 让oracle用户的环境变量生效
    [root@rac-1 ~]# source /home/oracle/.bash_profile
    # 让grid用户的环境变量生效
    [root@rac-1 ~]# source /home/grid/.bash_profile

**rac-2**

配置oracle用户变量

[root@rac-2 ~]# vim /home/oracle/.bash_profile

在文件内容的最下面新增以下内容

export ORACLE_BASE=/u01/app/oracle
    export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/dbhome_1
    export PATH=$ORACLE_HOME/bin:$PATH
    export LANG=en_US.UTF-8

配置grid用户变量

[root@rac-2 ~]# vim /home/grid/.bash_profile

在文件内容的最下面新增以下内容

export ORACLE_BASE=/u01/app/grid
    export ORACLE_HOME=/u01/app/11.2.0/grid
    export PATH=$ORACLE_HOME/bin:$PATH
    export ORACLE_SID=+ASM2
    export LANG=en_US.UTF-8

配置好后，生效一下

# 让oracle用户的环境变量生效
    [root@rac-2 ~]# source /home/oracle/.bash_profile
    # 让grid用户的环境变量生效
    [root@rac-2 ~]# source /home/grid/.bash_profile

#### 10、创建软件目录 ####

配置好后，创建软件的目录。

**rac-1**

# 创建软件存储目录，数据库软件和grid软件解压到这里
    [root@rac-1 ~]# mkdir -p /u01/software
    # 创建oracle用户的ORACLE_BASE目录
    [root@rac-1 ~]# mkdir -p /u01/app/oracle
    # 授权
    [root@rac-1 ~]# chown oracle:oinstall /u01/app/oracle
    # 创建Grid用户的ORACLE_BASE目录
    [root@rac-1 ~]# mkdir -p /u01/app/grid
    # 授权
    [root@rac-1 ~]# chown grid:oinstall /u01/app/grid
    # 授权
    [root@rac-2 ~]# chgrp oinstall /u01/app
    # 授权
    [root@rac-1 ~]# chmod 775 /u01/app

**rac-2**

# 创建软件存储目录，数据库软件和grid软件解压到这里
    [root@rac-2 ~]# mkdir -p /u01/software
    # 创建oracle用户的ORACLE_BASE目录
    [root@rac-2 ~]# mkdir -p /u01/app/oracle
    # 授权
    [root@rac-2 ~]# chown oracle:oinstall /u01/app/oracle
    # 创建Grid用户的ORACLE_BASE目录
    [root@rac-2 ~]# mkdir -p /u01/app/grid
    # 授权
    [root@rac-2 ~]# chown grid:oinstall /u01/app/grid
    # 授权
    [root@rac-2 ~]# chgrp oinstall /u01/app
    # 授权
    [root@rac-2 ~]# chmod 775 /u01/app

#### 11、配置SSH互信 ####

> 此步骤必须按顺序执行，否则可能会有报错或异常。

虽然Oracle有说明会自动配置SSH互相通信，但我们还是建议去手动配置。

grid用户互信

**rac-1**

使用grid用户配置免密登录

# 生成协议2版本的RSA密钥对
    [grid@rac-1 ~]$ ssh-keygen -t rsa
    # 将密钥内容复制到authorized_keys文件中
    [grid@rac-1 ~]$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys

![image-1652946059027][]

**rac-2**

使用grid用户配置免密登录

# 生成协议2版本的RSA密钥对
    [grid@rac-2 ~]$ ssh-keygen -t rsa

![image-1652946087987][]

**rac-1**

拷贝刚刚生成的authorized\_key文件至节点2。

[grid@rac-1 ~]$ scp .ssh/authorized_keys rac-2:/home/grid/.ssh

![image-1652946157877][]

**rac-2**

将节点2的密钥写入到authorized\_keys文件，并拷回至节点1中。

# 将节点2的密钥写入到authorized_keys文件中
    [grid@rac-2 ~]$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys
    # 拷贝authorized_keys文件至节点1
    [grid@rac-2 ~]$ scp .ssh/authorized_keys rac-1:/home/grid/.ssh

oracle用户互信

**rac-1**

使用oracle用户配置免密登录

# 生成协议2版本的RSA密钥对
    [oracle@rac-1 ~]$ ssh-keygen -t rsa
    # 将密钥内容复制到authorized_keys文件中
    [oracle@rac-1 ~]$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys

![image-1652946651123][]

**rac-2**

使用oracle用户配置免密登录

# 生成协议2版本的RSA密钥对
    [oracle@rac-2 ~]$ ssh-keygen -t rsa

![image-1652946701521][]

**rac-1**

拷贝刚刚生成的authorized\_key文件至节点2。

[oracle@rac-1 ~]$ scp .ssh/authorized_keys rac-2:/home/oracle/.ssh

![image-1652946755995][]

**rac-2**

将节点2的密钥写入到authorized\_keys文件，并拷回至节点1中。

![image-1652946815873][]

**rac-1**

最终，测试oracle和grid用户节点1连接节点2是否还需要输入密码。

# 测试grid用户
    [grid@rac-1 ~]$ ssh rac-1 date; ssh rac-2 date; ssh rac-1-priv date; ssh rac-2-priv date;
    # 测试oracle用户
    [oracle@rac-1 ~]$ ssh rac-1 date; ssh rac-2 date; ssh rac-1-priv date; ssh rac-2-priv date;

![image-1652947051751][]

![image-1652947067647][]

**rac-2**

最终，测试oracle和grid用户节点1连接节点2是否还需要输入密码。

# 测试grid用户
    [grid@rac-2 ~]$ ssh rac-1 date; ssh rac-2 date; ssh rac-1-priv date; ssh rac-2-priv date;
    # 测试oracle用户
    [oracle@rac-2 ~]$ ssh rac-1 date; ssh rac-2 date; ssh rac-1-priv date; ssh rac-2-priv date;

![image-1652947085818][]

![image-1652947149915][]

如上图所示，则表示免密登录配置完成。

#### 12、配置共享存储 ####

共享存储有多种解决方案，并且每个不同的存储厂商的解决方案也是不同的，我这里以VMware虚拟机为例。添加磁盘时需要注意，必须选择【立即分配所有磁盘空间】选项，否则，安装Grid软件执行root脚本时，节点2会不识别节点1的集群，从而导致会重新创建voting disk。

首先是关闭两台虚拟机，在虚拟机上的节点1服务器新增5块磁盘，分别是3个5G的OCR磁盘，20G的FRA磁盘和50G的DATA磁盘。如下图所示：

![image-1653271031684][]

节点1服务器新增磁盘后，在节点2服务器上同样新增5块磁盘。注意，这里在新增磁盘的时候，选择【使用现有虚拟磁盘】，然后选中节点1服务器的5个磁盘文件。

![image-1653271312561][]

两个节点都配置好磁盘后，分别在两个虚拟机的.vmx文件中，新增以下内容：

disk.locking="FALSE"
    disk.EnableUUID ="TRUE"
    scsi0:1.SharedBus="Virtual"
    scsi0:2.SharedBus="Virtual"
    scsi0:3.SharedBus="Virtual"
    scsi0:4.SharedBus="Virtual"
    scsi0:5.SharedBus="Virtual"

![image-1653271586148][]

配置好后，启动节点1服务器和节点2服务器即可。

验证共享存储  
配置好后，验证两台服务器共享存储是否成功。

**rac-1**

[root@rac-1 ~]# lsblk

![image-1653272897909][]

**rac-2**

[root@rac-2 ~]# lsblk

![image-1653272934826][]

> 注意，以下两种方式任选一种即可。非FC通道的话，建议使用非多路径方式配置ASM磁盘。

##### 非多路径方式 #####

不使用多路径的情况下，绑定磁盘使用UDEV就可以了。

###### 1、查看磁盘的scsi\_id ######

**rac-1**

[root@rac-1 ~]# for i in b c d e f ;
    > do
    > echo "sd$i" "`/usr/lib/udev/scsi_id -g -u /dev/sd$i`";
    > done

![image-1653990946687][]

**rac-2**

[root@rac-2 ~]# for i in b c d e f ;
    > do
    > echo "sd$i" "`/usr/lib/udev/scsi_id -g -u /dev/sd$i`";
    > done

![image-1653990980401][]

###### 2、绑定磁盘 ######

**rac-1**

[root@rac-1 ~]# vim /etc/udev/rules.d/99-oracle-asmdevices.rules

编辑配置文件，新增规则。

KERNEL=="sd*",SUBSYSTEM=="block",PROGRAM=="/lib/udev/scsi_id -g -u -d /dev/$name",RESULT=="36000c292b5977370625e0cff350dc1b3",SYMLINK+="asm_ocr1",OWNER="grid",GROUP="asmadmin",MODE="0660"
    KERNEL=="sd*",SUBSYSTEM=="block",PROGRAM=="/lib/udev/scsi_id -g -u -d /dev/$name",RESULT=="36000c2973a9a56e46deac8282fde0f38",SYMLINK+="asm_ocr2",OWNER="grid",GROUP="asmadmin",MODE="0660"
    KERNEL=="sd*",SUBSYSTEM=="block",PROGRAM=="/lib/udev/scsi_id -g -u -d /dev/$name",RESULT=="36000c29477e56db667ad5e027c314742",SYMLINK+="asm_ocr3",OWNER="grid",GROUP="asmadmin",MODE="0660"
    KERNEL=="sd*",SUBSYSTEM=="block",PROGRAM=="/lib/udev/scsi_id -g -u -d /dev/$name",RESULT=="36000c29c53e0c1bf2d5819b1199d89c8",SYMLINK+="asm_fra",OWNER="grid",GROUP="asmadmin",MODE="0660"
    KERNEL=="sd*",SUBSYSTEM=="block",PROGRAM=="/lib/udev/scsi_id -g -u -d /dev/$name",RESULT=="36000c29de02cd10f176aa4626ac9be4a",SYMLINK+="asm_data",OWNER="grid",GROUP="asmadmin",MODE="0660"

**rac-2**

[root@rac-2 ~]# vim /etc/udev/rules.d/99-oracle-asmdevices.rules

编辑配置文件，新增规则。

###### 3、生效 ######

**rac-1**

[root@rac-1 ~]# /sbin/udevadm trigger --type=devices --action=change
    [root@rac-1 ~]# /sbin/udevadm control --reload

**rac-2**

[root@rac-1 ~]# /sbin/udevadm trigger --type=devices --action=change
    [root@rac-1 ~]# /sbin/udevadm control --reload

###### 4、验证 ######

**rac-1**

[root@rac-1 ~]# ls /dev/asm*

![image-1653991258028][]

**rac-2**

[root@rac-2 ~]# ls /dev/asm*

![image-1653991341900][]

###### 5、重启后再次验证 ######

**rac-1**

[root@rac-1 ~]# ls /dev/asm*

![image-1653991662844][]

**rac-2**

[root@rac-2 ~]# ls /dev/asm*

![image-1653991673110][]

##### 多路径方式 #####

> 通常多路径方式可能会用在FC环境中，当然也可以用在ISCSI中。

配置多路径

> 参考：https://blog.51cto.com/lishiyan/5121148

**rac-1**

###### 1、安装多路径 ######

[root@rac-1 ~]# yum -y install device-mapper*
    # 生成默认模板
    [root@rac-1 ~]# mpathconf --enable --with_multipathd y

![image-1653273115030][]

###### 2、查看节点1磁盘的scsi\_id ######

[root@rac-1 ~]# for i in b c d e f ;
    > do
    > echo "sd$i" "`/usr/lib/udev/scsi_id -g -u /dev/sd$i`";
    > done

![image-1653273442859][]

###### 3、绑定磁盘 ######

[root@rac-1 ~]# vim /etc/multipath.conf

defaults {
        
            user_friendly_names yes
    }
    
    blacklist {
        
            devnode "^sda"
    }
    
    multipaths {
        
    
            multipath {
        
                    wwid "36000c2916a0c965fb4b0f2b0597dca2b"
                    alias asm_ocr1
            }
    
            multipath {
        
                    wwid "36000c298a9b280b8a1b83f9883eeec84"
                    alias asm_ocr2
            }
    
            multipath {
        
                    wwid "36000c292cf384d4d00989389108c23fa"
                    alias asm_ocr3
            }
    
            multipath {
        
                    wwid "36000c297c9d06e18e08b1c07749ff0e4"
                    alias asm_fra
            }
    
            multipath {
        
                    wwid "36000c29baf04a4f5803d8f4071a3299d"
                    alias asm_data
            }
    
    }

###### 4、保存并加载多路径 ######

# 删除原有配置
    [root@rac-1 ~]# multipath -F
    # 加载新配置
    [root@rac-1 ~]# multipath -v2

![image-1653274156644][]

**rac-2**

###### 1、安装多路径 ######

[root@rac-2 ~]# yum -y install device-mapper*
    # 生成默认模板
    [root@rac-2 ~]# mpathconf --enable --with_multipathd y

![image-1653273131819][]

###### 2、查看节点2磁盘的scsi\_id ######

[root@rac-2 ~]# for i in b c d e f ;
    > do
    > echo "sd$i" "`/usr/lib/udev/scsi_id -g -u /dev/sd$i`";
    > done

![image-1653273507907][]

###### 3、绑定磁盘 ######

这里直接可以拷贝节点1的multipath.conf到节点2，毕竟共享磁盘的scsi\_id都是一样的。

[root@rac-2 ~]# vim /etc/multipath.conf

###### 4、保存并加载多路径 ######

# 删除原有配置
    [root@rac-1 ~]# multipath -F
    # 加载新配置
    [root@rac-1 ~]# multipath -v2

![image-1653274351576][]

##### UDEV配置 #####

**rac-1**

[root@rac-1 ~]# vim /etc/udev/rules.d/99-oracle-asmdevices.rules

###### 1、新增规则，有多少多路径配置就需要增加多少条规则。 ######

KERNEL=="dm-*",ENV{
        DM_UUID}=="mpath-36000c2916a0c965fb4b0f2b0597dca2b",SYMLINK+="asm_ocr1",OWNER="grid",GROUP="asmadmin",MODE="0660"
    KERNEL=="dm-*",ENV{
        DM_UUID}=="mpath-36000c298a9b280b8a1b83f9883eeec84",SYMLINK+="asm_ocr2",OWNER="grid",GROUP="asmadmin",MODE="0660"
    KERNEL=="dm-*",ENV{
        DM_UUID}=="mpath-36000c292cf384d4d00989389108c23fa",SYMLINK+="asm_ocr3",OWNER="grid",GROUP="asmadmin",MODE="0660"
    KERNEL=="dm-*",ENV{
        DM_UUID}=="mpath-36000c297c9d06e18e08b1c07749ff0e4",SYMLINK+="asm_fra",OWNER="grid",GROUP="asmadmin",MODE="0660"
    KERNEL=="dm-*",ENV{
        DM_UUID}=="mpath-36000c29baf04a4f5803d8f4071a3299d",SYMLINK+="asm_data",OWNER="grid",GROUP="asmadmin",MODE="0660"

###### 2、重新加载udev ######

[root@rac-1 ~]# udevadm control --reload-rules
    [root@rac-1 ~]# udevadm trigger --type=devices

###### 3、验证 ######

[root@rac-1 ~]# ll /dev/asm*

![image-1653276166785][]

[root@rac-1 ~]# ll /dev/asm*

![image-1653274867147][]

**rac-2**

[root@rac-2 ~]# vim /etc/udev/rules.d/99-oracle-asmdevices.rules

###### 1、新增规则，有多少多路径配置就需要增加多少条规则。 ######

###### 2、重新加载udev ######

[root@rac-2 ~]# udevadm control --reload-rules
    [root@rac-2 ~]# udevadm trigger --type=devices

###### 3、验证 ######

[root@rac-2 ~]# ll /dev/asm*

![image-1653276253192][]

[root@rac-2 ~]# ll /dev/dm*

![image-1653274950034][]

###### 4、重启服务器验证 ######

在全部配置好后，重启两台节点服务器再验证一下。

**rac-1**

[root@rac-1 ~]# reboot

重启后再次查看/dev/asm\*

[root@rac-1 ~]# ls /dev/asm*

![image-1653276963134][]

如图所示，则说明共享存储配置完毕。

**rac-2**

[root@rac-1 ~]# reboot

重启后再次查看/dev/asm\*

[root@rac-2 ~]# ls /dev/asm*

![image-1653276979635][]

如图所示，则说明共享存储配置完毕。

#### 13、上传软件包、解压并授权 ####

配置完共享存储后，上传软件包并解压授权，我这里上传到了/u01目录下。

**rac-1**

[root@rac-1 u01]# unzip p13390677_112040_Linux-x86-64_1of7.zip -d software
    [root@rac-1 u01]# unzip p13390677_112040_Linux-x86-64_2of7.zip -d software
    [root@rac-1 u01]# unzip p13390677_112040_Linux-x86-64_3of7.zip -d software
    [root@rac-1 u01]# chown -R grid:oinstall software/grid
    [root@rac-1 u01]# chown -R oracle:oinstall software/database

**rac-2**

[root@rac-2 u01]# unzip p13390677_112040_Linux-x86-64_1of7.zip -d software
    [root@rac-2 u01]# unzip p13390677_112040_Linux-x86-64_2of7.zip -d software
    [root@rac-2 u01]# unzip p13390677_112040_Linux-x86-64_3of7.zip -d software
    [root@rac-2 u01]# chown -R grid:oinstall software/grid
    [root@rac-2 u01]# chown -R oracle:oinstall software/database

#### 14、安装依赖包 ####

解压包后，两个节点安装依赖包。

**rac-1**

[root@rac-1 u01]# yum -y install gcc* compat-libstdc* elfutils-libelf-devel* glibc-devel* glibc-headers* libaio-devel* libstdc* ksh* compat-libcap1*
    # 安装Grid软件带的依赖包
    [root@rac-1 u01]# rpm -ivh software/grid/rpm/cvuqdisk-1.0.9-1.rpm

![image-1653018450674][]

**rac-2**

[root@rac-2 u01]# yum install gcc* compat-libstdc* elfutils-libelf-devel* glibc-devel* glibc-headers* libaio-devel* libstdc* ksh* compat-libcap1*
    # 安装Grid软件带的依赖包
    [root@rac-2 u01]# rpm -ivh software/grid/rpm/cvuqdisk-1.0.9-1.rpm

![image-1653018612367][]

#### 15、校验 ####

**rac-1**

[grid@rac-1 ~]$ cd /u01/software/grid
    # 校验
    [grid@rac-1 grid]$ ./runcluvfy.sh stage -pre crsinst -n rac-1,rac-2 -verbose

校验内容太长就不再截图，最重要的就是要仔细检查所有检查项。有些检查项报错是可以不处理的，例如SWAP空间不够，但少依赖包的检查项必须处理，建议是所有错误项都处理掉，避免安装报错。

#### 16、静默安装Grid软件 ####

静默安装可以采用命令行模式或编辑响应文件，我这里以编辑响应文件方式去执行。

**rac-1**

grid用户登录并开始安装

# 进入响应文件目录
    [grid@rac-1 grid]$ cd response
    # 编辑Grid软件
    [grid@rac-1 response]$ vim grid_install.rsp

编辑grid\_install.rsp响应文件，编辑后保存并退出。

INVENTORY_LOCATION=/u01/app/oraInventory
    oracle.install.option=CRS_CONFIG
    ORACLE_BASE=/u01/app/grid
    ORACLE_HOME=/u01/app/11.2.0/grid
    oracle.install.asm.OSDBA=asmdba
    oracle.install.asm.OSOPER=asmoper
    oracle.install.asm.OSASM=asmadmin
    oracle.install.crs.config.gpnp.scanName=rac-scan
    oracle.install.crs.config.gpnp.scanPort=1521
    oracle.install.crs.config.clusterName=rac
    oracle.install.crs.config.autoConfigureClusterNodeVIP=false
    oracle.install.crs.config.clusterNodes=rac-1:rac-1-vip,rac-2:rac-2-vip
    oracle.install.crs.config.networkInterfaceList=ens33:192.168.12.0:1,ens36:1.1.1.0:2
    oracle.install.crs.config.storageOption=ASM_STORAGE
    oracle.install.asm.SYSASMPassword=orcl
    oracle.install.asm.diskGroup.name=OCR
    oracle.install.asm.diskGroup.redundancy=NORMAL
    oracle.install.asm.diskGroup.AUSize=4
    oracle.install.asm.diskGroup.disks=/dev/asm_ocr1,/dev/asm_ocr2,/dev/asm_ocr3
    oracle.install.asm.diskGroup.diskDiscoveryString=/dev/asm*
    oracle.install.asm.monitorPassword=orcl

静默安装Grid

# 退至上一个目录
    [grid@rac-1 response]$ cd ..
    # 静默安装
    [grid@rac-1 grid]$ ./runInstaller -silent -responseFile /u01/software/grid/response/grid_install.rsp -ignorePrereq

![image-1653622543763][]

执行root脚本  
root用户执行脚本，所有节点都需要执行。注意，节点1执行完再执行节点2。

**rac-1**

[root@rac-1 ~]# /u01/app/oraInventory/orainstRoot.sh

# 执行root脚本
    [root@rac-1 ~]# /u01/app/11.2.0/grid/root.sh
    # 查看运行日志
    [root@rac-1 ~]# tail -f -n 50 /u01/app/11.2.0/grid/install/root_rac-1_2022-05-27_11-39-08.log

![image-1653623224094][]

**rac-2**

[root@rac-2 ~]# /u01/app/oraInventory/orainstRoot.sh

# 执行root脚本
    [root@rac-2 ~]# /u01/app/11.2.0/grid/root.sh
    # 查看运行日志
    [root@rac-2 ~]# tail -f -n 50 /u01/app/11.2.0/grid/install/root_rac-2_2022-05-27_11-48-09.log

![image-1653623666636][]

#### 17、静默配置其他ASM磁盘 ####

Grid软件安装完成后，就需要配置其他ASM磁盘组了，例如DATA\\FRA等。

**rac-1**

指定ASM的ORACLE\_SID

[grid@rac-1 ~]$ export ORACLE_SID=+ASM1

创建磁盘组

# 进入到sqlplus命令行
    [grid@rac-1 grid]$ sqlplus / as sysasm
    # 创建FRA磁盘组
    SQL> create diskgroup FRA external redundancy disk '/dev/asm_fra';
    # 创建DATA磁盘组
    SQL> create diskgroup DATA external redundancy disk '/dev/asm_data';
    # 查看磁盘组状态
    SQL> select state,name,type,total_mb, free_mb from v$asm_diskgroup_stat ;

![image-1653632289521][]

**rac-2**

挂载磁盘组

[grid@rac-1 ~]$ export ORACLE_SID=+ASM2
    # 进入到sqlplus命令行
    [grid@rac-1 grid]$ sqlplus / as sysasm
    # 挂载FRA磁盘组
    SQL> alter diskgroup FRA mount;
    # 挂载DATA磁盘组
    SQL> alter diskgroup DATA mount;
    # 查看磁盘组状态
    SQL> select state,name,type,total_mb, free_mb from v$asm_diskgroup_stat ;

![image-1653632440005][]

#### 18、静默安装Oracle软件 ####

磁盘组配置好，我们使用oracle用户来安装Oracle数据库软件。

##### 检查产品清单文件crs属性 #####

**rac-1**

安装软件前，先检查一下inventory.xml

[oracle@rac-1 ~]$ vim /u01/app/oraInventory/ContentsXML/inventory.xml

检查HOME标签中是否有CRS属性，如果没有，则手动加上。注意，CRS必须大写。

<?xml version="1.0" standalone="yes" ?>
    
    
    <INVENTORY>
    <VERSION_INFO>
       <SAVED_WITH>11.2.0.4.0</SAVED_WITH>
       <MINIMUM_VER>2.1.0.6.0</MINIMUM_VER>
    </VERSION_INFO>
    <HOME_LIST>
    <HOME NAME="Ora11g_gridinfrahome1" LOC="/u01/app/11.2.0/grid" TYPE="O" IDX="1" CRS="true">
       <NODE_LIST>
          <NODE NAME="rac-1"/>
          <NODE NAME="rac-2"/>
       </NODE_LIST>
    </HOME>
    </HOME_LIST>
    <COMPOSITEHOME_LIST>
    </COMPOSITEHOME_LIST>
    </INVENTORY>

![image-1653632726270][]

##### 静默安装Oracle软件 #####

同样，配置响应文件来安装Oracle数据库软件。

# oracle用户进入到响应文件中
    [oracle@rac-1 ~]$ cd /u01/software/database/response
    # 编辑响应文件
    [oracle@rac-1 response]$ vim db_install.rsp

编辑以下参数，保存并退出。

oracle.install.option=INSTALL_DB_SWONLY
    UNIX_GROUP_NAME=oinstall
    INVENTORY_LOCATION=/u01/app/oraInventory
    ORACLE_HOME=/u01/app/oracle/product/11.2.0/dbhome_1
    ORACLE_BASE=/u01/app/oracle
    oracle.install.db.InstallEdition=EE
    oracle.install.db.DBA_GROUP=dba
    oracle.install.db.OPER_GROUP=oper
    oracle.install.db.CLUSTER_NODES=rac-1,rac-2
    SECURITY_UPDATES_VIA_MYORACLESUPPORT=false
    DECLINE_SECURITY_UPDATES=true
    oracle.installer.autoupdates.option=SKIP_UPDATES

静默安装

# 退至上一级目录
    [oracle@rac-1 response]$ cd ..
    # 静默安装
    [oracle@rac-1 database]$ ./runInstaller -silent -responseFile /u01/software/database/response/db_install.rsp -ignorePrereq

![image-1653634739511][]

##### 执行root脚本 #####

执行后自己去根据提示的日志文件目录去查看下日志，看是否有报错。

**rac-1**

[root@rac-1 ~]# /u01/app/oracle/product/11.2.0/dbhome_1/root.sh

**rac-2**

[root@rac-2 ~]# /u01/app/oracle/product/11.2.0/dbhome_1/root.sh

#### 19、添加监听至集群中 ####

##### 检查集群中的监听状态 #####

**rac-1**

[grid@rac-1 ~]$ srvctl status listener

![image-1653635252590][]

**rac-2**

[grid@rac-1 ~]$ srvctl status listener

![image-1653635264372][]

##### 为集群添加监听并启动 #####

仅在节点1添加监听即可。

**rac-1**

# 添加监听
    [grid@rac-1 ~]$ srvctl add listener
    # 启动监听
    [grid@rac-1 ~]$ srvctl start listener

##### 再次检查集群中的监听状态 #####

**rac-1**

[grid@rac-1 ~]$ srvctl status listener

![image-1653635446987][]

**rac-2**

[grid@rac-1 ~]$ srvctl status listener

#### 20、安装数据库 ####

监听配置好后，开始安装数据库实例。

**rac-1**

# 进入响应文件目录
    [oracle@rac-1 ~]$ cd /u01/software/database/response
    # 编辑响应文件
    [oracle@rac-1 response]$ vim dbca.rsp

编辑以下内容，保存并退出。

OPERATION_TYPE = "createDatabase"
    GDBNAME = "rac11g"
    SID = "rac11g"
    NODELIST=rac-1,rac-2
    SYSPASSWORD = "orcl"
    SYSTEMPASSWORD = "orcl"
    DATAFILEDESTINATION ="+DATA"
    RECOVERYAREADESTINATION="+FRA"
    STORAGETYPE=ASM
    DISKGROUPNAME=DATA
    CHARACTERSET = "AL32UTF8"
    DATABASETYPE = "OLTP"

静默安装

[oracle@rac-1 response]$ dbca -silent -responseFile /u01/software/database/response/dbca.rsp

![image-1653636664189][]

安装完成后，检查一下日志文件，注意别报错了。

![image-1653642096765][]

#### 错误 ####

##### 1、执行脚本root.sh脚本报错CRS-2101:The OLR was formatted using version 3. #####

![image][image 1]

原因：可以通过打补丁去解决，如果不想打补丁，则执行一下命令。注意，所有节点都需要执行。  
解决方法：

新开个bash窗口，执行如下命令，即可正常安装。注意，必须是执行root脚本或报错后才可以执行此命令，不然会报错文件找不到或目录找不到。

# 进入到临时目录中
    [root@rac-1 ~]# cd /var/tmp/.oracle
    # 新建npohasd文件
    [root@rac-1 ~]# touch npohasd
    # 授权npohasd文件
    [root@rac-1 ~]# chmod 755 npohasd

修改后，停止当前执行的root脚本，再重新执行即可。

[root@rac-1 ~]# /u01/app/11.2.0/grid/root.sh

[image]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/759170617c994875b3eed62ae626c0cb.png
[image-1652927422870]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/0bf02ddea7bc44029ec979a530a5ef97.png
[image-1652946059027]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/4c0d250e36ca448da351ddefbfadcfd0.png
[image-1652946087987]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/5ce04a1b1b1144b58ffa0adb9ff48a08.png
[image-1652946157877]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/247ceb04c5cc4e5f9fb0b951931706bd.png
[image-1652946651123]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/cea98c026d4645d694eeada8973bd39a.png
[image-1652946701521]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/bee1c953ecca4593b07a2d1c88d76416.png
[image-1652946755995]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/2647d11e22c04ee6a48fe5bc253430e3.png
[image-1652946815873]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/dc08c27783304e6ea0369a47ad7447b0.png
[image-1652947051751]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/3dcde2b34672496f9e0c9f22640e5414.png
[image-1652947067647]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/980689095279469f8b1175f6d004a15e.png
[image-1652947085818]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/f54420ad68d940ec93aa3cec2de47101.png
[image-1652947149915]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/d68d16cb6f8b4a8a81661cd5b20e9887.png
[image-1653271031684]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/3536fa9db1ae49beaea6050df8ec8ff5.png
[image-1653271312561]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/ba402b890b374f0e803419150a9d9665.png
[image-1653271586148]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/9d51d016f7784faa99c0b97393b39dd3.png
[image-1653272897909]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/a4852b86022948f39b7a81580fed4d63.png
[image-1653272934826]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/a66f7b04dc034995a11a0c493be05aa5.png
[image-1653990946687]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/a2e09afce4864ba6be7b9adfe0e84c61.png
[image-1653990980401]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/1a9d22990d6a4672b0857eb318126db3.png
[image-1653991258028]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/5ccb7c9c43a64f358bbd65152d632012.png
[image-1653991341900]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/46b9ba7729c04a2189b9e8af97726c44.png
[image-1653991662844]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/1404e207dfe8417f98c2fffaadc43f0b.png
[image-1653991673110]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/da70b85b371a4ac9a941c7af74b80210.png
[image-1653273115030]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/e4737bd2d8264e2090cf0229f49844e7.png
[image-1653273442859]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/2892ae7b7b344333b916ffe5c74b8200.png
[image-1653274156644]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/8b5b833cf30a4c2d92b19f0dca4d2ab1.png
[image-1653273131819]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/a75f3d542a4c43a2a45f5e04245c7390.png
[image-1653273507907]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/bc25f8b8990a463baed7169ad39cbb60.png
[image-1653274351576]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/cc2c16fcc4244d14a2ebfe49de70dcb0.png
[image-1653276166785]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/67cbd1b243264593a8f080afbe9b802a.png
[image-1653274867147]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/68fc2525d0444f328cda5bbb9dd28d64.png
[image-1653276253192]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/16e3c93ed873412aaef1504150c142ac.png
[image-1653274950034]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/91b44220477c4a14b7317d32474dd8ca.png
[image-1653276963134]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/6c233a2c723942d9b63baeea665f71ed.png
[image-1653276979635]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/dabda310babe41cfa1b40e5b7122d302.png
[image-1653018450674]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/ad453df4f6c8495fa77d2e3e35594814.png
[image-1653018612367]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/e5e0c25eb7fe4cde8ab22b17472a5e9b.png
[image-1653622543763]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/00382f7f6bbb4d1a8e642c31a1978533.png
[image-1653623224094]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/122c7fa33a4c484db1a229d4126dee0b.png
[image-1653623666636]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/9e9c8ebf010b422fa89a7c3fe06d6f70.png
[image-1653632289521]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/d3358aef58384b05af5037353aff24ce.png
[image-1653632440005]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/9481830f84954a38a5b96f62542b0dfe.png
[image-1653632726270]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/77bbfd159a964998977b769b3c7836b9.png
[image-1653634739511]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/a7d57e516cc64ae59775260236052c0d.png
[image-1653635252590]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/f3f61a8f4d7343bc918e92fc0e67ea6a.png
[image-1653635264372]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/72695479d0bb43cb9c80ba9f22cd5be9.png
[image-1653635446987]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/74c300b08d6240feb9d404decfb534a5.png
[image-1653636664189]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/13e29b94c30e49fc970dda4d05d6e159.png
[image-1653642096765]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/f57d7d8b980a4893a316ca0907ea6e7a.png
[image 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/12024d01d70c4e1eb006d093eae9ab70.png