ProxmoxVE 之安装oracle12C rac集群

矫情吗；* 2022-01-15 10:35 443阅读 0赞

![blob.png][] ![blob.png][blob.png 1]

上面左边是我的个人微信，如需进一步沟通，请加微信。  右边是我的公众号“Openstack私有云”，如有兴趣，请关注。

最近公司使用到了oracle12C的产品，原来对oracle11gR2的RAC比较熟悉，12C版本有一个大的特性是数据库容器和可插拔式数据库，即CDB和PDB，还是需要熟悉一下。准备使用PVE环境搭建一套12C的rac 。

参考了下面这篇博客：

[https://blog.51cto.com/sery/2156860][https_blog.51cto.com_sery_2156860]

硬件配置规划如下：

1、两台作为实例节点的pve虚拟机，每台虚拟机使用4核8G，2块磁盘，1块32G，1块100G，其中16G作为swap交换分区使用，2块网卡桥接到pve物理网络中；

![image.png][]

2、一台作为共享存储的pve虚拟机安装openfiler，使用2块磁盘，1块32G安装系统，1块200G作为共享磁盘，共享存储openfiler通过iscsi提供共享存储，实例节点上配置iscsi客户端使用openfiler共享出来的iscsi存储。配置如下：

![image.png][image.png 1]

注意存储使用的是ide cache=writethrough ，开始的时候选择scsi，安装openfiler的时候认不到磁盘。

**    3、数据库的安装规划。**在网上找到了官方提供的一个oracle12C RAC的安装指导，但是是针对rhel6的，我的环境是centos7，参考了下面这个网址：

[https://blog.51cto.com/ld0381/1923207][https_blog.51cto.com_ld0381_1923207]

**    安装规划如下：**

a、存储规划：

1、  GRID集群组件磁盘组

\+dggrid: 1个，由三个10G磁盘组成normal  （注意，ocr磁盘在12C中需要大于77G）

2、  数据库安装磁盘组

\+dgsystem：用于数据库基本表空间，控制文件，参数文件等

\+dgrecovery：用于归档与闪回日志空间

\+dgdata：用户数据库业务表空间

b、IP规划：

oraclenode1:

publicip : ens18 :192.168.1.32

vip:192.168.1.36

privateip :ens19 :192.168.170.32

oraclenode2:

publicip : ens18 :192.168.1.33

vip:192.168.1.37

privateip :ens19 :192.168.170.33

scanip :192.168.1.38

c、软件版本：

操作系统：CentOS 7.2

数据库：ORACLE12c R2

集群管理软件：ORACLEGRID 12.2.0.1

d、主机名规划：

\#public ip

192.168.1.32         oraclenode1

192.168.1.33         oraclenode2

\#private ip

192.168.170.32  oraclenode1pri

192.168.170.32  oraclenode2pri

\#vip ip

192.168.1.36         oraclenode1vip

192.168.1.37         oraclenode2vip

\#scan ip

192.168.1.38         oraclenodescan

e、用户及用户组规划：

groupadd -g 60001 oinstall

groupadd -g 60002 dba

groupadd -g 60003 oper

groupadd -g 60004 backupdba

groupadd -g 60005 dgdba

groupadd -g 60006 kmdba

groupadd -g 60007 asmdba

groupadd -g 60008 asmoper

groupadd -g 60009 asmadmin

useradd -u 61001 -g oinstall -G asmadmin,asmdba,dba,asmoper grid

useradd -u 61002 -g oinstall -G dba,backupdba,dgdba,kmdba,asmadmin,oper,asmdba oracle

echo "grid" | passwd --stdin grid

echo "oracle" | passwd --stdin oracle

f、目录规划：

mkdir -p /data/oracle/app/grid

mkdir -p /data/oracle/app/12.2.0.1/grid

chown -R grid:oinstall /data/oracle

mkdir -p /data/oracle/app/oraInventory

chown -R grid:oinstall /data/oracle/app/oraInventory

mkdir -p /data/oracle/app/oracle

chown -R oracle:oinstall /data/oracle/app/oracle

chmod -R 775 /data/oracle

从上面的存储规划上可以看到，**共享磁盘需要有6个lun，其中3个10G作为OCR+voting（注意，ocr磁盘在12C中需要大于77G），3个lun分别存放系统表空间50G、归档及闪回日志空间50G、用户数据空间50G**

首先做好安装源的准备，主要有centos7的安装镜像，oracle 12C R2安装源，以及openfiler的ISO安装镜像。

在oracle官网下载安装文件（需要先注册oracle用户）：

[https://www.oracle.com/technetwork/database/enterprise-edition/downloads/oracle12c-linux-12201-3608234.html][https_www.oracle.com_technetwork_database_enterprise-edition_downloads_oracle12c-linux-12201-3608234.html]

下载openfiler的iso安装镜像：

[https://www.openfiler.com/community/download][https_www.openfiler.com_community_download]

安装的时候，注意将IP地址配置为静态地址：

![image.png][image.png 2]

安装完openfiler如下：

![image.png][image.png 3]

默认的用户名密码是： openfiler   password   ,登录之后的界面如下：

![image.png][image.png 4]

在第二块盘 /dev/sdb 上面划分扩展逻辑分区，创建3个10G（注意，ocr磁盘在12C中需要大于77G），3个50G的分区，然后创建pv，如下：

[root@openfiler ~]# fdisk /dev/sdb
    
    Command (m for help): p
    
    Disk /dev/sdb: 214.7 GB, 214748364800 bytes
    255 heads, 63 sectors/track, 26108 cylinders, total 419430400 sectors
    Units = sectors of 1 * 512 = 512 bytes
    Sector size (logical/physical): 512 bytes / 512 bytes
    I/O size (minimum/optimal): 512 bytes / 512 bytes
    Disk identifier: 0x00089483
    
       Device Boot      Start         End      Blocks   Id  System
    /dev/sdb1              63    16771859     8385898+  83  Linux
    /dev/sdb2        16771860    18876374     1052257+  82  Linux swap / Solaris
    
    Command (m for help): n
    Command action
       e   extended
       p   primary partition (1-4)
    p
    Partition number (1-4, default 3): 
    Using default value 3
    First sector (18876375-419430399, default 18876375): 
    Using default value 18876375
    Last sector, +sectors or +size{K,M,G} (18876375-419430399, default 419430399): 
    Using default value 419430399
    
    Command (m for help): p
    
    Disk /dev/sdb: 214.7 GB, 214748364800 bytes
    255 heads, 63 sectors/track, 26108 cylinders, total 419430400 sectors
    Units = sectors of 1 * 512 = 512 bytes
    Sector size (logical/physical): 512 bytes / 512 bytes
    I/O size (minimum/optimal): 512 bytes / 512 bytes
    Disk identifier: 0x00089483
    
       Device Boot      Start         End      Blocks   Id  System
    /dev/sdb1              63    16771859     8385898+  83  Linux
    /dev/sdb2        16771860    18876374     1052257+  82  Linux swap / Solaris
    /dev/sdb3        18876375   419430399   200277012+  83  Linux
    
    Command (m for help): t
    Partition number (1-4): 3
    Hex code (type L to list codes): 8e
    Changed system type of partition 3 to 8e (Linux LVM)
    
    Command (m for help): p
    
    Disk /dev/sdb: 214.7 GB, 214748364800 bytes
    255 heads, 63 sectors/track, 26108 cylinders, total 419430400 sectors
    Units = sectors of 1 * 512 = 512 bytes
    Sector size (logical/physical): 512 bytes / 512 bytes
    I/O size (minimum/optimal): 512 bytes / 512 bytes
    Disk identifier: 0x00089483
    
       Device Boot      Start         End      Blocks   Id  System
    /dev/sdb1              63    16771859     8385898+  83  Linux
    /dev/sdb2        16771860    18876374     1052257+  82  Linux swap / Solaris
    /dev/sdb3        18876375   419430399   200277012+  8e  Linux LVM
    
    Command (m for help): w
    The partition table has been altered!
    
    Calling ioctl() to re-read partition table.
    
    WARNING: Re-reading the partition table failed with error 16: Device or resource busy.
    The kernel still uses the old table. The new table will be used at
    the next reboot or after you run partprobe(8) or kpartx(8)
    Syncing disks.
    [root@openfiler ~]# partprobe 
    [root@openfiler ~]# 
    [root@openfiler ~]# pvcreate /dev/sdb3
      Physical volume "/dev/sdb3" successfully created

注意上面，用fdisk创建完分区后，需要用 partprobe 命令更新一下分区信息，才能使pvcreate认到。以上操作完之后，可以在web界面上看到下面的pv信息：

![image.png][image.png 5]

![image.png][image.png 6]

![image.png][image.png 7]

![image.png][image.png 8]

接下来，吧iscsi服务打开：

![image.png][image.png 9]

![image.png][image.png 10]

![image.png][image.png 11]

![image.png][image.png 12]

![image.png][image.png 13]

注意，上面只开启了一个网络，如果两个网络都打开，会有多路径的问题。

接下来，在rac主机上安装iscsi客户端：
    yum install -y iscsi-initiator-utils
    在rac主机上查找iscsi服务端：
    [root@localhost ~]# iscsiadm -m discovery -t sendtargets -p 192.168.1.31
    192.168.1.31:3260,1 iqn.2006-01.com.openfiler:tsn.eb490bf65b71
    在rac主机上login服务端：
    [root@localhost ~]# iscsiadm -m node -T iqn.2006-01.com.openfiler:tsn.eb490bf65b71 -l
    Logging in to [iface: default, target: iqn.2006-01.com.openfiler:tsn.eb490bf65b71, portal: 192.168.1.31,3260] 
    Login to [iface: default, target: iqn.2006-01.com.openfiler:tsn.eb490bf65b71, portal: 192.168.1.31,3260] successful.
    [root@localhost ~]# 
    使用fdisk -l 验证是否挂载了共享的lun：
    [root@oraclenode1 ~]# lsblk
    NAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
    sda               8:0    0   32G  0 disk 
    ├─sda1            8:1    0  500M  0 part /boot
    └─sda2            8:2    0 31.5G  0 part 
      ├─centos-root 253:0    0 29.5G  0 lvm  /
      └─centos-swap 253:1    0    2G  0 lvm  [SWAP]
    sdb               8:16   0  100G  0 disk 
    sdc               8:32   0 48.9G  0 disk 
    sdd               8:48   0 48.9G  0 disk 
    sde               8:64   0 48.9G  0 disk 
    sdf               8:80   0   83G  0 disk 
    sr0              11:0    1 1024M  0 rom

由于是使用的虚拟机，因此在前面一系列繁琐的安装前准备，配置相关参数都是一样的，所以前面一样的操作情况下，先只对一台虚拟机进行安装，后面对这个虚拟机进行克隆，克隆后修改IP地址和主机名等不一致的参数。

接下来，分别上传安装包，进行数据库的安装。详细的步骤就不赘述了，参考本文最上面的那个网址。

asm磁盘管理部分，参考了官方文档：

下载并安装asmlib包：

[https://www.oracle.com/technetwork/server-storage/linux/asmlib/rhel7-2773795.html][https_www.oracle.com_technetwork_server-storage_linux_asmlib_rhel7-2773795.html]

下载了两个包：

oracleasmlib-2.0.12-1.el7.x86\_64.rpm

oracleasm-support-2.1.11-2.el7.x86\_64.rpm

使用yum localinstall  命令安装，解决依赖问题。

配置asm：

[root@oraclenode1 software]# oracleasm configure -i
    Configuring the Oracle ASM library driver.
    This will configure the on-boot properties of the Oracle ASM library
    driver.  The following questions will determine whether the driver is
    loaded on boot and what permissions it will have.  The current values
    will be shown in brackets ('[]').  Hitting <ENTER> without typing an
    answer will keep that current value.  Ctrl-C will abort.
    Default user to own the driver interface []: grid
    Default group to own the driver interface []: asmadmin
    Start Oracle ASM library driver on boot (y/n) [n]: y
    Scan for Oracle ASM disks on boot (y/n) [y]: y
    Writing Oracle ASM library driver configuration: done

[https://www.cndba.cn/Expect-le/article/1819][https_www.cndba.cn_Expect-le_article_1819]

准备ASM磁盘：

使用udev绑定磁盘：
    
    KERNEL=="sd*",ENV{DEVTYPE}=="disk",SUBSYSTEM=="block",PROGRAM=="/usr/lib/udev/scsi_id -g -u -d $devnode",RESULT=="14f504e46494c45523263575331752d466a34362d64385876", RUN+="/bin/sh -c 'mknod /dev/asmdiskc b  $major $minor; chown grid:asmadmin /dev/asmdiskc; chmod 0660 /dev/asmdiskc'"
    
    KERNEL=="sd*",ENV{DEVTYPE}=="disk",SUBSYSTEM=="block",PROGRAM=="/usr/lib/udev/scsi_id -g -u -d $devnode",RESULT=="14f504e46494c455246314d47436e2d6432317a2d7039576d", RUN+="/bin/sh -c 'mknod /dev/asmdiskd b  $major $minor; chown grid:asmadmin /dev/asmdiskd; chmod 0660 /dev/asmdiskd'"
    
    KERNEL=="sd*",ENV{DEVTYPE}=="disk",SUBSYSTEM=="block",PROGRAM=="/usr/lib/udev/scsi_id -g -u -d $devnode",RESULT=="14f504e46494c45524b374e4435422d63316f692d7667344d", RUN+="/bin/sh -c 'mknod /dev/asmdiske b  $major $minor; chown grid:asmadmin /dev/asmdiske; chmod 0660 /dev/asmdiske'"
    
    KERNEL=="sd*",ENV{DEVTYPE}=="disk",SUBSYSTEM=="block",PROGRAM=="/usr/lib/udev/scsi_id -g -u -d $devnode",RESULT=="14f504e46494c45527061503038772d716467662d4a303479", RUN+="/bin/sh -c 'mknod /dev/asmdiskf b  $major $minor; chown grid:asmadmin /dev/asmdiskf; chmod 0660 /dev/asmdiskf'"
    
    KERNEL=="sd*",ENV{DEVTYPE}=="disk",SUBSYSTEM=="block",PROGRAM=="/usr/lib/udev/scsi_id -g -u -d $devnode",RESULT=="14f504e46494c455274475033336f2d4e39746f2d75436d70", RUN+="/bin/sh -c 'mknod /dev/asmdiskg b  $major $minor; chown grid:asmadmin /dev/asmdiskg; chmod 0660 /dev/asmdiskg'"
    
    KERNEL=="sd*",ENV{DEVTYPE}=="disk",SUBSYSTEM=="block",PROGRAM=="/usr/lib/udev/scsi_id -g -u -d $devnode",RESULT=="14f504e46494c45524c427661724a2d69746c322d67705363", RUN+="/bin/sh -c 'mknod /dev/asmdiskh b  $major $minor; chown grid:asmadmin /dev/asmdiskh; chmod 0660 /dev/asmdiskh'"
    上面的RESULT== 内容，通过命令： /usr/lib/udev/scsi_id -g -u /dev/sd$i  获取 其中sd$i ，i=c d e f g h 
    参考了这个网址： https://www.cndba.cn/Expect-le/article/1819
    将上面的内容复制到文件/etc/udev/rules.d/99-oracle-asmdevices.rules 中。
    执行生效：
    /sbin/udevadm trigger --type=devices --action=change
    检查ASM磁盘：
    ls -ltr /dev/asm*
    如果找不到文件，重启系统：reboot
    
    如果重装，使用dd if=/dev/sdc of=/dev/sdc 擦除lun的数据，否则使用过的lun处于member状态，如果容量很大，建议还是直接删除lun后重新建，重新做映射关系：
    1、发现
    [root@localhost ~]# iscsiadm -m discovery -t st -p 192.168.1.31
    192.168.1.31:3260,1 iqn.2006-01.com.openfiler:tsn.eb490bf65b71
    2、卸载：
    iscsiadm -m node -T iqn.2006-01.com.openfiler:tsn.eb490bf65b71 -u
    3、删除：
    iscsiadm -m node -T iqn.2006-01.com.openfiler:tsn.eb490bf65b71 -o delete
    4、在openfiler删除volumn，新建volumn，重新map（略）
    5、发现
    [root@localhost ~]# iscsiadm -m discovery -t st -p 192.168.1.31
    192.168.1.31:3260,1 iqn.2006-01.com.openfiler:tsn.eb490bf65b71
    6、login登录：
    iscsiadm -m node -T iqn.2006-01.com.openfiler:tsn.eb490bf65b71 -l
    7、验证：
    lsblk

安装之前，需要先安装图形组件：

yum -y groups install  "X Window System" "Fonts"

安装了xmanager，设置xshell，这里不赘述。

运行解压出来的grid安装包的gridSetup.sh 脚本  ：  ./gridSetup.sh

![image.png][image.png 14]

![image.png][image.png 15]

![image.png][image.png 16]

![image.png][image.png 17]

![image.png][image.png 18]

![image.png][image.png 19]

![image.png][image.png 20]

![image.png][image.png 21]

![image.png][image.png 22]

![image.png][image.png 23]

![image.png][image.png 24]

密码： oracle

![image.png][image.png 25]

![image.png][image.png 26]

![image.png][image.png 27]

![image.png][image.png 28]

![image.png][image.png 29]

![image.png][image.png 30]

yum install compat-libcap1 -y

yum install nfs-utils -y

![image.png][image.png 31]

![image.png][image.png 32]

![image.png][image.png 33]

![image.png][image.png 34]

![image.png][image.png 35]

好多个小时之后：

![image.png][image.png 36]

![image.png][image.png 37]

安装完成。登录grid账号，使用  crs\_stat -t 查看集群状态：

![image.png][image.png 38]

使用ocrcheck 检查ocr状态，使用crsctl query css votedisk 检查votedisk的状态，如下：

[root@oraclenode2 tmp]# su - grid
    Last login: Mon Jan 14 11:18:07 CST 2019
    [grid@oraclenode2 ~]$ ocrcheck
    Status of Oracle Cluster Registry is as follows :
     Version                  :          4
     Total space (kbytes)     :     409568
     Used space (kbytes)      :       2032
     Available space (kbytes) :     407536
     ID                       : 1486039673
     Device/File Name         :      +GRID
                                        Device/File integrity check succeeded
                                        Device/File not configured
                                        Device/File not configured
                                        Device/File not configured
                                        Device/File not configured
     Cluster registry integrity check succeeded
     Logical corruption check bypassed due to non-privileged user
    [grid@oraclenode2 ~]$ crsctl query css votedisk
    ##  STATE    File Universal Id                File Name Disk group
    --  -----    -----------------                --------- ---------
     1. ONLINE   8e6efe7ec1b74f02bf229f9bd02ceb92 (/dev/asmdiskc) [GRID]
    Located 1 voting disk(s).
    [grid@oraclenode2 ~]$

ocr和votedisk状态正常！

**安装数据库软件：**

使用oracle账号登录，运行安装程序  ./runInstaller :

**![image.png][image.png 39]**

**![image.png][image.png 40]**

**![image.png][image.png 41]**

**![image.png][image.png 42]**

**![image.png][image.png 43]**

![image.png][image.png 44]

![image.png][image.png 45]

![image.png][image.png 46]

![image.png][image.png 47]

![image.png][image.png 48]

![image.png][image.png 49]

![image.png][image.png 50]

至此，RAC的grid集群以及数据库软件安装完成。

接下来，还需要安装数据库实例CDB和PDB ，在接下来的博文中再继续。

**总结：**

安装的过程还是有些复杂，主要涉及到了共享存储、网络、主机等的规划，我一直觉得oracle设计的过于复杂，就单单安装一个RAC就能挡住很多的人，搞得很高大上的样子，其实真正使用的时候，设计得越复杂，那么故障点就越多，其实一般的企业用户，讲真心话真的用不着rac高可用，好好利用好单机数据库，做好定期备份和巡检，要靠谱得多。

在安装前，需要做很多的准备工作，主要是准备软件包，然后找到对应操作系统和数据库版本的安装指导 ，做好数据库的规划，这点很重要，规划先行，不要一上来就开始安装。

在安装过程中碰到一个问题，12C对ocr使用的磁盘对大小有要求，要求大于77G，这里恶心了我一把，因为这样我的共享存储，包括主机上的iscsi配置，以及udev绑定要全部重来，这里很是花了我一些时间。文章中有些截图或者内容还是当时设计的3个10G的磁盘作为ocr表决磁盘，我就不改了，过程其实都是一样的。

转载于:https://blog.51cto.com/yuweibing/2341817

[blob.png]: https://s1.51cto.com/images/20180323/1521770916999323.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[blob.png 1]: https://s1.51cto.com/images/20180323/1521771461255911.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[https_blog.51cto.com_sery_2156860]: https://blog.51cto.com/sery/2156860
[image.png]: https://s1.51cto.com/images/20190107/1546845325718609.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 1]: https://s1.51cto.com/images/20190107/1546844905643819.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[https_blog.51cto.com_ld0381_1923207]: https://blog.51cto.com/ld0381/1923207
[https_www.oracle.com_technetwork_database_enterprise-edition_downloads_oracle12c-linux-12201-3608234.html]: https://www.oracle.com/technetwork/database/enterprise-edition/downloads/oracle12c-linux-12201-3608234.html
[https_www.openfiler.com_community_download]: https://www.openfiler.com/community/download
[image.png 2]: https://s1.51cto.com/images/20190107/1546844737443239.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 3]: https://s1.51cto.com/images/20190107/1546846299711866.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 4]: https://s1.51cto.com/images/20190107/1546842085577752.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 5]: https://s1.51cto.com/images/20190108/1546915965306053.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 6]: https://s1.51cto.com/images/20190108/1546915999340080.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 7]: https://s1.51cto.com/images/20190108/1546916069399820.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 8]: https://s1.51cto.com/images/20190108/1546916266489432.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 9]: https://s1.51cto.com/images/20190108/1546916484769512.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 10]: https://s1.51cto.com/images/20190108/1546916749556114.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 11]: https://s1.51cto.com/images/20190108/1546916710252730.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 12]: https://s1.51cto.com/images/20190108/1546916932465489.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 13]: https://s1.51cto.com/images/20190109/1547015813139243.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[https_www.oracle.com_technetwork_server-storage_linux_asmlib_rhel7-2773795.html]: https://www.oracle.com/technetwork/server-storage/linux/asmlib/rhel7-2773795.html
[https_www.cndba.cn_Expect-le_article_1819]: https://www.cndba.cn/Expect-le/article/1819
[image.png 14]: https://s1.51cto.com/images/20190109/1547038603212008.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 15]: https://s1.51cto.com/images/20190109/1547038638197888.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 16]: https://s1.51cto.com/images/20190109/1547038776358945.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 17]: https://s1.51cto.com/images/20190109/1547039062384219.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 18]: https://s1.51cto.com/images/20190109/1547039126349229.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 19]: https://s1.51cto.com/images/20190109/1547039164417068.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 20]: https://s1.51cto.com/images/20190109/1547039204678248.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 21]: https://s1.51cto.com/images/20190109/1547039309567858.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 22]: https://s1.51cto.com/images/20190109/1547039331864903.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 23]: https://s1.51cto.com/images/20190109/1547039749389428.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 24]: https://s1.51cto.com/images/20190109/1547039758111020.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 25]: https://s1.51cto.com/images/20190109/1547039791651035.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 26]: https://s1.51cto.com/images/20190109/1547039828193325.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 27]: https://s1.51cto.com/images/20190109/1547039843974271.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 28]: https://s1.51cto.com/images/20190109/1547039873760023.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 29]: https://s1.51cto.com/images/20190109/1547040217634506.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 30]: https://s1.51cto.com/images/20190109/1547040249335604.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 31]: https://s1.51cto.com/images/20190109/1547040506442652.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 32]: https://s1.51cto.com/images/20190109/1547040527103655.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 33]: https://s1.51cto.com/images/20190109/1547040540521779.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 34]: https://s1.51cto.com/images/20190109/1547040561987723.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 35]: https://s1.51cto.com/images/20190110/1547096951196325.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 36]: https://s1.51cto.com/images/20190110/1547106038479783.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 37]: https://s1.51cto.com/images/20190110/1547106162432431.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 38]: https://s1.51cto.com/images/20190111/1547208044428380.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 39]: https://s1.51cto.com/images/20190111/1547208369251080.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 40]: https://s1.51cto.com/images/20190111/1547208387319471.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 41]: https://s1.51cto.com/images/20190111/1547208467271556.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 42]: https://s1.51cto.com/images/20190111/1547208533671126.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 43]: https://s1.51cto.com/images/20190111/1547208634500022.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 44]: https://s1.51cto.com/images/20190111/1547208652549474.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 45]: https://s1.51cto.com/images/20190111/1547208672700208.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 46]: https://s1.51cto.com/images/20190111/1547208758877541.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 47]: https://s1.51cto.com/images/20190111/1547208829902094.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 48]: https://s1.51cto.com/images/20190111/1547208850592321.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 49]: https://s1.51cto.com/images/20190111/1547210248657924.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[image.png 50]: https://s1.51cto.com/images/20190111/1547210352864899.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=