ASM 翻译系列第三十六弹：ACFS磁盘组的重平衡操作

我会带着你远行 2022-07-13 17:21 135阅读 0赞

原作者：Bane Radulovic

译者：    魏兴华

审核：    魏兴华

DBGeeK社区联合出品

原文链接：http://asmsupportguy.blogspot.sg/2014/02/acfs-disk-group-rebalance.html

## ACFS disk group rebalance ##

从Oracle 11.2版本开始，可以在ASM磁盘组之上创建通用的集群文件系统，被称为Oracle ASM Cluster File Systems或Oracle ACFS。要想创建一个ACFS文件系统，首先需要在ASM磁盘组之上创建特定的卷，这个卷在OS上是一个块设备，ACFS文件系统就创建于这些块设备之上。

本篇文章主要是关于对ACFS卷文件的重平衡、镜像和区管理的介绍。

首先说明一下测试使用的环境信息：

64-bit Oracle Linux 5.4, in Oracle Virtual Box

Oracle Restart and ASM version 11.2.0.3.0 - 64bit

ASMLib/oracleasm version 2.1.7 Set up ACFS volumes

Set up ACFS volumes

由于我的环境使用的是单实例的Oracle Restart ，因此我需要手工来load ADVM/ACFS 的驱动。（在RAC环境下是自动load的，不需要手工干预）。

64-bit Oracle Linux 5.4, in Oracle Virtual Box

\# acfsload start

ACFS-9391: Checking for existing ADVM/ACFS installation.

ACFS-9392: Validating ADVM/ACFS installation files for operating system.

ACFS-9393: Verifying ASM Administrator setup.

ACFS-9308: Loading installed ADVM/ACFS drivers.

ACFS-9154: Loading 'oracleoks.ko' driver.

ACFS-9154: Loading 'oracleadvm.ko' driver.

ACFS-9154: Loading 'oracleacfs.ko' driver.

ACFS-9327: Verifying ADVM/ACFS devices.

CFS-9156: Detecting control device '/dev/asm/.asm\_ctl\_spec'.

ACFS-9156: Detecting control device '/dev/ofsctl'.

ACFS-9322: completed

我们首先需要创建一个磁盘组进而才能在其上构建ACFS文件系统。

$ sqlplus / as sysasm

SQL> create diskgroup ACFS

disk 'ORCL:ASMDISK5', 'ORCL:ASMDISK6'

attribute 'COMPATIBLE.ASM' = '11.2', 'COMPATIBLE.ADVM' = '11.2';

Diskgroup created.

SQL>

虽然从技术上说，可以支持在一个ASM磁盘组里既存放数据库文件也存放ACFS文件，但是我推荐的使用方式是，为ACFS卷使用独立的ASM磁盘组，这样不但提供了功能/角色的分离，而且对数据库文件来说还存在着潜在的性能益处。

接下来我们检查一下所有磁盘组的AU Size：

SQL> select group\_number "Group\#", name "Name", allocation\_unit\_size "AU size"

from v$asm\_diskgroup\_stat;

Group\# Name        AU size

\---------- -------- ----------

1 ACFS        1048576

2 DATA        1048576

SQL>

上面显示两个磁盘组都是1MB的AU Size，后面当我们讨论卷文件区大小的时候还会提到它。

接下来我们在之前创建的ACFS磁盘组中创建一些卷：

$ asmcmd volcreate -G ACFS -s 4G VOL1

$ asmcmd volcreate -G ACFS -s 2G VOL2

$ asmcmd volcreate -G ACFS -s 1G VOL3

获取卷信息

$ asmcmd volinfo -a

Diskgroup Name: ACFS

Volume Name: VOL1

Volume Device: /dev/asm/vol1-142

State: ENABLED

Size (MB): 4096

Resize Unit (MB): 32

Redundancy: MIRROR

Stripe Columns: 4

Stripe Width (K): 128

Usage:

Mountpath:

Volume Name: VOL2

Volume Device: /dev/asm/vol2-142

State: ENABLED

Size (MB): 2048

Resize Unit (MB): 32

Redundancy: MIRROR

Stripe Columns: 4

Stripe Width (K): 128

Usage:

Mountpath:

Volume Name: VOL3

Volume Device: /dev/asm/vol3-142

State: ENABLED

Size (MB): 1024

Resize Unit (MB): 32

Redundancy: MIRROR

Stripe Columns: 4

Stripe Width (K): 128

Usage:

Mountpath:

卷在创建后会自动的enable，主机重启后，对于oracle restart环境，我们需要手工装载ADVM/ACFS驱动，再enable我们所创建的卷。

## NASM files for ACFS support ##

ASM会为每一个卷创建一个卷文件。在一个冗余的磁盘组中，每一个卷都会有一个dirty region logging (DRL)文件。

可以通过以下查询获得一些卷文件的信息：

SQL> select file\_number "File\#", volume\_name "Volume", volume\_device "Device", size\_mb "MB", drl\_file\_number "DRL\#"

from v$asm\_volume;

File\# Volume Device               MB DRL\#

\------ ------ ----------------- ----- ----

256 VOL1   /dev/asm/vol1-142  4096  257

259 VOL2   /dev/asm/vol2-142  2048  258

261 VOL3   /dev/asm/vol3-142  1024  260

SQL>

除了卷名称，设备名和卷大小以外，还显示了每一个卷设备的ASM文件编号256，259，262，以及和这个ASM文件相关的DRL文件号，例如上面输出结果中的257，258，259。

译者注：相当于每一个卷的创建会在ASM磁盘中产生2个文件，一个文件是其卷本身，一个是和卷相关的DRL文件。

## Volume file extents ##

我们可以通过内部视图x$kffxp查看其中一个卷文件的区分布信息：

SQL> select xnum\_kffxp "Extent", au\_kffxp "AU", disk\_kffxp "Disk"

from x$kffxp

where group\_kffxp=2 and number\_kffxp=261

order by 1,2;

Extent         AU       Disk

\---------- ---------- ----------

0       6256          0

0       6256          1

1       6264          0

1       6264          1

2       6272          1

2       6272          0

3       6280          0

3       6280          1

...

127       7272          0

127       7272          1

2147483648       6252          0

2147483648       6252          1

2147483648 4294967294      65534

259 rows selected.

SQL>

首先要注意的是，每一个区都被做了镜像，因为这个卷是在一个normal冗余的磁盘组中。

我们也观察到卷文件261有128个区，卷的大小是1个G，这意味着每一个区有8MB或者说8个AU，这里的关键是每个卷文件有它自己的区大小，这一点跟标准的ASM文件不一样，它不会从磁盘组继承区大小。

对于ASM文件来说，在ASM 11.1版本之前，extent的大小是固定的，等于AU的大小，在ASM 11.1版本之后，出现了可变extent，可变extent的出现是为了更好的支持大数据文件，减少对ASM和数据库实例的SGA要求、提升创建文件和打开文件等操作的性能，初始化的extent大小等于磁盘组的AU\_SIZE设定值，随着一个文件分配的extent越来越多，extent的size会按照4或16倍的AU\_SIZE增大。这个特性在文件新建或者resize的时候自动起作用，当然ASM磁盘组的属性值COMPATIBLE.ASM 和COMPATIBLE.RDBMS要设置为大于等于11.1。

ASM based cluster file systems

我们现在可以基于上面创建的卷来在其上构建ACFS文件系统了（当然需要通过root用户来操作）:

\# mkdir /acfs1

\# mkdir /acfs2

\# mkdir /acfs3

\# chmod 777 /acfs?

\# /sbin/mkfs -t acfs /dev/asm/vol1-142

mkfs.acfs: version         = 11.2.0.3.0

mkfs.acfs: on-disk version = 39.0

mkfs.acfs: volume          = /dev/asm/vol1-142

mkfs.acfs: volume size     = 4294967296

mkfs.acfs: Format complete.

\# /sbin/mkfs -t acfs /dev/asm/vol2-142

mkfs.acfs: version         = 11.2.0.3.0

mkfs.acfs: on-disk version = 39.0

mkfs.acfs: volume          = /dev/asm/vol2-142

mkfs.acfs: volume size     = 2147483648

mkfs.acfs: Format complete.

\# /sbin/mkfs -t acfs /dev/asm/vol3-142

mkfs.acfs: version         = 11.2.0.3.0

mkfs.acfs: on-disk version = 39.0

mkfs.acfs: volume          = /dev/asm/vol3-142

mkfs.acfs: volume size     = 1073741824

mkfs.acfs: Format complete.

\# mount -t acfs /dev/asm/vol1-142 /acfs1

\# mount -t acfs /dev/asm/vol2-142 /acfs2

\# mount -t acfs /dev/asm/vol3-142 /acfs3

\# mount | grep acfs

/dev/asm/vol1-142 on /acfs1 type acfs (rw)

/dev/asm/vol2-142 on /acfs2 type acfs (rw)

/dev/asm/vol3-142 on /acfs3 type acfs (rw)

拷贝一些文件到新创建的文件系统中：

$ cp diag/asm/+asm/+ASM/trace/\* /acfs1

$ cp diag/rdbms/db/DB/trace/\* /acfs1

$ cp oradata/DB/datafile/\* /acfs1

$ cp diag/asm/+asm/+ASM/trace/\* /acfs2

$ cp oradata/DB/datafile/\* /acfs2

$ cp fra/DB/backupset/\* /acfs3

检查使用的空间是否有变化：

$ strings /tmp/ASMspfile.backup

$ df -h /acfs?

Filesystem         Size  Used Avail Use% Mounted on

/dev/asm/vol1-142  4.0G  1.3G  2.8G  31% /acfs1

/dev/asm/vol2-142  2.0G  1.3G  797M  62% /acfs2

/dev/asm/vol3-142  1.0G  577M  448M  57% /acfs3

## ACFS disk group rebalance ##

我们增加一个盘到ACFS磁盘组中，由于这个操作改变了磁盘组的配置，会触发磁盘组的重平衡操作，我们观察一下重平衡操作的过程：

SQL> alter diskgroup ACFS add disk 'ORCL:ASMDISK4';

Diskgroup altered.

SQL>

从alert 文件中获得重平衡操作进程ARB0的PID号：

$ crsctl stat res ora.asm -p | egrep "ASM\_DISKSTRING|SPFILE"

$ tail alert\_+ASM.log

Sat Feb 15 12:44:53 2014

SQL> alter diskgroup ACFS add disk 'ORCL:ASMDISK4'

NOTE: Assigning number (2,2) to disk (ORCL:ASMDISK4)

...

NOTE: starting rebalance of group 2/0x80486fe8 (ACFS) at power 1

SUCCESS: alter diskgroup ACFS add disk 'ORCL:ASMDISK4'

Starting background process ARB0

Sat Feb 15 12:45:00 2014

ARB0 started with pid=27, OS id=10767

...

然后通过tail命令查看ARB0进程的跟踪文件获得重平衡的过程信息：

$ tail -f ./+ASM\_arb0\_10767.trc

\*\*\* ACTION NAME:() 2014-02-15 12:45:00.151

ARB0 relocating file +ACFS.1.1 (2 entries)

ARB0 relocating file +ACFS.2.1 (1 entries)

ARB0 relocating file +ACFS.3.1 (42 entries)

ARB0 relocating file +ACFS.3.1 (1 entries)

ARB0 relocating file +ACFS.4.1 (2 entries)

ARB0 relocating file +ACFS.5.1 (1 entries)

ARB0 relocating file +ACFS.6.1 (1 entries)

ARB0 relocating file +ACFS.7.1 (1 entries)

ARB0 relocating file +ACFS.8.1 (1 entries)

ARB0 relocating file +ACFS.9.1 (1 entries)

ARB0 relocating file +ACFS.256.839587727 (120 entries)

\*\*\* 2014-02-15 12:46:58.905

ARB0 relocating file +ACFS.256.839587727 (117 entries)

ARB0 relocating file +ACFS.256.839587727 (1 entries)

ARB0 relocating file +ACFS.257.839587727 (17 entries)

ARB0 relocating file +ACFS.258.839590377 (17 entries)

\*\*\* 2014-02-15 12:47:50.744

ARB0 relocating file +ACFS.259.839590377 (119 entries)

ARB0 relocating file +ACFS.259.839590377 (1 entries)

ARB0 relocating file +ACFS.260.839590389 (17 entries)

ARB0 relocating file +ACFS.261.839590389 (60 entries)

ARB0 relocating file +ACFS.261.839590389 (1 entries)

...

我们看到重平衡的过程是针对每一个ASM文件做重平衡，这一行为跟数据库文件的重平衡是完全一致的，ASM的1-9号元信息文件首先被重平衡，ASM然后重平衡卷文件256，DRL文件257，如此继续。

从这一点可以看出,ASM重平衡是卷文件而不是存储在操作系统中的文件。

## Disk online operation in an ACFS disk group ##

当ASM的磁盘offline时，ASM会创建一个staleness目录，用来跟踪这个offline的磁盘哪些区发生了变化，一旦磁盘重新online，就可以使用这些信息做一个快速的镜像同步。

但是这个功能在11.2版本对卷文件还是不可用的，一旦磁盘online，ASM会重建整个磁盘(offline）的上的内容。

但是在12.1版本以后，对于卷文件也支持了快速镜像同步功能。

## Conclusion    ##

ASM磁盘组可以被使用来构建一个通用的集群文件系统ACFS，通过在磁盘组之上创建ASM卷来做到这一点，它所暴露给操作系统的就是一个标准的块设备。

对于做了冗余的磁盘组来说，可以在系统级别起到保护用户文件的作用，ASM通过对于卷文件的每个区做镜像来达到数据保护的目的，卷文件有它自己的区大小，它不会从ASM磁盘组上继承区大小。

最后，ASM磁盘组的重平衡级别是ASM的每个卷文件，而不是操作系统级别看到的一个个的OS文件。

ASM 翻译系列第三十六弹：ACFS磁盘组的重平衡操作

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关 ASM 翻译系列第三十八弹：ASM数据清理

相关 ASM 翻译系列第三十七弹：ASM密码文件目录

相关 ASM 翻译系列第三十六弹：ACFS磁盘组的重平衡操作

相关 #ASM 翻译系列第三十四弹：ASM INTERNAL ASM Disk Group Attributes

相关 ASM 翻译系列第三十五弹：ASM 253号文件——ASM spfile

相关 #ASM 翻译系列第三十二弹：ASM INTERNAL Find block in ASM

相关 ASM 翻译系列第十弹：ASM Internal ASM DISK header

相关 #ASM 翻译系列第十六弹：ASM Internal ASM Active Change Directory

相关 ASM翻译系列第三弹：ASM disk的基础知识

相关 ASM 翻译系列第三十一弹：了解ASM文件的空间分配