oracle ogg同步到kafka不抓数据，重启ogg报错

素颜马尾好姑娘i 2022-09-25 02:27 325阅读 0赞

ERROR   OGG-02077  Extract encountered a read error in the asynchronous reader thread and is abending: Error code 4031, error message: ORA-04031: unable to allocate  bytes of shared memory ("","","","").

查看oracle alert日志

Errors in file /opt/app/oracle/diag/rdbms/bdfn/BDFN/trace/BDFN\_ms01\_4186.trc:

ORA-04031: unable to allocate 536 bytes of shared memory ("streams pool","unknown object","Logminer LCR c","krvxbmtx")

LOGMINER: session\#=1 (OGG$CAP\_KFK\_E001), builder MS01 pid=58 OS id=4186 sid=705 stopped

Errors in file /opt/app/oracle/diag/rdbms/bdfn/BDFN/trace/BDFN\_ms03\_4194.trc:

ORA-04031: unable to allocate 664 bytes of shared memory ("streams pool","unknown object","Logminer LCR c","krvuinl")

Errors in file /opt/app/oracle/diag/rdbms/bdfn/BDFN/trace/BDFN\_ms02\_4190.trc:

这里注意ogg从oracle抽取的数据都会进入内存streams pool，然而此时BDFN的oracle数据库是默认streams pool 256M（Streams Pool --- 10g 以后才有，和expdp原理一样）

原因分析

BDFN的oracle数据库上面的ogg的replica进程和dg的mining数据库进程，撑满了streams pool内存，导致内存不够ogg出现无法抓数据，然后进程没有报错的“假活”状态，关闭重启就会报streams pool相关联的shared memory不能分配问题。

深度追究

这里数据库设置了大页管理，这个设置是不允许动态管理sga

SQL>  show parameter memory

NAME                                 TYPE

\------------------------------------ ---------------------------------

VALUE

\------------------------------

hi\_shared\_memory\_address             integer

memory\_max\_target                    big integer

memory\_target                        big integer

shared\_memory\_address                integer

这里没有设置内存管理，MEMORY\_MAX\_TARGET参数包含两部分内存，一个System global area (SGA),另一个system global area(PGA）

SQL> show parameter  sga

NAME                                 TYPE

\------------------------------------ ---------------------------------

VALUE

\------------------------------

lock\_sga                             boolean

FALSE

pre\_page\_sga                         boolean

FALSE

sga\_max\_size                         big integer

18G

sga\_target                           big integer

18G

查看Streams Pool 内存大小

SQL> show parameter streams

NAME                                 TYPE

\------------------------------------ ---------------------------------

VALUE

\------------------------------

streams\_pool\_size                    big integer

448M

我们看看他的大页设置大小

root@bd-prd-sdb-12:~\#cat /proc/meminfo |grep  Huge

AnonHugePages:    284672 kB

HugePages\_Total:       0

HugePages\_Free:        0

HugePages\_Rsvd:        0

HugePages\_Surp:        0

Hugepagesize:       2048 kB

说明：（重启数据库过程中不断执行；cat /proc/meminfo |grep Huge，能看到HugePages\_Free:的数量不断减少，说明大页正在被使用。）

其实动态管理sga，是不太好的是需要锁内存的，在数据缓冲（Buffer Cache）和sql解析共享池（Shared Pool），在Buffer Cache和Shared Pool（对数据库性能影响很大）互相调整的时候，尤其是例如当Buffer Cache为10G然而Shared Pool是4G现在由于数据量很大Buffer Cache不够需要征用1G的Shared Pool，此时会锁Shared Pool内存（此时无法写数据进去，也无法使用其进行sql解析），所以导致数据库变慢。

这里的处理办法是修改其大小

SQL> alter system set  streams\_pool\_size=1024M scope=both;

System altered.

注意如果设置了动态管理内存

SQL> show parameter streams

NAME      TYPE

\------------------------------------ ---------------------------------

VALUE

\------------------------------

streams\_pool\_size      big integer

此时   streams\_pool\_size 初始值为0，以后会自动分配内存

特殊情况，此种情况没有设置内存自动管理，并规定sga的大小