Hypertable工具之metalog_dump

心已赠人 2022-08-27 08:00 160阅读 0赞

命令：metalog\_dump \[options\] <log-dir>  
该命令可以导出指定的MetaLog文件的内容，也可以导出指定目录下所有MetaLog文件的内容。该命令只能操作MetaLog，不能操作Commit Log，即只能操作mml（适用于master）和rsml（适用于RangeServer）目录或其中的文件。  
MML（Master的MetaLog）记录了Master维护META数据的过程，例如：创建namespace、创建table、调度进行RangeServer间的负载均衡等操作均会记录在MetaLog中。  
rsml（RaneServer的MetaLog）记录了RaneServer维护META数据的过程，因为RangeServer维护的META数据主要是range信息，所以MetaLog中记录的主要为该台RangeSever上的range的变迁记录，例如：range的split、compaction、transfer等记录。  
Options:  
  --dfs arg            DFS client endpoint in <host:port> format  
  --dfs-timeout arg     Timeout in milliseconds for DFS client connections  
  -h \[ --help \]        Show this help message and exit  
  --help-config        Show help message for config properties  
  --version           Show version information and exit  
  -v \[ --verbose \]     Show more verbose output  
  --debug           Show debug output (shortcut of --logging-level debug)  
  --quiet           Negate verbose  
  --silent          Show as little output as possible  
  -l \[ --logging-level \] arg (=info)   Logging level: debug, info, notice, warn, error, crit, alert, fatal  
  --config arg (=/dinglicom/hypertable/0.9.7.2/conf/hypertable.cfg) Configuration file.                                                                      
  --induce-failure arg    Arguments for inducing failure  
  --workers arg         Number of worker threads  
  --reactors arg        Number of reactor threads  
  -t \[ --timeout \] arg   System wide timeout in milliseconds  
  --all                Display all entities in log (not just latest state)  
  --metadata-tsv       For each Range, dump StartRow and Location .tsv lines  
  --location arg       Used with --metadata-tsv to specify location proxy  
  --print-logs        Print log files, one per line

--show-version     Display log version number and exit

**1All参数**  
导出MetaLog中所有的Entity， Entity是MetaLog的最小记录单元。  
  
示例：metalog\_dump  --all  /hypertable/servers/master/log/mml/0; 可得到下面类似的结果：  
log version: 1  
\{MetaLog::Entity OperationCreateNamespace header=\{type=196618,checksum=1763651459,id=7,timestamp=Thu May 16 10:56:18 2013,flags=0,length=56\} payload=\{ state=INITIAL remove\_approvals=0 name=/sys flags=0 exclusivities=/sys dependencies= obstructions=initialize\[0\] \}  
……  
\{MetaLog::Entity OperationCreateNamespace header=\{type=196618,checksum=-652266621,id=7,timestamp=Thu May 16 10:56:18 2013,flags=0,length=56\} payload=\{ state=ASSIGN\_ID remove\_approvals=0 name=/sys flags=0 exclusivities=/sys dependencies= obstructions=initialize\[0\] \}  
……  
\{MetaLog::Entity OperationInitialize header=\{type=196612,checksum=-1833518834,id=3,timestamp=Thu May 16 10:56:18 2013,flags=0,length=54\} payload=\{ state=STARTED remove\_approvals=0 root-location='' 2nd-metadata-location='' \{TableIdentifier: id='' generation=0\}  exclusivities= dependencies=initialize\[0\] obstructions=INIT \}  
……  
\{MetaLog::Entity RangeServerConnection header=\{type=131072,checksum=-124467518,id=11,timestamp=Thu May 16 10:56:30 2013,flags=0,length=33\} payload=\{ rs1 state=0 \}  
……  
\{MetaLog::Entity OperationCreateTable header=\{type=196620,checksum=973795280,id=15,timestamp=Thu May 16 10:56:32 2013,flags=0,length=1066\} payload=\{ state=ASSIGN\_ID remove\_approvals=0 name=/sys/RS\_METRICS \{TableIdentifier: id='' generation=0\}  location=  exclusivities=/sys/RS\_METRICS dependencies=METADATA,SYSTEM obstructions=initialize\[2\],initialize\[3\] \}  
……  
试验表明：Entity的名称表示本次的操作，例如：看到OperationCreateNamespace、RangeServerConnection、OperationCreateTable等名称就能“顾名思义”了。在header中具有相同id的不同Entity表示同一操作的不同记录，当然它们的state应该不同，例如上述结果的前两条Entity。  
  
示例：metalog\_dump  --all  /hypertable/servers/rs2/log/rsml/1; 可得到下面类似的结果：  
log version: 2  
\{MetaLog::Entity Range header=\{type=65538,checksum=1817927163,id=2,timestamp=Thu May 23 16:00:51 2013,flags=0,length=143\} payload=\{ \{TableIdentifier: id='2/0' generation=1\} \{RangeSpec: start='z17053820421369217533b' end='z17053879551368859366b'\} \{RangeState: state=STEADY timestamp=0 soft\_limit=536870912 transfer\_log='/hypertable/servers/rs1/log/2/0/Tm5BT7K-A\_qHSd3I-1369296020' split\_point='' old\_boundary\_row=''\} needs\_compaction=false load\_acknowledged=false original\_transfer\_log= \}  
……  
\{MetaLog::Entity Range header=\{type=65538,checksum=-244154187,id=3,timestamp=Thu May 23 16:01:41 2013,flags=0,length=121\} payload=\{ \{TableIdentifier: id='2/0' generation=1\} \{RangeSpec: start='' end='a00000006611368753600d'\} \{RangeState: state=STEADY timestamp=0 soft\_limit=268435456 transfer\_log='/hypertable/servers/rs9/log/2/0/M5KzwFK8V1DWP4ha-1369296101' split\_point='' old\_boundary\_row=''\} needs\_compaction=true load\_acknowledged=false original\_transfer\_log= \}  
……  
\{MetaLog::Entity Range header=\{type=65538,checksum=-244350796,id=3,timestamp=Thu May 23 16:01:41 2013,flags=0,length=121\} payload=\{ \{TableIdentifier: id='2/0' generation=1\} \{RangeSpec: start='' end='a00000006611368753600d'\} \{RangeState: state=STEADY timestamp=0 soft\_limit=268435456 transfer\_log='/hypertable/servers/rs9/log/2/0/M5KzwFK8V1DWP4ha-1369296101' split\_point='' old\_boundary\_row=''\} needs\_compaction=false load\_acknowledged=false original\_transfer\_log= \}  
……  
\{MetaLog::Entity Range header=\{type=65538,checksum=-1547008448,id=9,timestamp=Thu May 23 16:01:45 2013,flags=0,length=143\} payload=\{ \{TableIdentifier: id='2/0' generation=1\} \{RangeSpec: start='a00000624991368695204d' end='a00000631101369159596d'\} \{RangeState: state=STEADY timestamp=0 soft\_limit=268435456 transfer\_log='/hypertable/servers/rs8/log/2/0/twsA7p7\_eXOL6Awm-1369296102' split\_point='' old\_boundary\_row=''\} needs\_compaction=true load\_acknowledged=false original\_transfer\_log= \}

……

**2缺省options参数时**  
导出MetaLog中具有最终状态的Entity，中间状态的Entity在使用all参数时导出。  
示例：metalog\_dump  /hypertable/servers/master/log/mml/0; 假设集群中有6台RangeServer，可得到下面类似的结果：  
log version: 1  
\{MetaLog::Entity OperationInitialize header=\{type=196612,checksum=-94584162,id=3,timestamp=Thu May 16 10:56:18 2013,flags=0,length=32\} payload=\{ state=COMPLETE remove\_approvals=0 \[HYPERTABLE ok\] \}  
\{MetaLog::Entity RangeServerConnection header=\{type=131072,checksum=160810946,id=11,timestamp=Thu May 16 10:56:30 2013,flags=0,length=33\} payload=\{ rs1 state=BALANCED \}  
\{MetaLog::Entity RangeServerConnection header=\{type=131072,checksum=159762367,id=12,timestamp=Thu May 16 10:56:31 2013,flags=0,length=33\} payload=\{ rs2 state=BALANCED \}  
……  
\{MetaLog::Entity BalancePlanAuthority header=\{type=196608,checksum=83886336,id=19,timestamp=Thu May 16 10:56:32 2013,flags=0,length=10\} payload=\{ generation 0 \}  
\{MetaLog::Entity RangeServerConnection header=\{type=131072,checksum=159762366,id=21,timestamp=Thu May 16 10:56:33 2013,flags=0,length=33\} payload=\{ rs5 state=BALANCED \}  
\{MetaLog::Entity RangeServerConnection header=\{type=131072,checksum=162645957,id=23,timestamp=Thu May 16 10:56:35 2013,flags=0,length=33\} payload=\{ rs6 state=BALANCED \}  
  
示例：metalog\_dump  /hypertable/servers/rs2/log/rsml/1; 可得到下面类似的结果：  
log version: 2  
\{MetaLog::Entity Range header=\{type=65538,checksum=1851481851,id=2,timestamp=Thu May 23 16:00:51 2013,flags=0,length=143\} payload=\{ \{TableIdentifier: id='2/0' generation=1\} \{RangeSpec: start='z17053820421369217533b' end='z17053879551368859366b'\} \{RangeState: state=STEADY timestamp=0 soft\_limit=536870912 transfer\_log='/hypertable/servers/rs1/log/2/0/Tm5BT7K-A\_qHSd3I-1369296020' split\_point='' old\_boundary\_row=''\} needs\_compaction=false load\_acknowledged=true original\_transfer\_log= \}  
\{MetaLog::Entity Range header=\{type=65538,checksum=-210796108,id=3,timestamp=Thu May 23 16:01:41 2013,flags=0,length=121\} payload=\{ \{TableIdentifier: id='2/0' generation=1\} \{RangeSpec: start='' end='a00000006611368753600d'\} \{RangeState: state=STEADY timestamp=0 soft\_limit=268435456 transfer\_log='/hypertable/servers/rs9/log/2/0/M5KzwFK8V1DWP4ha-1369296101' split\_point='' old\_boundary\_row=''\} needs\_compaction=false load\_acknowledged=true original\_transfer\_log= \}  
……  
\{MetaLog::Entity Range header=\{type=65538,checksum=-194999281,id=5,timestamp=Thu May 23 16:01:42 2013,flags=0,length=143\} payload=\{ \{TableIdentifier: id='2/0' generation=1\} \{RangeSpec: start='a00000531271369105591d' end='a00000601901368698063d'\} \{RangeState: state=STEADY timestamp=0 soft\_limit=268435456 transfer\_log='/hypertable/servers/rs8/log/2/0/trK\_ySZzCMFN6h2P-1369296101' split\_point='' old\_boundary\_row=''\} needs\_compaction=false load\_acknowledged=true original\_transfer\_log= \}

试验表明：使用缺省options参数时，一台RangeServer对应的rsml中，所有名称为Range的Entity数量，表示该台RangeServer维护的Range数量。例如：假设/hypertable/servers/rs2/log/rsml目录中只有一个MetaLog文件，当然文件名称应该为0.执行metalog\_dump  /hypertable/servers/rs2/log/rsml/0时，得到结果中的名称为Range的Entity有80条，则表示rs2所标识的RangeServer当前维护了80个Range。可通过监控界面的RangeCount获取RangeServer维护的Range数目进行参考。

**3metadata-tsv和location参数**  
metadata-tsv参数只导出Range的StartRow 和Location，并以tsv格式展示。该参数只适用于rsml，不能用于mml，因为只有RangeServer才会维护Range信息。  
在任意一台RangeServer上执行带有该参数的Metalog\_dump命令时，显示结果中的Location默认都为该RangeServer的代理标识(rsN)。在Master上执行时，结果中的Location项都为空，并且首行提示下面类似的错误提示：  
ERROR metalog\_dump : (/root/src/hypertable/src/cc/Common/FileUtils.cc:289) open("/dinglicom/hypertable/0.9.7.7/run/location") failure - No such file or directory”  
很明显，该参数企图在hypertable目录中寻找location文件中的代理标识，因为Master不具有代理标识，所以报错，并且结果中的Location项只能为空了。  
Location参数只能和metadata-tsv参数合用，用于指定显示结果中Location项的值。如果在Master上使用此参数的话，则可以消除上述的错误提示。  
  
示例：metalog\_dump  --metadata-tsv /hypertable/servers/rs2/log/rsml/1; 可得到下面类似的结果：  
……  
2/0:a61005-----1368751151c StartRow a60859-----1368694358b  
2/0:a61005-----1368751151c Location rs2  
2/0:a32805502001368837054b StartRow a32706019161368799720b  
2/0:a32805502001368837054b Location rs2  
……  
实验表明：该命令如果在rs2上执行， Location项显示为rs2；如果在rs3上执行， Location项显示为rs3；如果在Master上执行， Location项显示为空。  
  
示例：metalog\_dump  --metadata-tsv –location rs3 /hypertable/servers/rs2/log/rsml/1; 可得到下面类似的结果：  
……  
2/0:a61005-----1368751151c StartRow a60859-----1368694358b  
2/0:a61005-----1368751151c Location rs3  
2/0:a32805502001368837054b StartRow a32706019161368799720b  
2/0:a32805502001368837054b Location rs3  
……  
实验表明：不管在集群中哪台机器上执行该命令， Location项都显示为rs3。