Java实现mysql、hive、hbase数据库元数据操作

傷城~ 2023-09-25 11:51 16阅读 0赞

数据库元数据mysql的元数据hive的元数据hbase的元数据

Java获取元数据Java获取mysql的元数据Java获取hive的元数据Java获取hbase的元数据

元数据(Metadata)是关于数据的数据。元数据是描述数据仓库内数据的结构和建立方法的数据，按用途的不同可分为两类：技术元数据(Technical Metadata)和业务元数据(Business Metadata)。技术元数据是存储关于数据仓库系统技术细节的数据，可用于开发和管理数据仓库，主要包括对数据仓库结构的描述等。业务元数据从业务角度描述了数据仓库中的数据，使得不懂计算机技术的业务人员也能够"读懂"数据仓库中的数据。业务元数据主要包括使用者的业务术语所表达的数据模型、对象名和属性名等。

mysql关于表的元数据存储在数据库中自带的information\_schema.TABLES表中，下面对表中的部分属性进行解释。

字段名称说明TABLE\_CATELOG数据表登记目录TABLE\_SCHEMA数据表所属的数据库名TABLE\_NAME表名称TABLE\_TYPE表类型(取值：system viewENGINE使用的数据库引擎(取值：MyISAMVERSION版本，默认值10ROW\_FORMAT行格式(CompactTABLE\_ROWS表里所存数据行数AVG\_ROW\_LENGTH平均行长度DATA\_LENGTH数据长度MAX\_DATA\_LENGTH最大数据长度INDEX\_LENGTH索引长度DATA\_FREE空间碎片AUTO\_INCREMENT做自增主键的自动增量当前值CREATE\_TIME表的创建时间UPDATE\_TIME表的更新时间CHECK\_TIME表的检查时间TABLE\_COLLATION表的字符校验编码集CHECKSUM校验和CREATE\_OPTIONS创建选项TABLE\_COMMENT表的注释、备注

关于列的元数据存储在information\_schema.COLUMNS表中，下面对表中的部分属性进行解释。

字段名称说明TABLE\_SCHEMA表格所属的库TABLE\_NAME表名COLUMN\_NAME字段名ORDINAL\_POSITION字段标识，从1开始COLUMN\_DEFAULT字段默认值IS\_NULLABLE字段是否可以为空，取值是YES或NODATA\_TYPE数据类型CHARACTER\_MAXIMUM\_LENGTH字段的最大字符数CHARACTER\_OCTET\_LENGTH字段的最大字节数NUMERIC\_PRECISION数字精度，适用于int，float等数字类型NUMERIC\_SCALE小数位数，适用于int，float等数字类型DATETIME\_PRECISIONdatetime类型和SQL-92interval类型数据库的子类型代码CHARACTER\_SET\_NAME字段字符集名称，如utf8COLLATION\_NAME字符集排序规则，如utf8\_general\_ciCOLUMN\_TYPE字段类型，如float(9,3)，varchar(50)COLUMN\_KEY索引类型EXTRA其他信息，如主键的auto\_incrementPRIVILEGES权限，多个权限用逗号隔开COLUMN\_COMMENT字段注释GENERATION\_EXPRESSION组合字段的公式

Hive 的元数据信息通常存储在关系型数据库中，下面对部分元数据表及表中字段进行说明。

TBLS表字段说明：

字段名称说明TBL\_ID表IDCREATE\_TIME表的创建时间DB\_ID数据库IDLAST\_ACCESS\_TIME上次访问时间OWNER所有者RETENTION保留字段SD\_ID序列化配置信息( 对应SDS表中的SD\_ID)TBL\_NAME表名TBL\_TYPE表的类型VIEW\_EXPANDED\_TEXT视图的详细HQL语句VIEW\_ORIGINAL\_TEXT视图的原始HQL语句

TABLE\_PARAMS表字段说明：

字段名称说明TBL\_ID表ID(对应TBLS的TBL\_ID)PARAM\_KEY属性名PARAM\_VALUE属性值

SDS表字段说明：

字段名称说明SD\_ID存储信息ID(对应TBLS表中的SD\_ID )CD\_ID字段信息ID(对应COLUMN\_V2表中的CD\_ID)INPUT\_FORMAT文件输入格式IS\_COMPRESSED是否压缩IS\_STOREDASSUBDIRECTORIES是否以子目录存储LOCATIONHDFS路径NUM\_BUCKETS分桶数量OUTPUT\_FORMAT文件输出格式SERDE\_ID序列化类ID

COLUMN\_V2表字段说明：

字段名称说明CD\_ID字段信息ID(对应SDS 表CD\_ID)COMMENT字段注释COLUMN\_NAME字段名TYPE\_NAME字段类型INTEGER\_IDX字段顺序

hbase表中的数据采用rowkey形式存储，与关系型数据模型有些区别。本文使用Phoenix访问hbase。Phoenix是用Java写的基于JDBC API操作HBase的开源SQL引擎，将HBase非关系型形式转换成关系型数据模型。其元数据存储在SYSTEM.CATALOG表中，下面对该表的字段进行说明：

字段名称说明TABLE\_SCHEM表的schemaTABLE\_NAME表名COLUMN\_NAME列名TABLE\_TYPE表的类型COLUMN\_FAMILhbase底层的列族名DATA\_TYPE列的数据类型COLUMN\_SIZE列的数据长度(一般指char,varchar和decimal的长度)DECIMAL\_DIGITSDECIMAL类型的小数长度NULLABLEINTEGER类型的值能否为空COLUMN\_DEFVARCHAR类型字段的注解

getTables方法参数说明：

catalog：数据库名称。schemaPattern：数据库的登录名。值为 “” 则检索那些没有模式的描述，值为 null 则表示该模式名称不应用于缩小搜索范围。tableNamePattern：表名称。设置为null表示获取所有表信息，设置为特定的表名称则返回该表的具体信息。types：表类型组成的列表，值为null 表示返回所有类型。

getColumns方法参数说明：

catalog：数据库名称。schemaPattern：数据库的登录名。值为 “” 则检索那些没有模式的描述，值为 null 则表示该模式名称不应用于缩小搜索范围。tableNamePattern：表名称。设置为null表示获取所有表信息，设置为特定的表名称则返回该表的具体信息。columnNamePattern：列名称。设置为null 表示返回所有类型。

到此三种数据库的元数据都已获取成功，另外hive数据库的元数据也可以通过访问存储元数据的mysql数据库进行获取，直接访问hive数据库获取元数据的话，由于用户权限问题这里使用describe命令获取元数据。如果有更好的办法欢迎讨论~