Greenplum Stream Server(GPSS)介绍和安装配置

朴灿烈づ我的快乐病毒、 2023-01-09 15:59 236阅读 0赞

## GPSS简介 ##

Greenplum Stream Server (GPSS)是一个ETL(提取、转换、加载)工具。GPSS服务器的一个实例从一个或多个客户机接收流数据，使用Greenplum数据库可读的外部表将数据转换并插入到目标Greenplum表中。数据源和数据格式是特定于客户机的。数据源和数据格式由客户端指定。Greenplum Stream Server包括gpss命令行工具。运行gpss时，会启动一个gpss实例，此实例无限期地等待客户端数据，还包括gpsscli命令行工具，这是一个客户端工具，用于向GPSS实例提交数据加载作业并管理这些作业。

## GPSS架构 ##

Greenplum Stream Server是一个gRPC服务器。GPSS gRPC服务定义的内容包括：连接到Greenplum数据库和检查Greenplum元数据所需的操作和消息格式；数据从客户端写入greenplum数据库表所需的操作和消息格式。  
注：有关gRPC内容参考：https://grpc.io/docs/  
gpsscli命令行工具是Greenplum Stream Server的gRPC客户端工具，也可以用于操作Greenplum-Kafka 集成和Greenplum-Informatica连接器。可以使用GPSS API开发自己的GPSS gRPC客户端。  
Greenplum Stream Server架构如下图：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70]  
Greenplum Stream Server 处理ETL任务的执行流程如下所示：  
用户通过客户端应用程序启动一个或多个ETL加载作业；  
客户端应用程序使用gRPC协议向正在运行的GPSS服务实例提交和启动数据加载作业；  
GPSS服务实例将每个加载请求事务提交给Greenplum集群的Master节点，并创建或者重用已存在外部表来存储数据。  
GPSS服务实例将客户端提交的数据直接写到Greenplum集群Segment节点中。

## GPSS存在的问题 ##

同一个Greenplum Stream Server实例，当有多个客户端同时向一张表写入数据时，客户端会出现连接不稳定情况，这里需要额外做处理。一个客户端向一张表写入数据，不会存在该问题。

## 安装前准备条件 ##

Greenplum流服务器gpss和gpsscli命令行工具，在安装Greenplum数据库版本5.16及其以上版本时，已自动安装在其中，无需进行单独安装。在启动GPSS服务器实例之前，请确保:

*  安装并启动一个兼容GPSS的Greenplum数据库版本，建议安装grenplum 5.16以上版本；
 *  greenplum master节点配置好主机名，确保可以通过主机名访问；
 *  如果您的Greenplum数据库主服务器进程没有在默认端口(5432)上运行，则可识别它所运行的端口。
 *  确保GPSS所在主机与客户端、及Greenplum master和所有的segment能够连通；
 *  如果您正在使用gpsscli客户端实用程序，确保gpsscli能够连接到客户端主机，例如使用kafka作为数据源，必须确保能够连接到kafka集群，同时gpsscli能够连接到greenplum master和所有segment节点。

## 注册GPSS扩展 ##

必须在需要利用gpss写入数据的表，所在的数据库注册gpss扩展，这样才能利用gpss向该数据库下的表加载数据。需要注意数据库权限问题，最好是超级用户或该数据库的所有者。注册gpss扩展步骤如下：

配置greenplum环境变量：利用gpadmin超级用户登录到greenplum master节点`gpmaster$ source $GP_HOME/greenplum_path.sh`。如果已经在.bashrc中配置了环境变量，省略该步。  
利用psql登录到需要注册gpss的数据库`gpmaster$ psql -d testdb`  
输入以下命令注册EXTENSION `testdb=# CREATE EXTENSION gpss;`  
对于其它需要利用gpss向数据库load data，对该数据库执行2，3步操作

## 配置Greenplum Streaming Server ##

可以通过json格式的配置文件配置对Greenplum流服务器的调用。这个配置文件包含一些属性，这些属性标识GPSS服务的监听地址以及gpfdist主机和端口号。还可以在文件中指定加密选项。示例文件内容如下：

{
        "ListenAddress": {
            "Host": "gpss_host",
            "Port": gpss_portnum [,
            "SSL": use_ssl ]
        },
        "Gpfdist": {
            "Host": "gpfdist_host",
            "Port": gpfdist_portnum
        } [,
        "Certificate": {
            "CertFile": "certfile_path",
            "KeyFile": "keyfile_path",
            "CAFile": "CAfile_path"
        }]
    }

配置文件说明见下。  
GPSS部分如下：  
Host：gpss\_host。gpss所在主机的IP或主机名，默认为127.0.0.1。  
Port：gpss\_portnum。gpss服务实例的监听端口，默认为5000。  
SSL：boolean类型，表示是否需要对连接加密，默认为false。  
Gpfdist部分如下：  
Host：gpfdist\_host。gpfdist运行所在的主机IP或主机名。  
Port：gpfdist\_portnum。gpfdist端口，默认为8080。  
GPSS和Gpfdist加密部分如下：  
CertFile: certfile\_path。服务器证书文件系统路径。  
KeyFile: keyfile\_path。服务器密钥文件系统路径。  
CAFile: CAfile\_path。证书颁发机构文件的文件系统路径。CAfile\_path必须包含整个证书授权链。  
配置文件例子如下：

{
        "ListenAddress":{
            "Host":"localhost",
            "Port":12345
        },
        "Gpfdist":{
            "Host":"localhost",
            "Port":9899
        },
        "Certificate":{
            "CertFile":"/home/gpadmin/gpdb_bin/ext/server.crt",
            "KeyFile":"/home/gpadmin/gpdb_bin/ext/server.key",
            "CAFile":"/home/gpadmin/gpdb_bin/ext/rootCA.pem"
        }
    }

## 启动GPSS ##

执行如下命令启动：`gpss gpsscfg.json --log-dir ./gpsslogs`  
–log-dir表示配置gpss的日志目录  
特别注意：gpss跟踪内存中客户端作业的加载过程。当停止GPSS服务器实例时，将丢失所有已注册的作业。重启GPSS实例后，必须重新提交以前提交的作业。gpss将从上次的记录偏移量位置恢复作业。

更多有关GPSS的文章参考如下：  
GPSS自定义客户端开发：https://blog.csdn.net/u011563666/article/details/98732024

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70]: /images/20221119/9d8190c621534497bb538293e7b16639.png