GreenplumSink

一、介绍

Greenplum sink

二、支持版本

Greenplum 5及以上

三、插件名称

SQL	greenplum-x

四、参数说明

1、SQL

• connector

  • 描述：greenplum-x
  • 必选：是
  • 参数类型：String
  • 默认值：无
    

• url

  • 描述：jdbc:pivotal:greenplum://localhost:5432;DatabaseName=postgres
  • 必选：是
  • 参数类型：String
  • 默认值：无
    

• table-name

  • 描述：表名
  • 必选：是
  • 参数类型：String
  • 默认值：无：
    

• username

  • 描述：username
  • 必选：是
  • 参数类型：String
  • 默认值：无
    

• password

  • 描述：password
  • 必选：是
  • 参数类型：String
  • 默认值：无
    

• sink.buffer-flush.max-rows

  • 描述：批量写数据条数，单位：条
  • 必选：否
  • 参数类型：String
  • 默认值：1024
    

• sink.buffer-flush.interval

  • 描述：批量写时间间隔，单位：毫秒
  • 必选：否
  • 参数类型：String
  • 默认值：10000
    

• sink.all-replace

  • 描述：是否全部替换数据库中的数据(如果数据库中原值不为null,新值为null,如果为true则会替换为null)
  • 必选：否
  • 参数类型：String
  • 默认值：false
    

• sink.parallelism

  • 描述：写入结果的并行度
  • 必选：否
  • 参数类型：String
  • 默认值：无
    

• sink.semantic

  • 描述：sink端是否支持二阶段提交
  • 注意：
    • 如果此参数为空，默认不开启二阶段提交，即sink端不支持exactly_once语义；
    • 当前只支持exactly-once 和at-least-once
  • 必选：否
  • 参数类型：String
    • 示例："semantic": "exactly-once"
  • 默认值：at-least-once
    

五、数据类型

支持	SMALLINT、SMALLSERIAL、INT2、INT、INTEGER、SERIAL、INT4、BIGINT、BIGSERIAL、OID、INT8、REAL、FLOAT4、FLOAT、DOUBLE PRECISION、FLOAT8、DECIMAL、NUMERIC、 CHARACTER VARYING、VARCHAR、CHARACTER、CHAR、TEXT、NAME、BPCHAR、BYTEA、TIMESTAMP、TIMESTAMPTZ、DATE、TIME、TIMETZ、 BOOLEAN、BOOL
暂不支持	ARRAY

六、脚本示例

CREATE TABLE source_greenplum
(
    t_bool      BOOLEAN,
    t_bytea     BYTES,
    t_char      CHAR,
    t_date      DATE,
    t_decimal   DECIMAL,
    t_float4    FLOAT,
    t_float8    DOUBLE,
    t_int2      SMALLINT,
    t_int4      INT,
    t_int8      BIGINT,
    t_numeric   DECIMAL,
    t_serial2   INT,
    t_serial4   INT,
    t_serial8   BIGINT,
    t_text      STRING,
    t_time      TIME,
    t_timestamp TIMESTAMP,
    t_timestamptz  TIMESTAMP,
    t_timetz    TIME,
    t_varchar   String
) WITH (
    'connector' = 'greenplum-x',
    'url' = 'jdbc:pivotal:greenplum://localhost:5432;DatabaseName=postgres',
    'table-name' = 'greenplum_all_type',
    'username' = 'gpadmin',
    'password' = 'gpadmin',
    'scan.fetch-size' = '2',
    'scan.query-timeout' = '10'
);

CREATE TABLE sink_greenplum (
    t_bool      BOOLEAN,
    t_bytea     BYTES,
    t_char      CHAR,
    t_date      DATE,
    t_decimal   DECIMAL,
    t_float4    FLOAT,
    t_float8    DOUBLE,
    t_int2      SMALLINT,
    t_int4      INT,
    t_int8      BIGINT,
    t_numeric   DECIMAL,
    t_serial2   INT,
    t_serial4   INT,
    t_serial8   BIGINT,
    t_text      STRING,
    t_time      TIME,
    t_timestamp TIMESTAMP,
    t_timestamptz  TIMESTAMP,
    t_timetz    TIME,
    t_varchar   String
) WITH (
      'connector' = 'greenplum-x',
      'url' = 'jdbc:pivotal:greenplum://localhost:5432;DatabaseName=postgres',
      'table-name' = 'greenplum_all_type_result',
      'username' = 'gpadmin',
      'password' = 'gpadmin',
      'sink.buffer-flush.max-rows' = '1',
      'sink.all-replace' = 'true'
);

INSERT INTO sink_greenplum
    SELECT * FROM source_greenplum;