Skip to main content

HBase Sink

一、介绍​

HBase sink

二、支持版本​

HBase 1.4 +

三、插件名称​

SQLhbase14-x

四、参数说明​

1、SQL​

  • connector

    • 描述：hbase14-x
    • 必选：是
    • 参数类型：String
    • 默认值：无

  • table-name

    • 描述：表名
    • 必选：是
    • 参数类型：String
    • 默认值：无：

  • zookeeper.quorum

    • 描述：HBase的Zookeeper地址
    • 必选：是
    • 参数类型：String
    • 默认值：无

  • zookeeper.znode.parent

    • 描述：root dir
    • 必选：是
    • 参数类型：String
    • 默认值：/hbase

  • null-string-literal

    • 描述：当字符串值为 null 时的存储形式
    • 必选：是
    • 参数类型：String
    • 默认值：null

  • properties.*

    • 描述：HBase原生选项 如'properties.hbase.security.authentication' = 'kerberos'.
    • 必选：是
    • 参数类型：String
    • 默认值：无

  • sink.buffer-flush.max-rows

    • 描述：批量写数据条数，单位：条
    • 必选：否
    • 参数类型：String
    • 默认值：1024

  • sink.buffer-flush.interval

    • 描述：批量写时间间隔，单位：时间
    • 必选：否
    • 参数类型：Duration
    • 默认值：10000

  • sink.parallelism

    • 描述：写入结果的并行度
    • 必选：否
    • 参数类型：String
    • 默认值：无

  • security.kerberos.principal

    • 描述：kerberos认证的principal
    • 必选：是
    • 默认值：无

  • security.kerberos.keytab

    • 描述：kerberos认证的keytab文件路径
    • 必选：是
    • 默认值：无

  • security.kerberos.krb5conf

    • 描述：kerberos认证的krb5conf文件路径
    • 必选：是
    • 默认值：无

五、数据类型​

支持BOOLEAN、TINYINT、SMALLINT、INT、BIGINT、FLOAT、DOUBLE、DECIMAL、STRING、VARCHAR、CHAR、TIMESTAMP、DATE、BINARY
暂不支持ARRAY、MAP、STRUCT、UNION

六、脚本示例​

CREATE TABLE source
(
    rowkey VARCHAR,
    item_id VARCHAR,
    category_id VARCHAR,
    behavior VARCHAR,
    ts TIMESTAMP(3)
) WITH (
    'connector' = 'stream-x'
);

CREATE TABLE sink
(
    rowkey VARCHAR,
    cf ROW(item_id VARCHAR, category_id VARCHAR, behavior VARCHAR, ts TIMESTAMP(3)),
    PRIMARY KEY (rowkey) NOT ENFORCED
) WITH (
    'connector' = 'hbase14-x'
    ,'zookeeper.quorum' = 'kudu1:2181,kudu2:2181,kudu3:2181'
    ,'zookeeper.znode.parent' = '/hbase_2.x'
    ,'null-string-literal' = 'null'
    ,'sink.buffer-flush.max-size' = '1000'
    ,'sink.buffer-flush.max-rows' = '1000'
    ,'sink.buffer-flush.interval' = '60'
    ,'table-name' = 'test'
);

insert into sink
SELECT rowkey, ROW(item_id, category_id, behavior, ts ) as cf
from source u;