Skip to main content

数据源支持

消息中间件​

常用于实时采集的写入端、FlinkSQL任务的源端和写入端。

数据源实测版本Source端Lookup端Sink端    Flink 版本      实时版本
KAFKA3.x(1.16支持)/2.x/1.x/0.11/0.10支持-支持✔ 1.12   ✔ 1.164.3及以上(1.12)、6.0及以上(1.16)、kafka3.x实时6.2及以上
Confluent-支持-支持✔ 1.12   ✔ 1.165.1及以上(1.12)、6.0及以上(1.16)
TBDS_KAFKA1.x支持-支持✔ 1.12   ✔ 1.165.1及以上(1.12)、6.0及以上(1.16)
HUAWEI_KAFKAFusionInsightHD支持-支持✔ 1.12   ✔ 1.165.1及以上(1.12)、6.0及以上(1.16)
CKAFKA2.x/1.x支持-支持✔ 1.12   ✔ 1.166.0及以上
RocketMQv4.4支持--✔ 1.12   ✔ 1.165.2及以上(1.12)、6.0及以上(1.16)
RabbitMQv3.7支持--✔ 1.12   ✔ 1.165.2及以上(1.12)、6.0及以上(1.16)
EMQ1.2.2支持-支持(脚本模式)✔ 1.12   ✔ 1.165.3及以上(1.12)、6.0及以上(1.16)
CMQ1.1.7支持-支持✔ 1.12   ✔ 1.166.0及以上
upsert Kafka2.x/1.x支持-支持✔ 1.12   ✔ 1.166.0及以上

关系型数据库​

常见的关系型数据库，底层实现会分为两个Connector：

一个CDC Connector用于实时采集，目前仅支持MySQL/Oracle/SQLServer/PostgreSQL；

一个JDBC Connector用于间隔轮询查询和FlinkSQL任务的维表关联、结果表写入;

数据源实测版本Source端Lookup端Sink端Flink 版本实时版本
MySQL_Binlog5.x支持--✔ 1.12   ✔ 1.164.3及以上(1.12)、6.0及以上(1.16)
MySQL_JDBC5.x支持支持支持✔ 1.12   ✔ 1.164.3及以上(1.12)、6.0及以上(1.16)
Oracle_LogMiner10/11/12/19,支持RAC,主备架构支持--✔ 1.12   ✔ 1.164.3及以上(1.12)、6.0及以上(1.16)
Oracle_JDBC9及以上支持支持支持✔ 1.12   ✔ 1.164.3及以上(1.12)、6.0及以上(1.16)
SQLServer_CDC2012/2014/2016/2017/2019单机版支持--✔ 1.12   ✔ 1.164.3及以上(1.12)、6.0及以上(1.16)
SQLServer_JDBC2012及以上支持支持支持✔ 1.12   ✔ 1.164.3及以上(1.12)、6.0及以上(1.16)
PostgreSQL_CDC10.0+支持--✔ 1.12   ✔ 1.164.3及以上(1.12)、6.0及以上(1.16)
PostgreSQL_JDBC9.4及以上支持支持支持✔ 1.12   ✔ 1.165.1及以上(1.12)、6.0及以上(1.16)
DB2_JDBC9.7支持支持支持✔ 1.12   ✔ 1.165.2及以上(1.12)、6.0及以上(1.16)
KingbaseES8_JDBCV8R3支持-支持✔ 1.12   ✔ 1.165.1及以上(1.12)、6.0及以上(1.16)
DM_JDBCDM7/8(Mysql/Oracle)支持支持支持✔ 1.12   ✔ 1.166.0及以上
StarRocks_JDBC2.2.1、3.2.0(1.16)--支持✔ 1.12   ✔ 1.166.2及以上
Doris_JDBC2.2.1(1.16)--支持✔ 1.12   ✔ 1.166.2及以上
OushuDB_JDBC5.2.0支持-支持✔ 1.12   ✔ 1.166.0及以上
OceanbaseOceanbase 4.2.0(Mysql/Oracle)-支持支持✔ 1.166.0及以上
Clickhouse_JDBC19.x及以上支持支持支持✔ 1.166.2及以上
VastbaseG100，V2.2-支持支持✔ 1.12   ✔ 1.165.3及以上(1.12)、6.0及以上(1.16)

大数据/MPP/分析型/NoSQL/半结构化​

常用于FlinkSQL任务的结果表写入、维表关联。

当作为Source端的时候，通常用于间隔轮询查询。

类型数据源实测版本Source端Lookup端Sink端FLink 版本实时版本
大数据Hive1.x--支持✔ 1.12   ✔ 1.165.1及以上(1.12)、6.0及以上(1.16)
大数据Hive2.x--支持✔ 1.12   ✔ 1.165.1及以上(1.12)、6.0及以上(1.16)
大数据HiveMetaStore2.1、2.3---✔ 1.166.0及以上
大数据MRS Hivehive huawei--支持✔ 1.12   ✔ 1.165.3及以上(1.12)、6.0及以上(1.16)
大数据Inceptor6.0.3-支持支持✔ 1.12   ✔ 1.166.0及以上
大数据Iceberg0.13.1(1.12)、1.4.0(1.16)支持-支持✔ 1.12   ✔ 1.165.2及以上(1.12)、6.0及以上(1.16)
大数据Hudi0.14.1支持(脚本模式)-支持✔ 1.166.0及以上
大数据Paimon0.8-SNAPSHOT支持-支持✔ 1.166.0及以上
MPPGreenplum5及以上-支持支持✔ 1.12   ✔ 1.165.3及以上(1.12)、6.0及以上(1.16)
MPPVerticaV11-支持支持✔ 1.12   ✔ 1.165.2及以上(1.12)、6.0及以上(1.16)
MPPUPDRDB-支持--✔ 1.125.0及以上
MPPGBase_8a8.6.2.43支持(脚本模式)支持支持✔ 1.12   ✔ 1.165.1及以上(1.12)、6.0及以上(1.16)
MPPGreatDB1.0-支持支持✔ 1.12   ✔ 1.166.0及以上
分析型Doris0.14.x、2.0.4(1.16)-支持支持✔ 1.12   ✔ 1.165.2及以上(1.12)、6.2及以上(1.16)
分析型Starrocks2.2.1、3.2.0(1.16)支持(脚本模式)支持支持✔ 1.12   ✔ 1.165.2及以上(1.12)、6.2及以上(1.16)
分析型Impala3.2.0-支持支持✔ 1.12   ✔ 1.165.2及以上(1.12)、6.0及以上(1.16)
分析型Kudu1.14.0支持(脚本模式)支持支持✔ 1.12   ✔ 1.165.2及以上(1.12)、6.0及以上(1.16)
分析型Clickhouse19.x及以上支持支持支持✔ 1.12   ✔ 1.165.2及以上(1.12)、6.0及以上(1.16)
分析型TiDB5.3-支持支持✔ 1.12   ✔ 1.165.3及以上(1.12)、6.0及以上(1.16)
分析型AnalyticDB PostgreSQL10.11--支持✔ 1.12   ✔ 1.165.2及以上(1.12)、6.0及以上(1.16)
分析型SAP HANA2.0及以上支持(脚本模式)-支持(脚本模式)✔ 1.12   ✔ 1.165.2及以上(1.12)、6.0及以上(1.16)
分析型Phoenix5.x-支持支持✔ 1.12   ✔ 1.165.3及以上(1.12)、6.0及以上(1.16)
分析型ArgoDB6.0.2-支持(脚本模式)支持(脚本模式)✔ 1.12   ✔ 1.165.2及以上(1.12)、6.0及以上(1.16)
NoSQLHBase1.x1.4支持(脚本模式)支持支持✔ 1.12   ✔ 1.165.2及以上(1.12)、6.0及以上(1.16)
NoSQLHBase2.x2.2-支持支持✔ 1.166.0及以上
NoSQLTBDS_HBase1.2.1-TBDS-5.1.3.0-支持支持✔ 1.12   ✔ 1.165.2及以上(1.12)、6.0及以上(1.16)
NoSQLHUAWEI_HBase2.2.3-hw-ei-310003-支持支持✔ 1.166.0及以上
NoSQLElasticsearch6.x/7.x支持(脚本模式)支持支持(1.16支持7.x)✔ 1.12   ✔ 1.166.0及以上
NoSQLHUAWEI_ES7.10.2-hw-ei-312005-支持支持✔ 1.166.0及以上
NoSQLMongoDB4.4.2-支持支持✔ 1.12   ✔ 1.165.2及以上(1.12)、6.0及以上(1.16)
NoSQLRedis3.2.5支持(脚本模式)支持支持✔ 1.12   ✔ 1.165.2及以上(1.12)、6.0及以上(1.16)
NoSQLUPRedis2.10.1-支持支持✔ 1.125.1及以上
NoSQLSolr7.4.0--支持✔ 1.12   ✔ 1.165.2及以上(1.12)、6.0及以上(1.16)
NoSQLHyperbase1.3.1-transwarp-6.2.2-支持支持✔ 1.12   ✔ 1.165.3及以上(1.12)、6.0及以上(1.16)
半结构化HDFShadoop2.x/3.x支持(脚本模式)-支持(脚本模式)✔ 1.12   ✔ 1.165.1及以上(1.12)、6.0及以上(1.16)
半结构化S31.11.1001--支持✔ 1.12   ✔ 1.165.1及以上(1.12)、6.0及以上(1.16)
半结构化CSP S31.11.1001--支持✔ 1.125.1及以上
半结构化FTP0.1.55支持(脚本模式)--✔ 1.12   ✔ 1.165.1及以上(1.12)、6.0及以上(1.16)
接口WebSocket-支持--✔ 1.12   ✔ 1.165.1及以上(1.12)、6.0及以上(1.16)
接口Socket-支持--✔ 1.12   ✔ 1.165.2及以上(1.12)、6.0及以上(1.16)
接口Restful-支持--✔ 1.12   ✔ 1.165.1及以上(1.12)、6.0及以上(1.16)

自定义Connector​

对于Chunjun引擎尚未支持的数据源，用户可以自行开发数据源插件、或者寻找第三方插件，上传至平台进行该数据源的任务开发。

使用限制：

  • 上传的插件包，须符合Flink官方的开发要求，平台不做插件可用性的校验。详见Flink Connector
  • 仅限脚本模式的任务开发，可使用自定义Connector。向导模式不支持。

上传方法：

  1. 进入「实时平台-通用设置-自定义Connector」页面；image-20221204121715425

  2. 上传Connector插件包；

    image-20221204121956188

  3. 查看Connector信息。这些信息均从插件包中自动读取，如果没有内容，说明插件包格式不符合官方要求。

    image-20221204122059533