Skip to main content

介绍

Upsert-Kafka 连接器允许以 upsert 方式从 Kafka 主题读取数据和将数据写入 Kafka 主题。 作为源,upsert-kafka 连接器生成一个变更日志流,其中每个数据记录代表一个更新或删除事件。更准确地说,数据记录中的值被解释为同一键的最后一个值的更新,如果有的话(如果相应的键不存在,则更新将被视为插入)。使用表类比,更改日志流中的数据记录被解释为 UPSERT aka INSERT/UPDATE,因为任何具有相同键的现有行都被覆盖。此外,空值以特殊方式解释:具有空值的记录表示“DELETE”。 作为接收器,upsert-kafka 连接器可以使用更改日志流。它将 INSERT/UPDATE_AFTER 数据写入为正常的 Kafka 消息值,并将 DELETE 数据写入为具有空值的 Kafka 消息(指示键的墓碑)。Flink 会通过对主键列的值进行分区数据来保证主键上的消息排序,因此同一个键上的更新/删除消息将落在同一个分区中。

连接器参数

##基础参数

名称是否必须类型描述
connector(none)String插件名称,kakfa插件需要配置为 upsert-kafka-x

其余参数见 kafka插件参数

参数示例

kafka_upsert-kafka