Skip to main content

Kafka Source

下文介绍在向导模式中使用Kafka作为数据源的采集配置逻辑。

配置项操作和解释

操作页面:

image-20220629111736248

  • 参数解释
配置项说明
Topic选择需要采集的Topic
读取类型支持Json、Text格式
OffsetOffset解释:消费者消费完了消息是不会被立刻删除的,每个消费者把消费的数据消费到哪里了就需要做个记录,就是offset。
在采集时,我们就需要指定从哪个offset开始消费。目前支持:group、latest、earliest、指定时间、自定义偏移量。
  • Kafka Format
Format类型说明目标端支持数据源支持DDL类型是否支持元数据采集 |
OGG选择现有Topic中的JSON Format,程序根据不同的消息格式,解析并还原Topic中的数据操作MysqlInsert、Update、Delete支持 |

OOG参考地址