Kafka Source
下文介绍在向导模式中使用Kafka作为数据源的采集配置逻辑。
配置项操作和解释
操作页面:
- 参数解释
配置项 | 说明 |
---|---|
Topic | 选择需要采集的Topic |
读取类型 | 支持Json、Text格式 |
Offset | Offset解释:消费者消费完了消息是不会被立刻删除的,每个消费者把消费的数据消费到哪里了就需要做个记录,就是offset。 在采集时,我们就需要指定从哪个offset开始消费。目前支持:group、latest、earliest、指定时间、自定义偏移量。 |
- Kafka Format
Format类型 | 说明 | 目标端支持数据源 | 支持DDL类型 | 是否支持元数据采集 | |
---|---|---|---|---|
OGG | 选择现有Topic中的JSON Format,程序根据不同的消息格式,解析并还原Topic中的数据操作 | Mysql | Insert、Update、Delete | 支持 | |