间隔轮询

下文介绍在向导模式中使用间隔轮训类型的数据源配置项，该类型主要针对各类RDBMS数据库。

配置项操作和解释

• 操作页面：

  

• 参数解释

  配置项	说明
  采集字段	选择需要采集数据的字段范围
  增量标识字段	选择一个字段作为采集的增量标识。每次同步时，会自动记录增量标识的最大值。间隔到下次轮训时，会从该字段记录的最大值继续同步数据，实现增量同步。 目前支持将VARCHAR（纯数字）、INT、LONG、TIMESATAMP、DATE类型作为增量标识字段。
  采集起点	用户根据选择的增量标识字段设定相应的采集起点，若不填则默认从头开始拉取数据。 输入格式请在"数据预览"中参考所选字段的数据内容。采集时不包含采集起点，例如采集起点为40， 则采集开始时不会包含id=40这一条数据。
  轮询时间间隔	手动设定轮询时间间隔，单位为秒

• 自定义SQL

  • 使用场景

    对采集的源表需要进行简单的加工处理，比如希望只采集某几个字段的数据、需要新增一些过滤条件、需要join一张维表丰富数据等，则可以通过自定义SQL的方式实现。

  • 使用限制

    自定义SQL目前仅支持MySQL/Oracle/SQLServer三种数据源类型的间隔轮询模式。

  • 操作逻辑

    • 点击Schema下拉框后的「自定义SQL」按钮，页面效果变成如下：

      

    • 在SQL输入框内，按格式要求 输入需要查询的SQL语句

      note

      1. 自定义SQL中的库/表范围，仅限所选数据源下有权限的数据库/表
      2. 只能输入select查询语句，且select语句中的字段（column）必须指定具体字段，不能以*号代替
      3. from的格式必须是 database.table
      4. 自定义SQL结尾无需带上分号程序自动结尾

    • 完成SQL输入后，切换至「类型定义」，查询的数据库中结果字段定义数据类型

      

    • 其他配置内容同「库表选择」模式

      自定义SQL案例

常见问题答疑

• 选择采集全部字段， 如果表结构发生变化，能否直接采集到更新后的字段？如果不能，需要怎么操作？

  不能。如果想要采集到变化后的字段，需要用户手动停止任务，修改“采集字段”信息，勾选新的目标字段（如果选择为全部字段 则无需额外勾选），保存任务并续跑/重跑，即可采集到的新的字段。