Skip to main content

任务调试

描述​

数据开发在任务调试过程，可以通过数据的输入输出、运行日志输出，开发同学能够及时发现和解决代码中的问题，确保系统的稳定性和数据的准确性。

实时平台任务调试目的是通过准备测试数据、模拟任务运行、查看结果数据是否符合预期，来判断代码逻辑是否存在问*。

任务调试​

note

目前仅支持FlinkSQL向导模式任务。

任务开发​

  • 调试任务开发写完FLinkSQL语句，语法检查成功后即可使用调试 调试-1.png

任务调试-输入模拟样例​

  • 模拟样例上传支持直接上传Csv格式模版

    • 文件支持扩展名 .csv，条数应小于1000条且不超过1MB;
    • 文件仅支持UTF-8格式;
    • 文件首行标题勾选时文件中的数据第一行不作为样例使用；

  • 模拟样例上传支持从资源管理中选择资源的方式

  • 模拟样例上传支持从Kafka Topic 中实时采集Json格式的数据

    • 线上数据采集时长为1分钟，若超过1分钟数据仍未采集至指定条数，则采集停止；
    • 线上采集最大条数为1000条；
    • 线上采集数据需要刷新时则重新点击采集线上数据即可获取最新的样例；
    • 线上采集数据格式仅支持Json格式；
    • 线上采集数据支持下载数据至本地查看数据；
    • 线上采集数据不存在首行标题；

调试-3.png

任务调试-运行调试任务​

  • 任务调试会先对SQL语法进行检查通过则进行下一步；

  • 任务执行调试过程，跳转到运行页面；

  • 展示实时运行日志、任务来源表数据；

  • 任务来源表支持下载Csv格式数据；

  • 任务调试过程不支持关闭当前调试控制台页面；

  • 任务调试过程中遇到任务运行失败则停止调试，输出具体运行错误日志；

  • 任务调试过程运行支持停止调试，停止调试操作后任务即可停止；

    调试-6.png

任务调试-输出调试结果​

  • 任务调试过程中输出结果以数据流的方式输出；

  • 任务运行结果支持下载Csv格式数据；

  • 任务调试以流计算方式运行不设置最大的停止时间，停止调试需要手动操作；

    调试-7.png

支持数据类型​

下表列出了 Flink 中的数据类型与 JSON 中的数据类型的映射关系。

FlinkSQL类型JSON类型
CHAR / VARCHAR / STRINGstring
BOOLEANboolean
BINARY / VARBINARYstring with encoding: base64
DECIMALnumber
TINYINTnumber
SMALLINTnumber
INTnumber
BIGINTnumber
FLOATnumber
DOUBLEnumber
DATEstring with format: date
TIMEstring with format: time
TIMESTAMPstring with format: date-time
TIMESTAMP_WITH_LOCAL_TIME_ZONEstring with format: date-time (with UTC time zone)
INTERVALnumber

注意事项​

  • 调试任务以Session模式运行。前提需要在控制台开启Session，并分配debug slot，详见下图：

    image-20221204130208829