Skip to main content

IDE

IDE页面是整个平台的核心能力,数据开发通过此页面进行FlinkSQL任务的开发。

IDE的操作项

基本操作

  • 保存:保存当前页面的内容。当该任务标签页名称前出现红点时,表示该任务存在更新未保存的内容
  • 主题:切换页面风格
  • 格式化:已标准SQL格式,自动组织排版代码
  • 编辑:支持全文批量查找、替换
  • 转化为脚本:将向导模式的开发任务,转化为脚本模式。(注意此操作不可逆)

运行操作

  • 语法检查:已标准FlinkSQL规范,检查当前代码。代码问题会打印在IDE下方的日志栏

  • 执行:通过执行功能,可在IDE页面创建/修改/删除Flink库、表,并支持select语句查询

    • 执行任务以Session模式运行。前提需要在控制台开启Session,并分配debug slot,详见下图:

      image-20221204130208829

  • 调试:对于Insert任务,可通过调试功能试跑该任务

    • 仅限向导模式的任务支持调试。(因为脚本模式我们无法准确地识别到哪张是源表,从而无法上传测试数据)

    • 调试任务以Session模式运行。前提需要在控制台开启Session,并分配debug slot,详见下图:

      image-20221204130208829

    • 调试的数据来源。支持手动上传(平台自动识别源表格式,提供模版下载)、线上采集源表数据

      image-20221204130638375

    • 调试的执行。在IDE的日志栏,会输出任务运行状态、数据输入/输出的结果

  • 提交:将该任务提交至「任务运维」模块。(注意此时任务并没有提交至Yarn,需要用户在任务运维处二次提交)

  • 运维:跳转至「任务运维」模块,快速定位该任务