临时查询
临时查询
临时查询是对周期任务的补充,通常用于辅助数据开发过程,主要用于实现非周期的临时数据处理,如临时表的增删改等,因此不包含周期属性和依赖关系。临时查询支持Spark SQL、Oracle SQL、SQL Server、Impala SQL、Trino SQL、HashData SQL、StarRocks SQL、Hive SQL、Python、Shell
临时查询仅支持页面直接运行生效,不支持发布,主要使用流程如下图所示:
- 新建临时查询
选中左侧的临时查询面板,点击新建临时查询按钮,填写新建临时查询弹出框中的配置:
- 临时查询名称:需输入英文字母、数字、下划线组成,不超过20个字符。
- 任务类型:目前仅支持SQL类型的临时查询,不支持其他类型临时查询。
- 存储位置:此任务在页面左侧的任务存储结构中的位置。
- 描述:此任务的描述,可输入长度不超过200个的任意字符。
临时查询信息输入完毕后,单击确认,临时查询文件创建成功。打开创建好的临时查询,即可进行临时查询编辑。
- 编辑临时查询
临时查询文件通常用于实现非周期的临时数据处理,如临时表的增删改,一次性的数据初始化或查询任务等。临时查询编辑完成后,单击保存,下次打开网页时即可看到最近一次保存的内容。
- 运行代码
保存完毕后,可以选中部分代码单击运行。也可以不选中任何代码而直接运行,那么将运行全部代码。
- 查看日志
任务触发运行后,在编辑区下方会显示日志页,如果有语句的运行结果返回了数据集,则在日志页旁显示结果页,也支持结果下载。 无论运行几次,日志页只有一个,仅显示最近一次触发运行的日志信息,之前的日志会被覆盖。结果页可以存在多个,按语句执行顺序依次显示,最多可以显示20个结果页,方便您进行对比数据等操作。 多个语句触发执行时,这些语句将串行执行,日志内容依次显示在日志页中。结果则按每个语句的执行顺序分别显示在不同的结果页中。
- 删除临时查询
右键单击选中的临时查询,选择删除即可。
临时查询历史
周期任务、手动任务、临时查询的临时运行的历史支持在离线开发->数据开发中查看,如图所示
在左侧菜单栏中选择运行历史,可以查看按时间顺序倒序展示的临时运行历史。选中临时运行历史的任一条记录,可以查看临时运行时的代码。若提交到yarn上的临时运行,可以点击IDE中右上角的「查看日志」按钮,查看yarn上的运行日志。
目前仅展示30天内的临时运行历史