Skip to main content

运行日志

该模块主要提供任务运行的日志信息，帮助运维人员查看任务运行情况和排查问题。

  • 运行日志

    实时打印Flink Job Manager的运行日志。

    一般在任务运行异常的时候，可以通过该日志信息排查问题。用户也可以在【数据开发-环境参数】处，配置日志输出的级别，控制打印的内容，帮助更准确的定位问题。（默认为INFO级别）

    image-20220711133431866

  • Task Manager

    实时打印Flink Task Manager的运行日志。

    用户可以将FlinkSQL任务的sink connector配置成stream-x，该日志就会实时打印输出的结果数据，这种做法可以帮助开发人员检查开发逻辑。

    note

    TM日志文件生成逻辑：

    当任务停止时，会自动生成一个最近的TM文件；每当文件大小达到30M时，会自动生成一个TM文件

image-20220711134801230

:::note

JobManager 相当于整个集群的 Master 节点，负责整个 Flink 集群任务的调度以及资源的管理，从客户端中获取提交的应用，然后根据集群中 TaskManager 上 TaskSlot 的使用情况，为提交的应用分配相应的 TaskSlot 资源并命令 TaskManager 启动从客户端中获取的应用。

TaskManager 相当于整个集群的 Slave 节点，负责具体的任务执行和对应任务在每个节点上的资源申请和管理。

:::

  • FailOver

    当任务运行失败时，此处会打印失败重试的日志信息。

  • CheckPoint

    此处会根据任务配置的Checkpoint参数信息生成CP文件，展示CP文件的存储大小、路径、生成时间、生成时长等信息

    image-20220711135726814

  • 历史日志

    定期存储jobmanager的日志文件，支持日志下载。