Skip to main content

Topic管理

tip

Topic管理由原先实时项目首页「Kafka管理」移动至项目内部「实时湖仓」-「Topic管理」

Topic管理​

info

该功能仅旗舰版支持

连接集群​

在Topic管理首页，自动连接数据源管理中所有Kafka数据源作为Topic管理中的集群，无须手动创建链接。

基础信息​

  • 创建Topic

    • 新建Topic时，需要维护Topic名称、分区数、副本数、过期时间、描述信息。

    • 所属Topic: 列表选择数据源中心引入的Kafka数据源。

    note

    副本数需要小于等于Brokers数；

    存储时间默认168h（7天），到期后时删除还是压缩，根据kafka配置执行

    image-20220712171550230

  • Topic列表

    列表里会展示集群内已存在的Topic信息和平台新建的Topic，点击进入查看Topic详情。

    image-20220712170921359

  • Topic基本信息&数据曲线

    展示Topic的基础信息和实时指标，指标口径和含义同集群指标。各个指标数据在曲线图中支持查看趋势波动。

    • 集群信息查看

      • 查看Kafka的基本信息，包括集群名称、接入时间、版本号、ZK地址、Broker地址

      • 查看集群的实时指标，指标项及其说明如下表格：

        指标名称指标含义
        messageIn（条/s）每秒发送到kafka的消息条数
        byteIn（KB/s）每秒发送到kafka的字节数
        byteOut（KB/s）每秒流出kafka的字节数
        （包括所有消费组消费的流量。如果是Kafka版本较低，这个还包括副本之间同步的流量）
        byteRejected（KB/s）每秒被拒绝的字节数
        failedFetchRequest每秒拉取失败的请求数
        failedProduceRequest每秒发送失败的请求数
        totalProduceRequest每秒总共发送的请求数，与messagesIn的区别是一个是发送请求里面可能会有多条消息
        totalFetchRequest每秒总共拉取消息的请求数

    image-20220712173832585

  • Comsumer管理

    列表展示当前Topic下的所有Consumer Group ID，点击ID进入查看消费详情。

    PartitionID：显示这个Topic下有多少个Partition

    Partition Offset：显示每个Partition中最新的offset

    Consumer Offset：显示每个Partition被消费到了哪个offset

    Lag：显示每个Partition的消费延迟情况，等于Partition Offset-Consumer Offset

    image-20220712180020798

  • 分区管理

    列表展示当前Topic下的所有Partition ID及其基本信息，参数内容和解释如下表：

    参数值参数解释
    Partition ID表示分区标识
    beginningOffsets表示分区的起始位置。该值不用永远等于0，因为日志清理的动作会清理旧的数据，所以分区的起始位置会自然而然地增加
    endOffsets表示分区的结束位置
    msgNum表示分区中未过期的消息条数
    Logsize(MB)表示历史已经写入该分区的数据量
    Leader表示该分区的leader broker
    优选副本表示该分区的候选leader broker
    ISR表示该分区的副本同步队列

    image-20220712180020798

Topic采样​

note

默认采集topic分区中未过期的消息数据，从最早的点位开始采集。若存在输入offset位置小于未过期的数据点位则按照最小的未过期数据点位开始采集。分区不输入默认从第一个分区开始采集。

  • Topic采样

    该功能主要通过查看样例数据，帮助用户更直观地理解这个Topic。只需要选择Topic名称、输入采集条数和超时时间即可完成样例数据的采集，也可以通过指定分区和offset位置进行采集。

    image-20220712180020798