获取 Kafka 中某个 topic 最新的 offset 是一个常见的需求，特别是在数据处理和监控中。下面将简单介绍如何获取 Kafka 中某个 topic 的最新 offset。

在 Kafka 中，每个消息都有一个唯一的偏移量（offset），它表示了消息在分区内的位置。Kafka 使用偏移量来实现消息的顺序性和可靠性，并且支持消费者从任意偏移量开始消费消息。

Kafka 提供了一个命令行工具kafka-consumer-groups.sh来查看消费者组的信息，包括消费者组的成员和消费情况。我们可以使用该工具来获取某个 topic 最新的偏移量。

步骤如下：

1. 打开终端窗口，进入 Kafka 安装目录下的bin/目录。

2. 运行以下命令，获取某个 topic 最新的偏移量：

./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list--topic--time -1 --offsets 1 | awk -F ':' '{sum += $3} END {print sum}' 

其中表示 Kafka 集群的 broker 地址列表，多个地址用逗号分隔；表示要查询的 topic 名称。

命令的输出结果为某个 topic 最新的偏移量。例如，如果输出为1000，则表示该 topic 最新的偏移量为1000。

解释一下这个命令的各个参数和作用：

• --broker-list：指定 Kafka 集群的 broker 地址列表，多个地址用逗号分隔。
• --topic：指定要查询的 topic 名称。
• --time：指定要查询的时间戳，单位为毫秒。这里使用-1表示查询最新的偏移量。
• --offsets：指定要查询的偏移量数量。这里使用1表示只查询一个偏移量。
• awk -F ':' '{sum += $3} END {print sum}'：使用 awk 命令计算偏移量的总和。该命令通过管道符|将前面命令的输出作为后面命令的输入。awk 命令会对输出进行处理，提取偏移量，并将其累加到变量sum中。最后，awk 命令输出变量sum的值，即偏移量的总和。

值得注意的是，由于 Kafka 是一个分布式系统，不同的分区可能存在不同的偏移量。因此，如果要获取某个 topic 所有分区的最新偏移量，需要分别查询每个分区的偏移量，并将它们相加。

除了命令行工具，Kafka 还提供了 Java API 和其他语言的客户端库，可以用于编写自定义程序来查询偏移量等信息。但是，对于简单的查询任务，使用命令行工具可能更为方便和简单。

通过上述步骤，我们可以轻松地获取 Kafka 中某个 topic 最新的偏移量，以满足数据处理和监控等需求。

推荐学习书籍
《CDA一级教材》适合CDA一级考生备考，也适合业务及数据分析岗位的从业者提升自我。完整电子版已上线CDA网校，累计已有10万+在读~

免费加入阅读：https://edu.cda.cn/goods/show/3151?targetId=5147&preview=0