从 Kafka 请求两个时间戳之间的消息

2024-01-07

是否可以根据消息被摄取的时间段来消费来自 Kafka 的消息?

Example:我希望今天 0900-1000 之间的所有消息都被提取到某个主题(现在是 1200)。

如果只有一种方法来指定开始时间,那很好 - 我的消费者可以在到达结束时间后停止处理消息。

我可以看到从给定偏移量请求消息的方法,以及获取第一个可用偏移量和最早可用偏移量的方法,但不是给定时间之后的所有消息。


你可以使用offsetsForTimes方法返回时间戳大于或等于给定时间戳的偏移量。 有关官方文档的更多信息,请参见此处:

https://kafka.apache.org/0101/javadoc/org/apache/kafka/clients/consumer/KafkaConsumer.html#offsetsForTimes(java.util.Map) https://kafka.apache.org/0101/javadoc/org/apache/kafka/clients/consumer/KafkaConsumer.html#offsetsForTimes(java.util.Map)

获得偏移量后,您可以寻求使用它并从那里开始阅读。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

从 Kafka 请求两个时间戳之间的消息 的相关文章

随机推荐