Kafka:获取偏移量超出分区范围。如何避免数据丢失?

2024-03-02

Fetcher INFO : Fetch offset .... is out of range for partition ..., resetting offset 

试图了解发生这种情况时会发生什么。 如果我们试图读取的偏移量丢失了(我假设是因为kafka GC'ed了偏移量)并且auto.offset.reset = latest我们是否跳过数据到最新的偏移量?

避免数据丢失的安全配置是什么?


对我来说,我通过在 KafkaConsumer 配置中添加以下行来修复它

properties.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Kafka:获取偏移量超出分区范围。如何避免数据丢失? 的相关文章

随机推荐