一、文件清理策略
1.1、文件清理策略的概述
-
Kafka 中默认的日志保存时间为 7 天，可以通过调整如下参数修改保存时间。
| 参数 |
解释 |
| log.retention.hours |
小时，最低优先级（默认 7天） |
| log.retention.minutes |
分钟 |
| log.retention.ms |
毫秒，最高优先级 |
| log.retention.check.interval.ms |
负责设置检查周期（默认 5 分钟） |
1.2、文件清理策略的官方文档
1.3、日志超过了设置的时间如何处理
- Kafka 中提供的日志清理策略有 delete 和 compact两种。
1.3.1、delete日志删除（将过期数据删除）
-
log.cleanup.policy = delete 所有数据启用删除策略。
（1）、基于时间：默认打开。以 segment 中所有记录中的最大时间戳作为该文件时间戳。
（2）、基于大小：默认关闭。超过设置的所有日志总大小，删除最早的 segment。log.retention.bytes，默认等于-1，表示无穷大。
1.3.2、compact日志压缩
- compact日志压缩：对于相同key的不同value值，只保留最后一个版本。
-
log.cleanup.policy = compact 所有数据启用压缩策略
- 压缩后的offset可能是不连续的，比如上图中没有6，当从这些offset消费消息时，将会拿到比这个offset大的offset对应的消息，实际上会拿到offset为7的消息，并从这个位置开始消费。
- 这种策略只适合特殊场景，比如消息的key是用户ID，value是用户的资料，通过这种压缩策略，整个消息集里就保存了所有用户最新的资料。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
