Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
副本与ISR设计--Kafka从入门到精通(十四)
上篇文章说了 broker的消息设计 采用紧凑的byteBuffer 存储设计主要包含attribute后三个表示压缩类型 还有crc效验 以及key和value 后面新增了时间戳 Broker消息设计 Kafka从入门到精通 十三 htt
后端
kafka
分布式amp中间件
Java
大数据
Java中间件(1)--分布式系统&中间件从入门到精通(五)
上篇文章说了 当业务数据量大的时候 可以考虑业务和数据分离 当还解决不了的时候 可以考虑把数据库读写分离 缓存 还可以考虑把表垂直拆分 水平拆分 大型网站架构 2 分布式系统 中间件从入门到精通 四 中间件为软件应用提供了操作系统所提供的服
分布式amp中间件
后端
中间件
Java
开发语言
Kafka消息分区&producer拦截器&无消息丢失(八)
上篇文章说了 acks 1代表什么都不管 即使配置了回调也不会起作用 0代表不会等待replic副本里的不会持久化 只要broker leader持久化成功则返回给producer 1代表all 则表示全部持久化成功才返回成功给produc
kafka
分布式amp中间件
后端
Java
分布式
KafkaConsumer-Kafka从入门到精通(十)
上篇文章说了 消息压缩可以看分情况进行 判断下服务器cpu空闲还是io空闲较多 如果cpu空闲较多 则考虑消息积压 反之则不考虑 还有消费者组 consumer group 对于同一个group 只会发送一条消息进入一个实例 位移提交在0
kafka
后端
分布式amp中间件
Java
分布式
Consumer位移管理-Kafka从入门到精通(十一)
上篇文章说了 sesstion time out max poll interval ms max poll records和auto offset reset等参数 KafkaConsumer Kafka从入门到精通 十 https bl
后端
分布式amp中间件
kafka
Java
分布式
Rebalance&多线程实例消费(十二)
上篇文章说了 kafka位移提交通过enable auto commit控制手动提交还是自动提交 手动提交又分为异步提交和同步提交 还可以指定分区进行提交 默认是提交给所有分区 手动提交可以对应不同的业务场景 当需要业务全部处理完才提交位移
后端
kafka
分布式amp中间件
分布式
producer参数---Kafka从入门到精通(七)
上篇文章说了 kafka需要先构造properties指定server和kafka集群 key 和 value用stringSerialize序列化 通过producer发送send 需要records参数指定topic和value 之后发
后端
kafka
分布式amp中间件
Java
大数据