Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
kafka 新生产者在其中一个代理关闭后无法更新元数据
我有一个 kafka 环境 有 2 个经纪人和 1 个动物园管理员 当我尝试向 kafka 生成消息时 如果我停止代理 1 即领导者 客户端将停止生成消息并给出以下错误 尽管代理 2 被选为主题和分区的新领导者 org apache kaf
ApacheKafka
kafkaproducerapi
如何通过jmx监控kafka中的消费者滞后?
我有一个 kafka 设置 其中包括一个到 prometheus 的 jmx 导出器 我正在寻找一个指标 它可以根据主题和组 ID 给出偏移滞后 我正在运行卡夫卡2 2 0 一些在线资源指向一个称为kafka consumer 但我的设置中
ApacheKafka
monitoring
kafkaconsumerapi
Kafka 控制台消费者:如何仅获取主题中的最后 N 条消息,而不是从头获取所有消息?
我可以做这个 bin kafka avro console consumer zookeeper 10 0 0 225 2181 kafka topic myTopic property schema registry url http 1
ApacheKafka
Spring Cloud Stream Kafka Streams Binder KafkaException:无法启动流:“监听器”不能为空
我是 Kafka Streams 和 Spring Cloud Stream 的新手 但在将集成相关代码移至属性文件中方面阅读过有关它的好文章 以便开发人员可以主要关注事物的业务逻辑方面 这里我有我的简单应用程序类 package com
Spring
springboot
ApacheKafka
apachekafkastreams
springcloudstream
vert.x 事件总线可以取代 Kafka 吗?
我正在评估 vert x 框架 看看是否可以减少使用 Spring Boot 开发的微服务之间基于 Kafka 的通信 问题是 我可以更换吗 带有 vert x 事件总线的 Kafka 和 带有基于 vert x 的 verticle 的
ApacheKafka
microservices
vertx
Kafka Stream与KTable一对多关系Join
我有一个卡夫卡流 比如说博客和一个卡夫卡表 比如说与这些博客相关的评论 来自 kafka 流的键可以映射到 Kafka 表中的多个值 即一个博客可以有多个评论 我想将这两个连接起来并创建一个带有评论 id 数组的新对象 但是当我进行连接时
ApacheKafka
apachekafkastreams
Kafka Streams 可以配置为等待 KTable 加载吗?
我正在使用物化 KTable 与我的 KStream 进行左连接 而流位于左侧 但是 它似乎立即处理 无需等待当前版本的 KTable 加载 我的 KTable 源主题中有很多值 当我启动应用程序时 很多连接失败 好吧 不是真的 因为它是左
ApacheKafka
apachekafkastreams
KSQL 流 - 从结构数组中获取数据
我的 JSON 看起来像 Obj1 a abc b def c ghi ArrayObj key1 1 Key2 2 Key3 3 key1 4 Key2 5 Key3 6 key1 7 Key2 8 Key3 9 我已经编写了 KSQL
ApacheKafka
ksqldb
confluentplatform
发送大量消息 Kafka Producer
我正在使用卡夫卡 我有一个包含 10k json 的列表 目前我发送的 Json 如下 for int i 0 i lt jsonList size i ProducerRecord
ApacheKafka
Kafka Stream groupBy 行为:聚合的许多中间输出/更新
我正在尝试使用 Kafka Stream 来聚合人们的某些属性 我有一个像这样的卡夫卡流测试 new ConsumerRecordFactory Array Byte Character input new ByteArraySeriali
ApacheKafka
apachekafkastreams
Apache Kafka 中的分区领导者是什么?
kafka领导者是自己分区还是经纪人 我最初的理解是它们是充当读 写代理的分区 然后将它们的值传递给 ISR 然而最近我听到有人提到它们 好像它们发生在 经纪人 级别 因此我很困惑 我知道还有其他帖子旨在回答这个问题 但那里的答案没有帮助
ApacheKafka
Broker
kafkatopic
leader
kafkapartition
状态存储可能已迁移到另一个实例
当我尝试从流访问状态存储时 出现以下错误 状态存储 计数存储可能已迁移到另一个实例 当我尝试从商店访问 ReadOnlyKeyValueStore 时 收到迁移到其他服务器时的错误消息 但我只有一个经纪人正在运行 package com m
ApacheKafka
apachekafkastreams
Kafka Stream:KTable 物化
如何确定主题的 KTable 实现何时完成 例如假设 KTable 有几百万行 伪代码如下 KTable
ApacheKafka
apachekafkastreams
即使生产者得到了确认,Kafka 中也会发生消息丢失吗?
卡夫卡文档 http kafka apache org documentation design filesystem says Kafka 严重依赖文件系统来存储和缓存消息 现代操作系统提供预读和后写技术 以大块倍数预取数据 并将较小的逻
ApacheKafka
kafkaproducerapi
当其中一个 Kafka 副本发生故障时会发生什么
我有一个由 2 个 Kafka 代理组成的集群和一个复制因子为 2 的主题 如果其中一个代理死亡 我的生产者是否能够继续向这个由 1 个节点组成的降级集群发送新消息 或者复制因子 2 需要 2 个活动节点并且消息将被拒绝 这取决于几个因素
ApacheKafka
Kafka Streams 重新平衡高吞吐量 kafka-streams 服务上的延迟峰值
我们开始使用 Kafka 流 我们的服务是一个非常简单的无状态消费者 我们对延迟的要求很严格 当消费者组重新平衡时 我们面临着过高的延迟问题 在我们的场景中 重新平衡会相对频繁地发生 滚动更新代码 扩大 缩小服务 容器被集群调度程序洗牌 容
Java
ApacheKafka
apachekafkastreams
是否可以像使用 AVRO 的 Kafka 那样为 Google Pub/Sub 主题定义模式?
据我所知 我们可以在Kafka上定义AVRO模式 并且使用该模式定义的主题将只接受与该模式匹配的数据 在接受队列之前验证数据结构非常有用 Google Pub Sub 中有类似的东西吗 Kafka 本身并不验证模式 因此主题除了一对字节数组
ApacheKafka
MessageQueue
Avro
googlecloudpubsub
kafka + 如何避免磁盘存储空间不足
我想描述我们的一个生产集群上的以下案例 我们有 HDP 版本 2 6 4 的 ambari 集群 集群包括 3 台 kafka 机器 每个 kafka 都有 5 T 的磁盘 我们看到的是所有kafka磁盘的大小都是100 所以kafka磁盘
ApacheKafka
配置 Kafka 以接受来自 Docker 内部和外部的客户端
我正在 Docker 网络中运行 Apache Kafka Kafka Broker 的容器称为 docker kafka 我想要的是允许来自另一个 docker 容器以及 docker 主机的 Kafka 客户端的连接 docker ka
Docker
ApacheKafka
AbstractMethodError 创建 Kafka 流
我正在尝试使用以下命令打开 Kafka 尝试过版本 0 11 0 2 和 1 0 1 流createDirectStream方法并收到此 AbstractMethodError 错误 Exception in thread main jav
scala
apachespark
ApacheKafka
SparkStreaming
«
1 ...
25
26
27
28
29
30
31
...38
»