Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
为什么我无法从外部连接到 Kafka?
我在 ec2 实例上运行 kafka 所以amazon ec2实例有两个ip 一个是内部ip 第二个是外部使用的 我从本地计算机创建了生产者 但它重定向到内部 IP 并给我连接不成功的错误 任何人都可以帮助我在 ec2 实例上配置 kafk
amazonec2
ApacheKafka
virtualmachine
Spring Boot 和 Kafka,Producer 抛出 key='null' 异常
我正在尝试使用Spring Boot with Kafka and ZooKeeper with Docker docker compose yml version 2 services zookeeper image wurstmeist
Docker
springboot
ApacheKafka
Kafka不启动空白输出
我正在努力安装 Kafka 和 Zookeeper 我已经运行了 Zookeeper 并且它当前正在运行 我将所有内容设置为 https dzone com articles running apache kafka on windows
ApacheKafka
apachezookeeper
Spring Kafka - 为任何主题的分区消耗最后 N 条消息
我正在尝试读取请求的卡夫卡消息数 对于非事务性消息 我们将从 endoffset N 对于 M 个分区 开始轮询并收集当前偏移量小于每个分区的结束偏移量的消息 对于幂等 事务消息 我们必须考虑事务标记 重复消息 这意味着偏移量将不连续 在这
Java
Spring
ApacheKafka
apachekafkastreams
springKafka
有没有办法使用 .NET 中的 Kafka Ksql Push 查询
我目前正在 NET 中使用 Kafka 消费者处理大量 Kafka 消息 我的处理过程的第一步是解析 JSON 并根据 JSON 中特定字段的值丢弃许多消息 我不想首先处理 特别是不下载 那些不需要的消息 看起来 kSql 查询 写为推送查
c
NET
ApacheKafka
ksqldb
卡夫卡流:RocksDB TTL
据我了解 默认 TTL 设置为无穷大 非正数 但是 如果我们需要在存储中保留数据最多 2 天 我们可以使用 RocksDBConfigSetter 接口实现 即 options setWalTtlSeconds 172800 进行覆盖吗 或
ApacheKafka
apachekafkastreams
如何检测 KTable 连接的哪一侧触发了更新?
当您在 Kafka 中连接两个表时 每次更新两个 KTable 之一时 您的输出 Ktable 也会更新 想象一下你正在加入Customers与一个列表Orders你已经适当减少了 再次想象一下 您使用此连接的结果来为最终客户提供特别优惠和
ApacheKafka
apachekafkastreams
当我重新运行 Flink 消费者时,Kafka 再次消费最新消息
我在用 Scala 编写的 Apache Flink API 中创建了一个 Kafka 消费者 每当我从某个主题传递一些消息时 它就会及时接收它们 但是 当我重新启动使用者时 它不会接收新的或未使用的消息 而是使用发送到该主题的最新消息 这
ApacheKafka
apacheflink
频繁出现“offset out of range”消息,分区被消费者抛弃
我们正在运行 3 节点 Kafka 0 10 0 1 集群 我们有一个消费者应用程序 它有一个连接到多个主题的消费者组 我们在消费者日志中看到奇怪的行为 有了这些线 Fetch offset 1109143 is out of range
Java
ApacheKafka
使用 Spring Embedded Kafka 测试 @KafkaListener
我正在尝试为我正在使用 Spring Boot 2 x 开发的 Kafka 侦听器编写单元测试 作为一个单元测试 我不想启动一个完整的 Kafka 服务器作为 Zookeeper 的实例 所以 我决定使用 Spring Embedded K
Java
springboot
ApacheKafka
springKafka
SpringBootTest
当我们在 Apache Spark 中使用时,无法找到 Set([TOPIC NAME,0])) 的领导者
我们使用 Apache Spark 1 5 1 和 kafka 2 10 0 8 2 1 以及 Kafka DirectStream API 通过 Spark 从 Kafka 获取数据 我们使用以下设置在 Kafka 中创建了主题 复制因子
apachespark
ApacheKafka
SparkStreaming
了解Kafka流groupBy和window
我无法理解 kafka 流中的 groupBy groupById 和窗口的概念 我的目标是聚合一段时间内 例如 5 秒 的流数据 我的流数据看起来像 value 0 time 1533875665509 value 10 time 153
Java
ApacheKafka
apachekafkastreams
streamprocessing
Kafka:如何获取主题的最后修改时间,即添加到主题的任何分区的最后一条消息
我们的用例是从 kafka 中删除陈旧 未使用的主题 即如果某个主题 在所有分区上 在过去 7 天内没有任何新消息 那么我们会将其视为陈旧 未使用并删除它 许多谷歌结果建议向消息添加时间戳 然后解析它 对于新主题和消息 灵魂可以工作 但我们
ApacheKafka
kafkaconsumerapi
我的 Kafka 流应用程序刚刚退出,代码为 0,什么也不做
为了尝试 Kafka 流 我这样做了 public static void main String args final StreamsBuilder builder new StreamsBuilder final Properties
Java
ApacheKafka
apachekafkastreams
slf4j
kafka消费者群体正在重新平衡
我正在使用 Kafka 9 和新的 java 消费者 我正在循环内进行轮询 当代码尝试执行 Consumer commitSycn 时 由于组重新平衡 我收到 commitfailedexcption 请注意 我将 session time
ApacheKafka
kafkaconsumerapi
如何使用 Kafka 发送大消息(超过 15MB)?
我发送字符串消息到Kafka V 0 8使用 Java Producer API 如果消息大小约为 15 MB 我会得到MessageSizeTooLargeException 我尝试过设置message max bytes到 40 MB
Java
Exception
ApacheKafka
使用 Spring Boot 进行 Kafka 流
我想在我的 Spring Boot 项目中使用 Kafka Streams 实时处理 所以我需要 Kafka Streams 配置或者我想使用 KStreams 或 KTable 但我在互联网上找不到示例 我做了生产者和消费者 现在我想实时
springboot
ApacheKafka
apachekafkastreams
springKafka
使用 offsets_for_times 从时间戳消费
尝试使用 confluence kafka AvroConsumer 来消费给定时间戳的消息 if flag creating a list topic partitons to search list map lambda p Topic
python
ApacheKafka
kafkaconsumerapi
confluentkafkapython
从 Apache Kafka 中的主题删除消息
所以我是 Apache Kafka 的新手 我正在尝试创建一个简单的应用程序 以便我可以更好地理解 API 我知道这个问题在这里被问了很多 但是如何清除存储在主题上的消息 记录 我看到的大多数答案都说要更改消息保留时间或删除并重新创建主题
Java
ApacheKafka
为每个键使用主题中的最新值
我有一个 Kafka 生产者 它正在以高速率生成消息 消息键是用户名 值是他在游戏中的当前分数 Kafka消费者处理消费消息的速度相对较慢 在这里 我的要求是显示最新的分数并避免显示陈旧的数据 但代价是某些分数可能永远不会显示 本质上 对于
Stream
ApacheKafka
apachekafkastreams
1
2
3
4
5
6
...36
»