Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
为什么我的 Kafka Streams 拓扑无法正确重放/重新处理?
我有一个如下所示的拓扑 KTable
ApacheKafka
apachekafkastreams
将 Kafka 输入流动态连接到多个输出流
Kafka Streams 中是否内置了允许将单个输入流动态连接到多个输出流的功能 KStream branch允许基于真 假谓词进行分支 但这并不是我想要的 我希望每个传入的日志都确定它将在运行时流式传输到的主题 例如日志 date 20
Java
ApacheKafka
apachekafkastreams
Kafka Streams 反序列化处理程序
我正在尝试在反序列化中使用 LogAndContinueExceptionHandler 当发生错误时 通过成功记录错误并继续 它可以正常工作 但是 假设我的传入消息有连续的错误流 我停止并重新启动 kafka 流应用程序 然后我看到失败并
ApacheKafka
apachekafkastreams
Spring Kafka - 为任何主题的分区消耗最后 N 条消息
我正在尝试读取请求的卡夫卡消息数 对于非事务性消息 我们将从 endoffset N 对于 M 个分区 开始轮询并收集当前偏移量小于每个分区的结束偏移量的消息 对于幂等 事务消息 我们必须考虑事务标记 重复消息 这意味着偏移量将不连续 在这
Java
Spring
ApacheKafka
apachekafkastreams
springKafka
卡夫卡流:RocksDB TTL
据我了解 默认 TTL 设置为无穷大 非正数 但是 如果我们需要在存储中保留数据最多 2 天 我们可以使用 RocksDBConfigSetter 接口实现 即 options setWalTtlSeconds 172800 进行覆盖吗 或
ApacheKafka
apachekafkastreams
如何检测 KTable 连接的哪一侧触发了更新?
当您在 Kafka 中连接两个表时 每次更新两个 KTable 之一时 您的输出 Ktable 也会更新 想象一下你正在加入Customers与一个列表Orders你已经适当减少了 再次想象一下 您使用此连接的结果来为最终客户提供特别优惠和
ApacheKafka
apachekafkastreams
了解Kafka流groupBy和window
我无法理解 kafka 流中的 groupBy groupById 和窗口的概念 我的目标是聚合一段时间内 例如 5 秒 的流数据 我的流数据看起来像 value 0 time 1533875665509 value 10 time 153
Java
ApacheKafka
apachekafkastreams
streamprocessing
我的 Kafka 流应用程序刚刚退出,代码为 0,什么也不做
为了尝试 Kafka 流 我这样做了 public static void main String args final StreamsBuilder builder new StreamsBuilder final Properties
Java
ApacheKafka
apachekafkastreams
slf4j
使用 Spring Boot 进行 Kafka 流
我想在我的 Spring Boot 项目中使用 Kafka Streams 实时处理 所以我需要 Kafka Streams 配置或者我想使用 KStreams 或 KTable 但我在互联网上找不到示例 我做了生产者和消费者 现在我想实时
springboot
ApacheKafka
apachekafkastreams
springKafka
为每个键使用主题中的最新值
我有一个 Kafka 生产者 它正在以高速率生成消息 消息键是用户名 值是他在游戏中的当前分数 Kafka消费者处理消费消息的速度相对较慢 在这里 我的要求是显示最新的分数并避免显示陈旧的数据 但代价是某些分数可能永远不会显示 本质上 对于
Stream
ApacheKafka
apachekafkastreams
Kafka Streams - 如何扩展 Kafka 存储生成的变更日志主题
我有多个冗余应用程序实例 它们想要使用主题的所有事件并独立存储它们以进行磁盘查找 通过rocksdb 为了便于论证 我们假设这些冗余消费者正在服务无状态 http 请求 因此 负载不是使用 kafka 共享的 而是使用 kafka 将数据从
ApacheKafka
apachekafkastreams
将数据从 Kafka 存储传输到 Kafka 主题
我想在卡夫卡做这样的事情 继续将数据存储在 KStream Ktable Kafka store 中 当我的应用程序收到特定事件 数据时 仅将上述存储中的特定数据集发送到主题 我们可以在卡夫卡中做到这一点吗 我认为单独使用 Kafka 消费
ApacheKafka
apachekafkastreams
TopologyTestDriver 在 KTable 聚合上发送错误消息
我有一个聚合在 KTable 上的拓扑 这是我创建的通用方法 用于根据我拥有的不同主题构建此拓扑 public static
ApacheKafka
apachekafkastreams
Kafka Streams - 跳跃窗口 - 去重键
我正在 4 小时窗口上进行跳跃窗口聚合 每 5 分钟前进一次 由于跳跃窗口重叠 我得到了具有不同聚合值的重复键 TimeWindows of 240 60 1000L advanceBy 5 60 1000L 如何消除具有重复数据的重复键或
ApacheKafka
apachekafkastreams
Kafka - 如何同时使用过滤器和过滤器?
我有一个 Kafka 流 它从一个主题获取数据 并且需要将该信息过滤到两个不同的主题 KStream
Java
ApacheKafka
apachekafkastreams
Kafka Streams 如何处理包含不完整数据的分区?
Kafka Streams 引擎将一个分区映射到一个工作线程 即 Java 应用程序 以便该分区中的所有消息都由该工作线程处理 我有以下场景 并试图了解它是否仍然可行 我有一个主题 A 有 3 个分区 发送给它的消息由 Kafka 随机分区
ApacheKafka
apachekafkastreams
Kafka Streams 内部数据管理
在我的公司 我们广泛使用 Kafka 但出于容错的原因 我们一直使用关系数据库来存储多个中间转换和聚合的结果 现在我们正在探索 Kafka Streams 作为一种更自然的方式来做到这一点 通常 我们的需求非常简单 其中一个例子是 监听输入
ApacheKafka
apachekafkastreams
使用Spring Cloud Stream Kafka动态更改instanceindex
如同 在运行时更改 spring cloud stream 实例索引 计数 https stackoverflow com questions 37579939 changing spring cloud stream instance i
是否可以使用 Kafka Streams 访问消息头?
随着添加Headers http apache spinellicreations com kafka 0 11 0 0 javadoc org apache kafka common header Header html到记录 生产者记录
Java
ApacheKafka
apachekafkastreams
有没有办法重新分区 Kafka 流中的输入主题?
我有一个由 byte 键控的主题 我想对其进行重新分区并通过消息正文中字段中的另一个键处理该主题 我发现有KGroupedStream and groupby功能 但它需要一个聚合函数来转换为 KTable KStream 我不需要聚合 我
ApacheKafka
apachekafkastreams
1
2
3
4
5
6
»