Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
使用Kafka主题存储多年数据
我正在寻找一种从多个设备收集指标数据的方法 数据应该由多个 group by 之类的函数聚合 聚合函数列表不完整 稍后将添加新的聚合 并且需要聚合第一天收集的所有数据 是否可以创建具有 100 年有效期的 Kafka 主题并将其用作此目的的
ApacheKafka
在哪里可以找到 kafka 的 Maven 存储库?
我想尝试 kafka 0 8 据我所知它已经发布了 但是我在哪里可以找到kafka maven存储库 我应该添加什么额外的存储库 URL 我发现了一些博客
Java
Maven
ApacheKafka
卡夫卡生产者在第一条消息上速度很慢
我在 NET 中有一个测试应用程序 它创建 kafka 生产者并使用 Confluence 客户端库向主题发送一些消息 由于某种原因 第一条消息的确认总是晚 1 秒到达 后续消息的确认几乎立即到达 这是正常行为还是我缺少某些配置 我想我尝试
NET
ApacheKafka
confluentplatform
如何确保日志永久保留在Kafka中?
我需要配置Kafkanever删除日志 查看他们的文档 我看到两种控制此操作的参数 日志清理器 描述于http kafka apache org documentation html compaction http kafka apache
ApacheKafka
kafka-console-consumer 使用什么消费组
当我像这样运行 kafka console consumer 时 bin kafka console consumer sh bootstrap server localhost 9092 topic test 它默认属于哪个消费群体 如果
ApacheKafka
kafkaconsumerapi
如何暂停kafka消费者?
我在我的框架中使用 Kafka 生产者 消费者模型 消费者端消费的记录随后被索引到elasticsearch上 这里我有一个用例 如果 ES 关闭 我将不得不暂停 kafka 消费者 直到 ES 启动 一旦启动 我需要恢复消费者并使用我上次
Java
springboot
ApacheKafka
kafkaconsumerapi
如何正确使用 Spark -> Kafka -> JDBC Sink 连接器和 Avro?
我有一个简单的 Spark 应用程序 通过以下方式生成 Kafka 消息 import org apache spark sql SparkSession import org apache spark sql functions col
apachespark
ApacheKafka
apachekafkaconnect
Avro
aiven
如何在 Quarkus-Kafka 消费者方法内执行 JPA 实体管理器操作
亲爱的 我想根据 Kafka 主题收到的消息更新我的域实体 我正在使用最新的 Quarkus 和 Smallrye 反应式消息传递与 Kafka 发布 订阅模型对我来说工作得很好 但在消费者方法中我无法使用entityManager或Hib
ApacheKafka
quarkus
如何配置每个 pod/进程使用不同的 kafka 主题分区
我有一个有 5 个分区的 kafka 主题 我当前有 5 个 pod 正在使用这 5 个分区 但是 由于特定需求 我需要每个 Pod 仅从其分配的分区中进行消费 但由于 pod 在 kubernetes 上都具有相同的配置 我无法告诉每个
Kubernetes
ApacheKafka
kafkaconsumerapi
以 JSON 格式将数据从 Kafka Topic 推送到 PostgreSQL
更新后出错 2019 07 29 12 52 23 301 INFO Initializing writer using SQL dialect PostgreSqlDatabaseDialect io confluent connect
postgresql
ApacheKafka
apachekafkaconnect
confluentplatform
kafka 8 和内存 - 内存不足,Java 运行时环境无法继续
我正在使用具有 512 兆内存的 DigiOcean 实例 在使用 kafka 时出现以下错误 我不是一个精通java的开发人员 如何调整kafka以利用少量的内存 这是一个开发服务器 我不想为更大的机器支付更多的每小时费用 There i
Java
ApacheKafka
ClickHouse Kafka 性能
按照文档中的示例 https clickhouse yandex docs en table engines kafka https clickhouse yandex docs en table engines kafka 我使用 Kaf
ApacheKafka
clickhouse
使用Spark结构化流读取Kafka数据总是出现超时问题
这是我使用 Spark Structured Streaming 从 Kafka 读取数据的代码 ss SparkSession is defined before import ss implicits val df ss readStr
apachespark
ApacheKafka
SparkStructuredStreaming
Kafka - 代理:消息大小太大
I get Message size too large当我尝试发送超过 1 Mb 大小的消息时出现异常 当我尝试生成消息时 该错误出现在我的客户端应用程序中 经过一番谷歌搜索后 我发现应该更改设置以增加最大消息大小 嗯 我在 kafka
ApacheKafka
kafkaproducerapi
Kafka主题创建:等待节点分配超时
我有一个本地 Kafka 使用以下命令运行docker compose yml file version 2 services zookeeper image confluentinc cp zookeeper 5 0 1 environm
scala
Docker
ApacheKafka
如何以声明方式管理 Kafka 主题?
我们正在使用 Apache Kafka 并且有很多手动创建的主题 使用自定义主题配置 我们希望像代码一样管理我们的主题 就像我们的基础设施 配置的其余部分一样 我们如何以编程方式和声明方式管理我们的主题 什么是理智的方法 以下是可能适合您正
ApacheKafka
infrastructureascode
configurationascode
用 Scala 编写的 Kafka Consumer for Spark API 0.10:自定义 AVRO 反序列化器
我正在将 Spark Scala 应用程序 Kafka API 升级到 v 0 10 我曾经创建自定义方法来反序列化字节字符串格式的消息 我意识到有一种方法可以将 StringDeserializer 或 ByteArrayDeserial
scala
apachespark
ApacheKafka
Kafka 如何保证消费者不会重复读取同一条消息?
Kafka 如何保证消费者不会重复读取同一条消息 或者说上面的情况有可能发生吗 同一条消息是否可以被单个或多个消费者读取两次 有很多场景会导致Consumer消费重复消息 Producer 成功发布消息 但未能确认导致重试同一消息的原因 生
ApacheKafka
Spring Kafka:轮询新消息,而不是使用“onMessage”通知
我在我的项目中使用 Spring Kafka 因为在基于 Spring 的项目中使用 Kafka 消息似乎是一个自然的选择 要使用消息 我可以利用MessageListener界面 Spring Kafka 在内部负责调用我的onMessa
Spring
ApacheKafka
kafkaconsumerapi
springKafka
Kafka Spring Cloud Stream 的多个 @EnableBinding
我正在尝试设置一个侦听 Kafka 的 Spring Boot 应用程序 我正在使用 Kafka Streams Binder 用一个简单的 EnableBinding EnableBinding StreamExample StreamP
springboot
ApacheKafka
apachekafkastreams
springcloudstream
«
1 ...
24
25
26
27
28
29
30
...39
»