Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
AVRO 原始类型的 Serde 类
我正在用 Java 编写一个 Kafka 流应用程序 它接受由连接器创建的输入主题 该连接器使用架构注册表和 avro 作为键和值转换器 连接器生成以下模式 key schema int value schema type record n
Java
ApacheKafka
Avro
apachekafkastreams
confluentplatform
java.lang.IllegalArgumentException kafka控制台消费者
我们在我们的环境中使用 Kafka 2 10 0 9 0 2 4 2 0 258 我们在 kafka 控制台消费者的几个主题上遇到了以下异常 我知道有时进入这些主题的消息太大 但它们不会超过 message max bytes kafka
ApacheKafka
MSK 不删除旧消息
我有三个 MSK 集群 开发 非产品和产品 它们都具有以下集群配置 没有主题级别配置 auto create topics enable false default replication factor 3 min insync repli
ApacheKafka
awsmsk
Kafka-Connect:分布式模式下创建新的连接器就是创建新的组
我目前正在使用 confluence 3 0 1 平台 我试图在两个不同的工作人员上创建 2 个连接器 但尝试创建一个新的连接器正在为其创建一个新组 Two connectors were created using below detai
elasticsearch
ApacheKafka
apachekafkaconnect
confluentplatform
在 Apache Kafka 中,为什么消费者实例不能多于分区?
我正在学习卡夫卡 阅读这里的介绍部分 https kafka apache org documentation html introduction https kafka apache org documentation html intr
Distributed
ApacheKafka
从客户端检索 Kafka 代理属性
我想知道是否有一种方法可以使用 shell 命令检索 kafka 代理的所有配置属性 例如 类似的东西 kafka configs sh zookeeper broker ip 2181 entity type brokers descri
ApacheKafka
Amazon S3 可以作为 Kafka 集群的源吗?
Amazon S3 可以用作 Kafka 集群中的接收器 我想检查 Amazon S3 是否可以用作 Kafka 集群的源 卡夫卡连接 文件系统连接器 http kafka connect fs readthedocs io en late
amazons3
ApacheKafka
kafkaproducerapi
apachekafkaconnect
卡夫卡生产者批量大小
我有一个相关问题batch size生产者配置 当发生什么batch size已经达到并且生产者应用程序线程发送更多数据 线程是否会阻塞 直到包含批处理的缓冲区中的空间可用为止 batch size以总字节数而不是消息数来衡量批量大小 它控
ApacheKafka
Reactive Kafka:仅一次处理事务
最初通过 api 调用触发 1 Service A produces m1 to topic1 non transactional send 2 Service B consumes topic1 and does some process
ApacheKafka
springKafka
projectreactor
reactivekafka
Storm-Kafka多个spout,如何分担负载?
我正在尝试在多个喷口之间分担任务 我遇到一种情况 我一次从外部源获取一个元组 消息 并且我想要拥有多个 spout 实例 其背后的主要目的是共享负载并提高性能效率 我可以对一个 Spout 本身执行相同的操作 但我想在多个 Spout 之间
Java
loadbalancing
apachestorm
ApacheKafka
一个 Kafka 消费者如何从多个分区读取数据?
我想知道一个消费者如何从多个分区消费 具体来说 从不同分区读取消息的顺序是什么 我看了一下源代码 Consumer https github com apache kafka blob c182a431d224cb39c0bb43a5519
ApacheKafka
kafkaconsumerapi
重新启动 Kafka Connect S3 Sink 任务丢失位置,完全重写所有内容
重新启动 Kafka Connect S3 接收器任务后 它会从主题的开头开始一直写入 并写入旧记录的重复副本 换句话说 Kafka Connect 似乎失去了它的地位 所以 我想象Kafka Connect将当前的偏移位置信息存储在内部c
amazons3
ApacheKafka
apachekafkaconnect
confluentplatform
bash: C:/Program: 没有这样的文件或目录
我是 Docker Debezium Bash 和 Kafka 的新手 我正在尝试在 Windows 10 上运行 MSSQL Server 的 Debezium 教程 示例 https github com debezium debezi
bash
cURL
ApacheKafka
debezium
Spark Streaming:从 kafka 读取 CSV 字符串,写入 parquet
有很多从 Kafka 读取 json 写入 parquet 的在线示例 但我不知道如何将模式应用到来自 kafka 的 CSV 字符串 流数据 customer 1945 cusaccid 995 27999941 customer 145
python
csv
apachespark
ApacheKafka
SparkStructuredStreaming
与 KafkaStreams 的窗口结束外连接
我有一个 Kafka 主题 我希望消息具有两种不同的密钥类型 旧的和新的 IE 1 new 1 old 2 new 2 old 密钥是唯一的 但有些可能会丢失 现在 使用 Kotlin 和 KafkaStreams API 我可以记录具有相
ApacheKafka
outerjoin
apachekafkastreams
排除CDH中spark-core的依赖
我正在使用 Structured Spark Streaming 写入来自 Kafka 的 HBase 数据 我的集群发行版是 Hadoop 3 0 0 cdh6 2 0 我使用的是 Spark 2 4 0 我的代码如下 val df sp
apachespark
Hadoop
ApacheKafka
Hbase
clouderacdh
卡夫卡流 RoundRobinPartitioner
我编写了一个kafka流代码 使用kafka 2 4 kafka客户端版本和kafka 2 2服务器版本 我的主题和内部主题有 50 个分区 我的 kafka 流代码具有 selectKey DSL 操作 并且我有 200 万条使用相同 K
Java
ApacheKafka
apachekafkastreams
如何控制ConsumerGroup处理消息的并发度
我正在使用 kafka node ConsumerGroup 来消费来自主题的消息 ConsumerGroup在消费消息时需要调用外部API 甚至可能需要一秒钟才能响应 我希望控制消费队列中的下一条消息 直到收到 API 的响应 以便按顺序
nodejs
ApacheKafka
kafkaconsumerapi
从 Kafka 消费失败迭代器处于失败状态
我在使用来自 kafka 的消息时遇到异常 org springframework messaging MessagingException Consuming from Kafka failed nested exception is j
Kafka 针对非 Java 语言创建主题 API 选项
虽然您可以通过 Java 或基于 Java 的语言创建主题 请参阅here 如果不使用 Java 似乎没有一种干净的方法可以做到这一点 因此 纯语言客户端 API 例如kafka node 纯JavaScript客户端 无法直接创建主题 相
ApacheKafka
«
1 ...
27
28
29
30
31
32
33
...39
»