变更日志/重新分区主题的复制因子应该是多少

2023-12-06

我知道可以为 kafka 流配置复制因子这些内部主题,我们的应用程序用于复制因子为 3 的普通应用程序主题,但到目前为止我还没有为变更日志/重新分区主题配置复制因子,而我的假设是如果一个经纪人死亡(或由于某种原因领导者发生变化),kafka 流应用程序将自动重新平衡到新的领导者。

现在,如果内部主题不使用复制因子,我不太确定正在运行的 Kafka Stream 应用程序是否可以重新平衡到新的领导者。

我们是否也应该对这些内部主题使用复制因子 3?

谢谢各位的解答....


是的,您需要对更改日志/重新分区主题使用应用程序主题的相同复制因子。

您可以通过指定更改日志/重新分区主题的复制因子

properties.put(StreamsConfig.REPLICATION_FACTOR_CONFIG, 3)

哈特哈, 账单

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

变更日志/重新分区主题的复制因子应该是多少 的相关文章

  • Kafka 分区键无法正常工作

    我正在努力解决如何正确使用分区键机制的问题 我的逻辑是设置分区号为3 然后创建三个分区键为 0 1 2 然后使用分区键创建三个KeyedMessage 例如 KeyedMessage 主题 0 消息 KeyedMessage 主题 1 消息
  • 通过SOCKS代理连接Kafka

    我有一个在 AWS 上运行的 Kafka 集群 我想用标准连接到集群卡夫卡控制台消费者从我的应用程序服务器 应用程序服务器可以通过 SOCKS 代理访问互联网 无需身份验证 如何告诉 Kafka 客户端通过代理进行连接 我尝试了很多事情 包
  • 在spark-kafka中使用schema将ConsumerRecord值转换为Dataframe

    我正在使用 Spark 2 0 2 和 Kafka 0 11 0 并且 我正在尝试在火花流中使用来自卡夫卡的消息 以下是代码 val topics notes val kafkaParams Map String Object bootst
  • KafkaConsumer.commitAsync() 行为的偏移量比以前更低

    kafka 将如何处理调用 KafkaConsumer commitAsync Map
  • 卡夫卡主题查看器? [关闭]

    Closed 这个问题正在寻求书籍 工具 软件库等的推荐 不满足堆栈溢出指南 help closed questions 目前不接受答案 我想调试一些 Kafka 主题 这样我就知道消费者或生产者是否有问题 Kafka 是否有一个 UI 我
  • 有没有办法使用 .NET 中的 Kafka Ksql Push 查询

    我目前正在 NET 中使用 Kafka 消费者处理大量 Kafka 消息 我的处理过程的第一步是解析 JSON 并根据 JSON 中特定字段的值丢弃许多消息 我不想首先处理 特别是不下载 那些不需要的消息 看起来 kSql 查询 写为推送查
  • Spring Kafka - 为任何主题的分区消耗最后 N 条消息

    我正在尝试读取请求的卡夫卡消息数 对于非事务性消息 我们将从 endoffset N 对于 M 个分区 开始轮询并收集当前偏移量小于每个分区的结束偏移量的消息 对于幂等 事务消息 我们必须考虑事务标记 重复消息 这意味着偏移量将不连续 在这
  • Kafka不启动空白输出

    我正在努力安装 Kafka 和 Zookeeper 我已经运行了 Zookeeper 并且它当前正在运行 我将所有内容设置为 https dzone com articles running apache kafka on windows
  • 为什么我无法从外部连接到 Kafka?

    我在 ec2 实例上运行 kafka 所以amazon ec2实例有两个ip 一个是内部ip 第二个是外部使用的 我从本地计算机创建了生产者 但它重定向到内部 IP 并给我连接不成功的错误 任何人都可以帮助我在 ec2 实例上配置 kafk
  • Confluence 平台与 apache kafka [关闭]

    Closed 这个问题是基于意见的 help closed questions 目前不接受答案 我是 kafka 的新手 对 Confluence 平台很好奇 看来Confluence平台上的用户故事并不多 Confluence平台和Apa
  • 创建 Kafka 主题导致没有领导者

    我正在使用 Kafka v0 9 0 1 Scala v2 11 和com 101tec zkclientv0 7 我正在尝试使用AdminUtils创建一个kafka主题 我的代码如下 String zkServers node1 218
  • 嵌入式 Kafka 测试随机失败

    我使用 EmbededKafka 实现了一系列集成测试 以测试使用 spring kafka 框架运行的一个 Kafka 流应用程序 流应用程序正在从 Kafka 主题读取消息 将其存储到内部状态存储中 进行一些转换并将其发送到另一个微服务
  • 删除主题级别配置

    为了删除主题中的所有数据 我将其retention ms配置设置为1000 bin kafka topics sh zookeeper KAFKAZKHOSTS alter topic
  • Mesos DCOS 未安装 Kafka

    我正在尝试在 Mesos 上安装 Kafka 看来安装已经成功了 vagrant DevNode dcos dcos package install kafka This will install Apache Kafka DCOS Ser
  • 如何删除 Apache Kafka 中的主题? [复制]

    这个问题在这里已经有答案了 我需要删除 Kafka 0 8 2 2 3 中的一个主题 我使用以下命令删除主题 bin kafka topics sh zookeeper localhost 2181 delete topic DummyTo
  • 为什么我的 Kafka Streams 拓扑无法正确重放/重新处理?

    我有一个如下所示的拓扑 KTable
  • Kafka 0.10 Java 客户端超时异常:包含 1 条记录的批次已过期

    我有一个单节点 多 3 个代理 Zookeeper Kafka 设置 我正在使用 Kafka 0 10 Java 客户端 我编写了以下简单的远程 在与 Kafka 不同的服务器上 生产者 在代码中我用 MYIP 替换了我的公共 IP 地址
  • 是否有用于事件驱动的 Kafka 消费者的 Python API?

    我一直在尝试构建一个以 Kafka 作为唯一界面的 Flask 应用程序 因此 我希望有一个 Kafka 消费者 当相关主题的流中存在新消息时 该消费者会被触发 并通过将消息推回到 Kafka 流来进行响应 我一直在寻找类似 Spring
  • 如何在kafka中定义多个序列化器?

    比如说 我发布和使用不同类型的 java 对象 对于每个对象 我必须定义自己的序列化器实现 我们如何在 serializer class 属性下提供kafka消费者 生产者属性文件中的所有实现 我们有一个类似的设置 不同主题中的不同对象 但
  • Kafka Consumer 如何(应该)应对有毒消息

    当 Kafka Consumer 无法反序列化消息时 客户端应用程序是否有责任处理有毒消息 Or Kafka是否会 增加 消息偏移并继续消费有效消息 是否有处理 Kafka 主题上的有毒消息的 最佳实践 当 Kafka 无法反序列化记录时

随机推荐

  • Camel-K 无法识别本地包

    我有一个使用自己的处理器的 RouteBuilder 类 当使用 Maven 在 Camel 中本地运行时 它运行良好 但是 当我尝试使用camel k时 它说找不到该包 有什么我需要做的吗 我的处理器 package com test p
  • 帕累托优化 - 非支配点

    我编写了一个算法 它返回一个与 nsga2 返回的列表类似的列表 mco 包的 nsga2 pdf 该算法本身无法识别一个点是否为非支配点 它返回的一些点是主导的 它只包含点及其值 而不包含 nsga2 返回的逻辑向量 我试图获得非支配点
  • 从对象(日期对象)解构函数

    如果我想破坏一个对象我会这样做 const obj a a fn gt some function const fn obj fn OR const a fn obj console log fn 这不适用于Date目的 未捕获的类型错误
  • Python 中的字典有单一的 repr 值吗?

    In this question 有人建议在字典上调用 repr 是将其存储在另一个字典中的好方法 这取决于 repr 是否相同 无论键如何排序 是这样吗 附言 最初问题的最优雅的解决方案实际上是使用 freezeset 不 键添加到字典的
  • ipython笔记本工具栏自定义

    我想在 ipython 笔记本上添加一个新的工具栏按钮 我得到了一个好的link提到了这一点 所以我创建一个新文件 ipython profile default static custom custom js 包含以下内容 IPython
  • PdfBox 编码符号货币欧元

    我使用 Apache PDFBox 库创建了一个 PDF 文档 我的问题是在页面上绘制字符串时对欧元货币符号进行编码 因为基本字体 Helvetica 不提供此字符 如何将输出 转换为符号 不幸的是 PDFBox 的字符串编码还远非完美 版
  • 用于 glmer 的用户定义链接函数,用于已知命运生存建模

    生态学中的常见情况是具有二元结果 0 死亡 1 生存 的生存模型 其中个体 在本例中考虑鸟类的个体筑巢尝试 在暴露于死亡风险的天数方面存在差异 为了解决这个问题 我们使用了修改后的逻辑回归 它将暴露天数合并到链接函数中 正如 Shaffer
  • SwiftUI:设置选择器行高

    对于大字体 a 中的线条Picker是重叠的 我该如何更改Picker s行高 提示 lineSpacing修饰符不会这样做 See Also 这个问题类似于Ejaaz 但他的问题至今尚未得到答复 问题 The Code 以下可运行代码产生
  • 自定义 WPF 绑定

    我有一个模拟绑定的自定义 MarkupExtension 它在正常分配中效果很好 但在样式设置器中使用时效果不佳 例如
  • FileUpload1.HasFile 始终返回 false

    我正在使用 ASP net 文件上传控件上传文件 我的 FileUpload1 HasFile 总是返回 false if FileUpload1 HasFile DBOperations db new DBOperations try F
  • 汇编中的伪指令和软件抽象

    这更多的是一个一般性的理论问题 我正在学习一些汇编语言 并注意到一些软件 例如 MARS for MIPS 实现架构的真实指令集中不存在的抽象 这似乎被称为伪指令 其示例是li 以及其他舒适的抽象 例如整齐的数组创建等 我的问题是 如果我想
  • Android Studio 正在为 React-Native 项目生成非常旧的 apk,比如 3 个月前的版本

    Android Studio 正在为 React Native 项目生成非常旧的 apk 比如 3 个月前的版本 但是在运行此命令 react native run android 时在模拟器中完美运行 过程 打开文件所在位置 构建 gt
  • 用虚函数大括号初始化结构

    大括号初始化 struct A int a int b void foo A a 1 2 效果很好 但如果将 foo 改为虚函数 则编译不会出错 错误 C2440 初始化 无法从 初始化列表 转换为 I find this 聚合是一个数组或
  • 如何使用正则表达式在 C# 中从 MongoDB 集合中获取数据?

    我在用MongoDB Drivers我的 nuget 包MVC C Web 应用程序与 MongoDB 数据库通信 现在 我想根据特定列及其值获取数据 我使用下面的代码来获取数据 var findValue John var clientT
  • 文本输入中字符串部分的不同文本颜色

    当文本输入的值仍在输入字段中时 如何对字符串的一部分进行样式设置 我知道可以使用元素中具有 contentedible 属性的元素来做到这一点 但 Google 在文本类型的输入中使用其即时建议来做到这一点 输入中出现的第一个完成 建议 虽
  • 检查用户是否安装了Chrome扩展程序

    我正在构建一个 Chrome 扩展程序 为了让整个事情按照我希望的方式工作 我需要一个外部 JavaScript 脚本来检测用户是否安装了我的扩展程序 例如 用户安装我的插件 然后访问带有我的脚本的网站 该网站检测到我的扩展已安装并相应地更
  • 用户输入的数字未相加

    我正在尝试编写一个程序 从用户那里读取一个整数 通过键盘 将其加 100 并显示结果 我所能做的就是让它们像 2 个字符串一样连接起来 而不是将数字加在一起 我不明白为什么它不会添加它们 import java io public clas
  • 如何使用QWebEngineUrlRequestInterceptor

    我需要拦截 Qt 应用程序中的 WebEngine qml 组件中发出的请求 我找到了有关 QWebEngineUrlRequestInterceptor 的文档 它似乎就是这样做的http doc qt io qt 5 qwebengin
  • 查找除已使用的锚点之外的另一个锚点的位置

    我创建了一个代码来显示我的问题 它看起来像这样 userNameID tkinter Label root text Name ID userNameID place x 640 y 320 anchor e userNameID tkin
  • 变更日志/重新分区主题的复制因子应该是多少

    我知道可以为 kafka 流配置复制因子这些内部主题 我们的应用程序用于复制因子为 3 的普通应用程序主题 但到目前为止我还没有为变更日志 重新分区主题配置复制因子 而我的假设是如果一个经纪人死亡 或由于某种原因领导者发生变化 kafka