无法在分布式模式下运行 Kafka Connect - 尝试创建/查找主题“connect-offsets”时出错

2024-02-19

[2017-08-31 10:15:20,715] WARN 配置 提供了“internal.key.converter”,但不是已知的配置。 (org.apache.kafka.clients.admin.AdminClientConfig:231) [2017-08-31 10:15:20,715] 警告配置 已提供“status.storage.replication.factor”,但未知 配置。 (org.apache.kafka.clients.admin.AdminClientConfig:231) [2017-08-31 10:15:20,715] WARN 配置 提供了“internal.value.converter.schemas.enable”,但不是 已知配置。 (org.apache.kafka.clients.admin.AdminClientConfig:231) [2017-08-31 10:15:20,715] WARN 配置 已提供“value.converter.schemas.enable”,但未知 配置。 (org.apache.kafka.clients.admin.AdminClientConfig:231) [2017-08-31 10:15:20,715] WARN 配置 提供了“internal.value.converter”,但不是已知的配置。 (org.apache.kafka.clients.admin.AdminClientConfig:231) [2017-08-31 10:15:20,715] 警告配置 已提供“offset.storage.replication.factor”,但未知 配置。 (org.apache.kafka.clients.admin.AdminClientConfig:231) [2017-08-31 10:15:20,716] WARN 配置 提供了“offset.storage.topic”,但不是已知的配置。 (org.apache.kafka.clients.admin.AdminClientConfig:231) [2017-08-31 10:15:20,716] 警告提供了配置“value.converter” 但不是已知的配置。 (org.apache.kafka.clients.admin.AdminClientConfig:231) [2017-08-31 10:15:20,716] 警告 已提供配置“key.converter”,但 不是已知的配置。 (org.apache.kafka.clients.admin.AdminClientConfig:231) [2017-08-31 10:15:20,768]信息码头-9.2.15.v20160210 (org.eclipse.jetty.server.Server:327) 2017 年 8 月 31 日上午 10:15:21 org.glassfish.jersey.internal.Errors logErrors 警告:以下内容 已检测到警告:警告:(子)资源方法 列出连接器 org.apache.kafka.connect.runtime.rest.resources.ConnectorsResource 包含空路径注释。警告:(子)资源方法 创建连接器在 org.apache.kafka.connect.runtime.rest.resources.ConnectorsResource 包含空路径注释。警告:(子)资源方法 列出连接器插件 org.apache.kafka.connect.runtime.rest.resources.ConnectorPluginsResource 包含空路径注释。警告:(子)资源方法 服务器信息在 org.apache.kafka.connect.runtime.rest.resources.RootResource 包含 空路径注释。

[2017-08-31 10:15:21,142] 信息开始 o.e.j.s.ServletContextHandler@63f02de0{/,null,可用} (org.eclipse.jetty.server.handler.ContextHandler:744)[2017-08-31 10:15:21,149] 信息开始 ServerConnector@61b06738{HTTP/1.1}{0.0.0.0:8083} (org.eclipse.jetty.server.ServerConnector:266) [2017-08-31 10:15:21,149] 信息开始@13584ms (org.eclipse.jetty.server.Server:379) [2017-08-31 10:15:21,150] 信息 REST 服务器正在监听http://172.28.193.126:8083/ http://172.28.193.126:8083/, 广告网址http://172.28.193.126:8083/ http://172.28.193.126:8083/(org.apache.kafka.connect.runtime.rest.RestServer:150) [2017-08-31 10:15:21,150] INFO Kafka Connect 启动 (org.apache.kafka.connect.runtime.Connect:55) [2017-08-31 10:15:21,468] 错误牧羊人工作线程中未捕获的异常,退出: (org.apache.kafka.connect.runtime.distributed.DistributedHerder:206) org.apache.kafka.connect.errors.ConnectException:错误 尝试创建/查找主题“connect-offsets” org.apache.kafka.connect.util.TopicAdmin.createTopics(TopicAdmin.java:245) 在 org.apache.kafka.connect.storage.KafkaOffsetBackingStore$1.run(KafkaOffsetBackingStore.java:99) 在 org.apache.kafka.connect.util.KafkaBasedLog.start(KafkaBasedLog.java:126) 在 org.apache.kafka.connect.storage.KafkaOffsetBackingStore.start(KafkaOffsetBackingStore.java:109) 在 org.apache.kafka.connect.runtime.Worker.start(Worker.java:146) 处 org.apache.kafka.connect.runtime.AbstractHerder.startServices(AbstractHerder.java:99) 在 org.apache.kafka.connect.runtime.distributed.DistributedHerder.run(DistributedHerder.java:194) 在 java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) 在 java.util.concurrent.FutureTask.run(FutureTask.java:266) 处 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) 在 java.lang.Thread.run(Thread.java:748) 引起的: java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.UnknownServerException:服务器 处理请求时遇到意外错误 org.apache.kafka.common.internals.KafkaFutureImpl.wrapAndThrow(KafkaFutureImpl.java:45) 在 org.apache.kafka.common.internals.KafkaFutureImpl.access$000(KafkaFutureImpl.java:32) 在 org.apache.kafka.common.internals.KafkaFutureImpl$SingleWaiter.await(KafkaFutureImpl.java:89) 在 org.apache.kafka.common.internals.KafkaFutureImpl.get(KafkaFutureImpl.java:213) 在 org.apache.kafka.connect.util.TopicAdmin.createTopics(TopicAdmin.java:226)


当以分布式模式启动 Kafka Connect 时,它将尝试创建或期望 Kafka 中存在多个主题。就我而言,自动主题创建已关闭,因此 Kafka Connect 无法在我运行它的环境中创建主题。我自己创建这些主题解决了这个问题。您可以在属性文件(如下)中指定这些主题的名称。

offset.storage.topic

config.storage.topic

status.storage.topic

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

无法在分布式模式下运行 Kafka Connect - 尝试创建/查找主题“connect-offsets”时出错 的相关文章

  • 调试自定义 Kafka 连接器的简单有效的方法是什么?

    我正在使用几个 Kafka 连接器 在控制台输出中没有看到它们的创建 部署有任何错误 但是我没有得到我正在寻找的结果 没有任何结果 无论是期望的还是否则 我基于 Kafka 的示例 FileStream 连接器制作了这些连接器 因此我的调试
  • 无法找到任何实现 Connector 且名称与 io.debezium.connector.mysql.MySqlConnector 匹配的类,可用的连接器有

    使用 Kafka MySQL 和 Debezium 设置数据流管道 我是这个版本的 Kafka 3 4 0 MySQL 8 Debezium 2 2 1 Java 11 目标 我想从 MySQL 捕获所有 CDC 并将数据流式传输到 Kaf
  • 连接到 Apache Kafka 多节点集群中的 Zookeeper

    我按照以下说明设置了多节点 kafka 集群 现在 如何连接到zookeeper 是否可以从 JAVA 中的生产者 消费者端仅连接到一个 ZooKeeper 或者是否有一种方法可以连接所有 ZooKeeper 节点 设置多节点 Apache
  • Apache Kafka 是否提供异步订阅回调 API?

    我的项目正在将 Apache Kafka 视为老化的基于 JMS 的消息传递方法的潜在替代品 为了让这个过渡尽可能的顺利 如果替代的排队系统 Kafka 有一个异步订阅机制那就更理想了 类似于我们当前项目使用的JMS机制MessageLis
  • 从 Apache Kafka 中的主题删除消息

    所以我是 Apache Kafka 的新手 我正在尝试创建一个简单的应用程序 以便我可以更好地理解 API 我知道这个问题在这里被问了很多 但是如何清除存储在主题上的消息 记录 我看到的大多数答案都说要更改消息保留时间或删除并重新创建主题
  • 使用 Spring Embedded Kafka 测试 @KafkaListener

    我正在尝试为我正在使用 Spring Boot 2 x 开发的 Kafka 侦听器编写单元测试 作为一个单元测试 我不想启动一个完整的 Kafka 服务器作为 Zookeeper 的实例 所以 我决定使用 Spring Embedded K
  • 频繁出现“offset out of range”消息,分区被消费者抛弃

    我们正在运行 3 节点 Kafka 0 10 0 1 集群 我们有一个消费者应用程序 它有一个连接到多个主题的消费者组 我们在消费者日志中看到奇怪的行为 有了这些线 Fetch offset 1109143 is out of range
  • 如何检测 KTable 连接的哪一侧触发了更新?

    当您在 Kafka 中连接两个表时 每次更新两个 KTable 之一时 您的输出 Ktable 也会更新 想象一下你正在加入Customers与一个列表Orders你已经适当减少了 再次想象一下 您使用此连接的结果来为最终客户提供特别优惠和
  • Spring Boot 和 Kafka,Producer 抛出 key='null' 异常

    我正在尝试使用Spring Boot with Kafka and ZooKeeper with Docker docker compose yml version 2 services zookeeper image wurstmeist
  • 未能在kafka-storm中将偏移量数据写入zookeeper

    我正在设置一个风暴集群来计算实时趋势和其他统计数据 但是我在将 恢复 功能引入到这个项目中时遇到了一些问题 方法是允许上次读取的偏移量kafka spout 源代码为kafka spout来自https github com apache
  • Spring Kafka Acknowledgement.acknowledge 线程安全吗?

    我正在实现一个基于卡夫卡的应用程序 我想在其中手动确认传入消息 架构迫使我在单独的线程中完成它 问题是 在与消费者不同的线程中执行 Acknowledgement acknowledge 是否可能且安全 是的 只要你使用MANUAL并不是M
  • Kafka中如何同时实现分布式处理和高可用?

    我有一个由 n 个分区组成的主题 为了进行分布式处理 我创建了两个在不同机器上运行的进程 他们使用相同的 groupd id 订阅主题并分配 n 2 个线程 每个线程处理单个流 每个进程 n 2 个分区 这样我就可以实现负载分配 但现在如果
  • Mesos DCOS 未安装 Kafka

    我正在尝试在 Mesos 上安装 Kafka 看来安装已经成功了 vagrant DevNode dcos dcos package install kafka This will install Apache Kafka DCOS Ser
  • 为什么我的 Kafka Streams 拓扑无法正确重放/重新处理?

    我有一个如下所示的拓扑 KTable
  • 如何使用PySpark结构流+Kafka

    我尝试将 Spark 结构流与 kafka 一起使用 并且在使用 Spark 提交时遇到问题 消费者仍然从生产中接收数据 但 Spark 结构出错 请帮我找到我的代码的问题 这是我在 test py 中的代码 from kafka impo
  • Apache Kafka 中消费者消费消息的延迟

    我正在使用 Kafka 0 8 0 并尝试实现下面提到的场景 JCA API 充当生产者并将数据发送到 gt 消费者 gt HBase 一旦我使用 JCA 客户端获取数据 我就会将每条消息发送给消费者 例如 一旦生产者发送消息 no 1 我
  • 是否有用于事件驱动的 Kafka 消费者的 Python API?

    我一直在尝试构建一个以 Kafka 作为唯一界面的 Flask 应用程序 因此 我希望有一个 Kafka 消费者 当相关主题的流中存在新消息时 该消费者会被触发 并通过将消息推回到 Kafka 流来进行响应 我一直在寻找类似 Spring
  • 提供了 kafka schema.registry.url 但不是已知的配置

    尝试使用架构注册表发布有关主题的 json 消息 但出现以下错误 以下Spring Boot方法 已提供配置 schema registry url 但不是已知配置 应用程序 yml 文件 server port 9080 spring k
  • 如何在kafka中定义多个序列化器?

    比如说 我发布和使用不同类型的 java 对象 对于每个对象 我必须定义自己的序列化器实现 我们如何在 serializer class 属性下提供kafka消费者 生产者属性文件中的所有实现 我们有一个类似的设置 不同主题中的不同对象 但
  • Kafka Consumer 如何(应该)应对有毒消息

    当 Kafka Consumer 无法反序列化消息时 客户端应用程序是否有责任处理有毒消息 Or Kafka是否会 增加 消息偏移并继续消费有效消息 是否有处理 Kafka 主题上的有毒消息的 最佳实践 当 Kafka 无法反序列化记录时

随机推荐

  • Javascript:用另一个函数重新分配一个函数

    假设我有这两个功能 function fnChanger fn fn function sys print Changed function foo sys print Unchanged 现在 如果我打电话foo I see Unchan
  • PHP“未选择数据库”

    我最近开始用 PHP 创建一个网站 我的大部分代码都可以工作 但是我发现了一个无法纠正的问题 我有一个页面 其中有很多对数据库的调用 在我的页面顶部 我正在连接并使用 SELECT 来获取有关相关产品的一些信息 在页面底部 我再次连接以获取
  • 如何使用 Zend Framework 2 中的插件渲染自定义视图

    我正在开发一个应用程序 需要在流程完成后发送电子邮件 由于电子邮件需要是 HTML 我有一个好主意 将视图渲染为电子邮件消息正文 以便我可以实现 单击此处在浏览器上查看此内容 功能 这一切都在实现 AbstractRestfulContro
  • 如何用 Maven 属性替换 web.xml 中的值?

    我有一个 Maven 项目 它将一些测试文件下载到其构建目录中 target files 然后 这些文件应该可供 servlet 使用 我可以通过将完整路径硬编码为
  • 如何跳过HTTP请求的AngularJS拦截器?

    我有一个 angularjs 应用程序 其中有一个拦截器 它将授权令牌添加到每个请求的标头中 然而 在应用程序的某个地方 我需要使用外部 API 拦截器会破坏它 因为它添加了这个外部 API 提供者不接受的授权标头 如何让 angularj
  • VS2013 Windows服务-如何制作安装程序?

    我写了一个Windows服务 我现在想将其打包到安装程序中 我使用了 VS2013 x86 Native Tools 命令提示符 然后使用了以下命令 要安装它 installutil httpapiservice exe 要卸载它 inst
  • 启动Spring Boot应用程序时liquibase的问题

    我有一个Spring Boot申请与liquibase 第一次我创建表格没有问题 但当我再次启动时 我遇到了无法解决的问题 这是error Error starting ApplicationContext To display the c
  • 读取外部网页的内容并获取特定元素[重复]

    这个问题在这里已经有答案了 可能的重复 如何用PHP解析和处理HTML https stackoverflow com questions 3577641 how to parse and process html with php 我已经
  • 如何确保我使用的是“服务器”JVM?

    Sun 的 JVM 有两种风格 client and server 其中服务器 VM 应针对长时间运行的进程进行优化 建议用于服务器应用程序 当我跑步时java如果没有参数 它会显示使用选项 其中包括以下文本 The default VM
  • 减小 EPS 格式的绘图大小

    我有一个包含数百个项目的直方图 我为其绘制了 Q Q 图 这导致 EPS 大小为 2 5 兆字节 对于仅包含在出版物中并且不会以 100 倍放大倍率查看的图形来说 这太大了 R 中是否有任何选项可以以某种方式输出较小的 EPS 我搜索过文档
  • 无法在任何地方运行 jupyter(终端、anaconda 分发器)Mac os 10.12.6

    我在终端中运行 jupyter 时遇到问题 运行后终端显示什么 maxim MacBook Pro Maxim jupyter notebook Traceback most recent call last File Library Fr
  • 如何在C#中获取Windows面板控件中的Keypress事件

    我想在 C 中的 Windows 面板控件中获取按键事件 对我有帮助吗 你应该处理面板按键 http msdn microsoft com en us library system windows forms panel keypress
  • 弹簧形式:输入数字

    我正在使用 Spring 的 form input 如下
  • VS 扩展中未处理的异常

    我尝试为自定义文件定义创建语法突出显示 加载时出现异常 我已将 log 参数添加到 devenv 以获取日志 335 ERROR System Exception Duplicate EditorFormatDefinition expor
  • Python 中 OLS 的 Newey-West 标准错误?

    我想要一个系数和与之相关的 Newey West 标准误差 我正在寻找可以执行以下 R 代码正在执行的操作的 Python 库 理想情况下 但任何可行的解决方案都可以 library sandwich library lmtest a lt
  • 为什么我使用 OpenLayers 在两个弹出窗口中获得相同的文本

    我正在使用 OpenLLayers 5 我将经度 纬度和汽车名称保存在数据库中的数组中 我可以显示两个标记 我的数组目前只有两个索引 每个标记都有一个弹出窗口 其中应包含其名称 经度 纬度 例如 第一个标记的弹出窗口将汽车 1 作为文本 在
  • 使用 FQL 聆听音乐 [关闭]

    Closed 此问题正在寻求书籍 工具 软件库等的推荐 不满足堆栈溢出指南 help closed questions 目前不接受答案 我正在尝试使用 FQL 为用户和用户的朋友获取 music listens 有谁知道获取 music l
  • rake db:test:prepare 实际上做了什么?

    我正在关注 Rails 教程视频 但我不明白它是什么db test prepare命令确实如此 有人可以提供解释吗 上面的 rake db migrate 运行任何挂起的迁移 开发环境并更新db schema rb 耙子 db test l
  • 如何将 componentDidMount() 与 React-Redux connect() 混合使用?

    这似乎是一个简单的用例 但我无法弄清楚 我想显示从通过 HTTP 对远程 API 的请求中检索到的项目列表 我希望在请求发生时屏幕最初显示空白 然后在可用时填充结果 所以我想我会有两个组件 哑的 项目列表 组件和包装器 演示 组件 呃 以某
  • 无法在分布式模式下运行 Kafka Connect - 尝试创建/查找主题“connect-offsets”时出错

    2017 08 31 10 15 20 715 WARN 配置 提供了 internal key converter 但不是已知的配置 org apache kafka clients admin AdminClientConfig 231