如何监控Bolt的待处理队列的大小?

2024-04-11

我的拓扑有一两个瓶颈。 Storm UI 中的容量指标对于识别这些非常有用,但我对 Bolt 队列的大小更感兴趣。

我的理解是每个螺栓有两个队列,一个用于待执行的元组,另一个用于待发出的元组。是否可以监控这些队列的大小?

我在网上找到了一些关于向 Bolts 添加 ITaskHook 实现的内容,但还不清楚如何使用它来监视队列大小。可以使用 ITaskHook 中的方法来监控吗?


您应该能够使用以下命令查看拓扑组件的队列长度metrics http://storm.apache.org/documentation/Metrics.html机制。一个简单的方法是添加conf.registerMetricsConsumer(LoggingMetricsConsumer.class)到您的拓扑的配置。

这是我从我的一个组件中获得的示例

4:fetch __sendqueue {write_pos=12122, read_pos=12122, capacity=1024, population=0} 4:fetch __receive {write_pos=8588, read_pos=8587, capacity=1024, population=1}

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何监控Bolt的待处理队列的大小? 的相关文章

  • 添加 jsoup 作为提供的依赖项后,Storm 命令失败并出现 NoClassDefFoundError

    我在我的项目中使用 JSoup 并且我已经在我的项目中声明了依赖关系POM文件 它编译得很好并且运行得很好 但只有当我使用jar with all dependencies并将依赖范围更改为compiled 如果我将此范围更改为provid
  • Graphite/Carbon 如何获取每秒指标

    I ve 泊坞窗化石墨正在与这个图书馆从 Apache Storm 拓扑获取指标 我正在获取指标数据 但无论我做什么 我只能每分钟获取数据 而我真正需要的是每秒的点数 As per 这个帖子我已将保留策略设置为每秒抓取数据 我也设置了 co
  • 构建 Storm 时 Zookeeper 出现 ClassNotFoundException

    我是 java 和 Storm 的新手 所以请原谅任何明显的错误 我正在尝试使用水槽连接器进行风暴 但它因以下错误而崩溃 java lang reflect InvocationTargetException at sun reflect
  • Storm:如何将字符串数组从一个螺栓传递到另一个螺栓?

    这就是我发出数据的方式 collector emit stream new Values sessionid tables Where sessionid and tables are ArrayList
  • 重新平衡 Apache Storm 中的执行器

    我正在尝试重新平衡正在运行的 Apache Storm 0 9 5 拓扑中的 Bolt 的执行器数量 当我对 Nimbus 节点执行命令时 storm rebalance MyTopology n 2 e GreenBolt 4它接受命令行
  • 将一个项目导入到另一个导入的项目中

    我在一个项目的帮助中找到了这个声明 我想将其导入名为 storm 选举 这是一个基于storm starter 项目的简单演示应用程序 https github com nathanmarz storm starter https gith
  • 找不到 Storm 日志查看器页面

    我可以在多租户集群中提交拓扑作业 作业正在运行 但是 日志查看器页面不可用 有什么办法可以解决这个问题吗 在单击之前您需要启动日志查看器topology port查看日志查看器 要启动日志查看器 请运行 storm logviewer和你跑
  • NotSerializedException org.neo4j.kernel.EmbeddedGraphDatabase

    我正在使用 neo4j 创建图表 将 mongodb 中的数据作为文档 独立代码运行良好 没有风暴 但是 在将其与 Storm 集成时 我得到了 java io NotSerializedException org neo4j kernel
  • 风暴集群重复元组

    目前我正在开展一个项目 在该项目中我在四台 Unix 主机上设置了一个 Storm 集群 拓扑本身如下 JMS Spout 侦听 MQ 以获取新消息 JMS Spout 解析然后将结果发送到 Esper Bolt 然后 Esper Bolt
  • 如何重置 Kafka 偏移量以匹配尾部位置?

    我们将 Storm 与 Kafka 和 ZooKeeper 结合使用 我们遇到过这样的情况 我们必须删除一些主题并用不同的名称重新创建它们 除了现在读取新主题名称之外 我们的 Kafka spouts 保持不变 但是现在 当尝试从新主题读取
  • 读取 Storm 集群中的 AWS SQS 队列时,导致这些 ParseError 异常的原因是什么

    我正在使用 Storm 0 8 1 从 Amazon SQS 队列中读取传入消息 并且在执行此操作时遇到一致的异常 2013 12 02 02 21 38 executor ERROR java lang RuntimeException
  • 使用 setState SampleRate/topology.stats.sample.rate 的性能影响

    在yaml中设置topology stats sample rate 1 0对性能有什么影响 这是如何运作的 topology stats sample rate配置计算 Storm 拓扑统计数据的速率 默认值在默认值 yaml https
  • Storm 和 Spring 4 集成

    我有一个 Storm 应用程序原型 它读取 STOMP 流并将输出存储在 HBase 上 它可以工作 但不是很灵活 我正在尝试以与我们其他应用程序更一致的方式设置它 但不太幸运地弄清楚当前与 Storm 的工作方式 我们使用 spring
  • Storm 如何知道消息何时“完全处理”?

    还有一些关于超时和 maxSpoutPending 的问题 我在 Storm 文档中看到很多关于消息被完全处理的参考资料 但是我的 KafkaSpout 如何知道消息何时被完全处理 希望它能够识别我的 Bolt 的连接方式 以便当我的 St
  • 如何监控Bolt的待处理队列的大小?

    我的拓扑有一两个瓶颈 Storm UI 中的容量指标对于识别这些非常有用 但我对 Bolt 队列的大小更感兴趣 我的理解是每个螺栓有两个队列 一个用于待执行的元组 另一个用于待发出的元组 是否可以监控这些队列的大小 我在网上找到了一些关于向
  • 如何在 Intellij IDEA 中构建和运行 Storm Topology

    我按照 Storm Starter 说明并在 IntelliJ 中导入了 Twitter Storm 为了测试 我编辑了感叹拓扑一点并使用以下 Maven 命令来构建并运行它 mvn f m2 pom xml compile exec ja
  • Apache Kafka 与 Apache Storm

    Apache Kafka 分布式消息系统Apache Storm 实时消息处理 我们如何在实时数据管道中使用这两种技术来处理事件数据 就实时数据管道而言 在我看来 两者的工作都是相同的 我们如何在数据管道上使用这两种技术 您可以使用 Apa
  • ack造成的风暴延迟

    我正在使用 kafka storm 连接 kafka 和 Storm 我有3台服务器运行zookeeper kafka和storm kafka中有一个主题 test 有9个分区 在storm拓扑中 KafkaSpout执行器的数量为9 默认
  • Storm 中的连接被拒绝错误

    我是 Storm 的新手 我遇到了以下错误 java net ConnectException Connection refused at sun nio ch SocketChannelImpl checkConnect Native M
  • Apache Storm Nimbus 错误:无法找到或加载主类

    我尝试为本地开发 Windows 7 工作站启动 Storm Nimbus 时遇到以下错误 错误 无法找到或加载主类 Files Java jdk1 8 0 92 bin C Program 风暴 yaml storm zookeeper

随机推荐