如何避免 Apache Pulsar 中自动删除不活动主题

2024-01-02

我有一个应用程序,可以在特定主题下向 Pulsar 生成消息,并在完成后关闭该应用程序;同时,不存在任何消费者来阅读该主题。

过了一段时间,当我创建一个消费者并想要读取写入的数据时,我发现所有数据都丢失了,因为我编写的主题被 Pulsar 删除了。

如何禁用 Pulsar 中不活动主题的自动删除?


一般来说,有两种方法可以实现这一目标。

  • 首先,保留政策 https://pulsar.apache.org/docs/en/cookbooks-retention-expiry/#retention-policies保留数据至少 X 小时(直到 Y GB),您可以通过设置pulsar-admin在命名空间级别无限。
  pulsar-admin namespaces set-retention my-tenant/my-ns \
  --size 1T \
  --time -1
  • 其次,手动设置brokerDeleteInactiveTopicsEnabled=false in conf/broker.conf也可以禁用删除非活动主题。

建议同时设置以上两个设置,以便正确控制。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何避免 Apache Pulsar 中自动删除不活动主题 的相关文章

  • Node.js 可以对多少个事件进行排队?

    据我所知 如果 Node 中的一个事件需要 很长时间 才能被调度 Node 会创建某种 事件队列 并且它们会被一个接一个地尽快触发 这个队列能排多久 虽然这看起来是一个简单的问题 但实际上是一个相当复杂的问题 不幸的是 没有人可以给你一个简
  • 自定义 Spring 作用域不适用于消息通道

    在 Spring 集成中 我尝试创建一个具有自定义范围的直接消息通道 如下所示
  • Apache Pulsar 函数的状态,如果我们不显式调用 deleteState,它会“永远”保留吗?

    当函数使用 context putState id object 时 保存的对象是否会永远保存在簿记员中 直到调用显式的 deleteState same id 为止 除了调用deleteState之外 是否有某个时间点 任何类型的某种操作
  • HandlerThread 中的 NullPointerException

    这个错误让我困惑了几个小时 我正在得到空指针异常 问题是这个错误不一致 当我启动应用程序时会发生这种情况 但只是偶尔 所以我不确定是什么原因造成的 对于错误日志中的冗长问题 我深表歉意 但我找不到其他询问方式 错误日志如下 FATAL EX
  • 如何避免 Apache Pulsar 中自动删除不活动主题

    我有一个应用程序 可以在特定主题下向 Pulsar 生成消息 并在完成后关闭该应用程序 同时 不存在任何消费者来阅读该主题 过了一段时间 当我创建一个消费者并想要读取写入的数据时 我发现所有数据都丢失了 因为我编写的主题被 Pulsar 删
  • Tibco EMS 协议

    我正在尝试使用 Node js 与 Tibco EMS 服务器进行交互 并且很好奇是否可以仅在 Node js 中使用完全开源的解决方案 我不想使用 Tibco 的 Web Messaging 解决方案 那么这让我们想到 Tibco EMS
  • RabbitMQ 中的主题交换与直接交换

    我们有一个将使用 RabbitMQ 的应用程序 并且有几个不同的队列用于在层之间传递消息 最初 我计划使用多个直接交换 每种消息类型一个 但看起来使用不同路由键绑定的队列的单个主题交换将实现相同的效果 拥有一个单一的交换似乎也更容易维护 但
  • 在 Lparallel 库中使用队列 (Common Lisp)

    lparallel 库中队列的基本讨论位于https z0ltan wordpress com 2016 09 09 basic concurrency and parallelism in common lisp part 4a para
  • 是否可以在没有 Axon Server Enterprise 的情况下扩展 Axon Framework

    是否可以在没有 Axon Server 的情况下扩展 Axon Framework企业 我有兴趣使用 Axon 创建原型 CQRS 应用程序 但最终的可部署系统必须免收许可费用 如果 Axon Framework 无法使用免费软件扩展到六个
  • 在高性能Java应用程序中异步处理低速消费者(数据库)的最佳方式是什么

    One EventHandler 数据库消费者 Disruptor调用数据库中的存储过程 速度太慢 以至于阻塞Disruptor一段时间了 因为我需要Disruptor继续运行而不阻塞 我正在考虑添加一个额外的队列 以便EventHandl
  • 通道适配器和消息网关模式有什么区别?

    无论我读了多少关于这两种模式的文章 我都看不出其中的区别 这是一个很好的问题 因为它们的相似之处在于它们都提供对消息系统的应用程序访问 我认为正是他们实现这一目标的方式使他们与众不同 通道适配器模式涉及如何从现有系统获取数据而不修改该系统
  • 可以从 http(javascript 客户端)直接向 Amazon SQS 发送请求吗?

    是否可以直接从 JavaScript 向 Amazon 的 SQS 发送消息请求 我正在尝试创建一个日志系统 并且希望绕过将请求发送到中间人服务器 另外 有人知道我可以利用这个解决方案的任何替代方案吗 SQS 事实上所有 aws 服务 都公
  • msgget() 和 mq_open 之间的区别

    我阅读了有关消息队列操作的信息 例如 msgget msgsnd 和 msgrcv 但是当我在堆栈溢出上搜索消息队列相关问题时 我发现还有另一组消息队列操作 例如 mq open mq send mq receive 谁能告诉我这两种类型的
  • RabbitMQ 上的 Nack 和拒绝

    我想处理消费者从队列中获取的不成功的消息并将它们重新排队 想象一下我有这样的情况 P gt foo bar baz gt C 其中 foo bar 和 baz 是消息 如果消费者读到baz但出了问题 我可以使用basic reject or
  • Linux 消息队列 - 多个接收者

    我最近一直在研究和研究 Linux 消息队列 并遇到了一些我不太明白为什么会发生的事情 如果我们运行两个程序 它们都在无限 for 循环中使用 msgrcv 来检查消息 然后发送两条消息 那么第一个运行的程序将收到第一条消息 第二个程序将收
  • 使用 mosca MQTT 的请求响应模式

    有没有办法使用 mosca MQTT 实现请求响应模式 以 检查客户端的回复 如果在预期时间内未收到预期回复 则重新发布 我相信这在 Mqtt 5 中是可能的 但截至目前 我必须使用 QoS 1 的 Mosca 代理 支持直到 Mqtt 3
  • 检查 Unix 消息队列是否为空

    谁能告诉我如何检查消息队列中是否有消息 消息队列是在基于Linux的操作系统中用C语言实现的 我只是想检查在特定时间消息队列中是否有消息 只需使用以下命令即可检查消息数量 如果有 msgctl 函数 并在返回时检查 msqid ds 结构
  • PHP + MySQL 队列

    我需要一个充当队列的简单表 我的 MySQL 服务器限制是我不能使用 InnoDB 表 只能使用 MyISAM 客户 工人将同时工作 他们每次都需要接受不同的工作 我的想法是执行以下操作 伪代码 job lt SELECT FROM que
  • 是否有一个好的开源 MongoDB 队列 C# 驱动程序实现

    并不是说编写一个程序不够容易 或有趣 可以说 不重新发明轮子是有道理的 我已经浏览了各种尝试 但我似乎还没有遇到支持这些标准的实现 具有MongoDB持久化的简单队列OSS系统 基于 C 驱动程序 官方 如此完整的 POCO 序列化 可尾游
  • 使用主题交换运行多个 Celery 任务

    我正在用 Celery 替换一些自制代码 但很难复制当前的行为 我期望的行为如下 创建新用户时 应向tasks与交换user created路由键 该消息应该触发两个 Celery 任务 即send user activate email

随机推荐