程序员经验分享-hwhale

是否可以像使用 AVRO 的 Kafka 那样为 Google Pub/Sub 主题定义模式？

2023-12-22

据我所知，我们可以在Kafka上定义AVRO模式，并且使用该模式定义的主题将只接受与该模式匹配的数据。在接受队列之前验证数据结构非常有用。

Google Pub/Sub 中有类似的东西吗？


Kafka 本身并不验证模式，因此主题除了一对字节数组和一些元数据之外本身没有其他模式。序列化程序是生产客户端的一部分，在数据到达主题之前执行验证。类似地，在 PubSub 中，归根结底，它只是存储/发送byte[] data.

因此，理论上，在通过 PubSub 移动的数据的任一端使用类似于 Confluence Avro Schema Registry 的东西是完全可行的。 AFAIK，Google 不提供这样的功能，因此您需要重新创建可以执行 Avro 兼容性检查的上述服务，并在该服务的客户端周围绑定一个 PubSub 序列化+生产者客户端。例如，您可以首先将注册表本身作为 GKE 中的容器运行。

可能想查看一下Google Cloud Pub-Sub 的 Avro 消息？ https://stackoverflow.com/q/51624011/2308683

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

ApacheKafka

MessageQueue

Avro

googlecloudpubsub

是否可以像使用 AVRO 的 Kafka 那样为 Google Pub/Sub 主题定义模式？ 的相关文章

  • 卡夫卡主题查看器？ [关闭]

    Closed 这个问题正在寻求书籍 工具 软件库等的推荐 不满足堆栈溢出指南 help closed questions 目前不接受答案 我想调试一些 Kafka 主题 这样我就知道消费者或生产者是否有问题 Kafka 是否有一个 UI 我

  • google.cloud.pubsub_v1.PublisherClient 线程安全吗？

    我正在使用谷歌云 PubSub 想知道是否google cloud pubsub v1 PublisherClient是线程安全的 我是否需要将此对象的新实例传递给每个threading Thread或者跨线程共享同一个实例是否安全 这取决

  • 当我们在 Apache Spark 中使用时，无法找到 Set([TOPIC NAME,0])) 的领导者

    我们使用 Apache Spark 1 5 1 和 kafka 2 10 0 8 2 1 以及 Kafka DirectStream API 通过 Spark 从 Kafka 获取数据 我们使用以下设置在 Kafka 中创建了主题 复制因子

  • PHP + MySQL 队列

    我需要一个充当队列的简单表 我的 MySQL 服务器限制是我不能使用 InnoDB 表 只能使用 MyISAM 客户 工人将同时工作 他们每次都需要接受不同的工作 我的想法是执行以下操作 伪代码 job lt SELECT FROM que

  • 未能在kafka-storm中将偏移量数据写入zookeeper

    我正在设置一个风暴集群来计算实时趋势和其他统计数据 但是我在将 恢复 功能引入到这个项目中时遇到了一些问题 方法是允许上次读取的偏移量kafka spout 源代码为kafka spout来自https github com apache

  • 使用Google Cloud Pub/Sub时如何在AWS/SQS中实现“锁定”功能？

    当您想要在 Google Cloud Pub Sub 之上实现生产者 消费者模式时 您会期望每条消息只能由一个消费者处理 但 Google Cloud Pub Sub 会将每条消息发送给所有订阅者 但AWS SQS具有以下功能可以轻松保证这

  • 像 AMQP 这样的面向消息的中间件在哪些领域有用？

    MOM 面向消息的中间件 解决什么问题 可扩展性 一体化 它们通常在哪些领域使用以及它们通常在哪些领域not used 例如 Google 是否将此类解决方案用于其主要搜索引擎或为 GMail 提供支持 沃尔玛 eBay FedEx 几乎是

  • Kafka中如何同时实现分布式处理和高可用？

    我有一个由 n 个分区组成的主题 为了进行分布式处理 我创建了两个在不同机器上运行的进程 他们使用相同的 groupd id 订阅主题并分配 n 2 个线程 每个线程处理单个流 每个进程 n 2 个分区 这样我就可以实现负载分配 但现在如果

  • 从kafka获取特定时间段的结果

    这是我的代码 它使用kafka python now datetime now month ago now relativedelta month 1 topic some topic name consumer KafkaConsumer

  • Mesos DCOS 未安装 Kafka

    我正在尝试在 Mesos 上安装 Kafka 看来安装已经成功了 vagrant DevNode dcos dcos package install kafka This will install Apache Kafka DCOS Ser

  • Flink Kafka - 如何使应用程序并行运行？

    我正在 Flink 中创建一个应用程序 读取某个主题的消息 对其进行一些简单的处理 将结果写入不同的主题 我的代码确实有效 然而它不并行运行我怎么做 看来我的代码只在一个线程 块上运行 在 Flink Web 仪表板上 应用程序进入运行状态

  • JDBC Kafka Connector 可以从多个数据库中提取数据吗？

    我想设置一个 JDBC Kafka 连接器集群 并将它们配置为从同一主机上运行的多个数据库中提取数据 我一直在查看 Kafka Connect 文档 似乎在配置 JDBC 连接器后 它只能从单个数据库中提取数据 谁能证实这一点吗 根据您启动

  • 即使在 Kafka 中进行轮询后，当前也不会发生分区分配

    我有 Java 8 应用程序与 Apache Kafka 2 11 0 10 1 0 一起使用 我需要使用seek特征为poll来自分区的旧消息 然而我遇到了一个例外No current assignment for partition每次

  • Avro 消息中的架构

    我看到 Avro 消息嵌入了架构 然后是二进制格式的数据 如果发送多条消息并且为每条消息创建新的 avro 文件 模式嵌入不是一种开销吗 那么 这是否意味着生产者批量处理消息然后写入总是很重要 因此写入一个 avro 文件的多条消息只携带一

  • 具有延迟的简单可扩展工作/消息队列

    我需要设置一个作业 消息队列 并可以选择为任务设置延迟 以便空闲工作人员不会立即拾取它 而是在一定时间后 可能因任务而异 我研究了几个 Linux 队列解决方案 rabbitmq gearman memcacheq 但它们似乎都没有提供开箱

  • 如何在kafka中定义多个序列化器？

    比如说 我发布和使用不同类型的 java 对象 对于每个对象 我必须定义自己的序列化器实现 我们如何在 serializer class 属性下提供kafka消费者 生产者属性文件中的所有实现 我们有一个类似的设置 不同主题中的不同对象 但

  • Windows 上的 Apache Kafka 错误 - 无法找到或加载主类 QuorumPeerMain

    我刚刚从 Apache 网站下载了 Kafka 2 8 0 我正在尝试使用网站上给出的说明进行设置 但是当我尝试启动 Zookeper 服务器时 出现以下错误 错误 无法找到或加载主类 org apache zookeeper server

  • ISR（中断服务例程）中的信号量同步

    我有一个队列 当不同的中断发生时 会调用队列的 put 和 pull 函数 在这种情况下有没有办法防止竞争情况 虽然我们不能在中断服务例程中等待信号量 但创建类似功能的最佳方法是什么 我们使用 Zynq FPGA 的 ARM Cortex

  • 在 python 中使用 IOT 适配器和 google pub/sub api 将 MQTT 与 GCP 集成

    与 App Engine Standard 中的 Cloud Pub Sub API 集成 我正在标准 Python 环境中开发 Google 应用程序引擎应用程序 对于代码的某些部分 我需要与 Google Cloud pub sub A

  • Avro ENUM 字段

    我正在尝试在 Avro 模式中创建 Union 字段并用它发送相应的 JSON 消息 但要拥有其中一个字段 null https avro apache org docs 1 8 2 spec html Unions https avro

随机推荐

  • 无法在react router dom中使用Link传递道具

    using this to pass props over Watch page but can t get any value 我是新手 所以可能会出现愚蠢的错误或信息不足 请让我知道任何额外信息 如果您正在使用react router

  • ostrstream 将常量字符串解释为指针

    我在清理旧 C C 应用程序的调试宏时遇到了这个问题 我们有一个继承自的 Tracer 类ostrstream 我知道自 C 98 以来它已被弃用 但这个应用程序是在 1998 年编写的 我们这样使用它 Tracer lt lt some

  • 如何从 matplotlib 将时间控制面板添加到 FuncAnimation

    我目前正在使用matplotlib animation FuncAnimation http matplotlib org api animation api html matplotlib animation FuncAnimation在

  • 注销后实时数据库onDisconnect不执行

    我已经实现了 Firebase 实时数据库存在系统 如官方 Firebase 文档中所示 我希望确保数据库安全 以便登录用户只能写入数据库中自己的存在条目 因此 在登录时 用户写入参考路径 auth authId connections并同

  • 图表不会显示数据点

    我正在尝试做一个Chart使用字典中的值但是我的Chart不显示任何内容 我的代码运行良好 没有错误 并且表单上有一个图表 我以前从未用 C 制作过图表 所以我不知道我在做什么 这是我的填充代码 如果我删除StatChart update

  • 更改JIT编译的最终值

    我注意到一件非常奇怪的事情 在通过反射更改最终字段后 返回该字段的方法始终给出旧值 我想这可能是因为 JIT 编译器 这是示例程序 public class Main private static final Main m new Main

  • 无法以编程方式启动 Windows Azure VM

    我正在执行 REST API 操作开始角色 http msdn microsoft com en us library jj157189 aspx 在链接中https management core windows net subscrip

  • RedHat 上的 Scipy 和 Scikit-learn 中未定义的符号

    我正在尝试在没有 root 权限的 64 位 Red Hat Enterprise 6 6 服务器上安装 Scikit Learn 我已经全新安装了 Python 2 7 9 Numpy 1 9 2 Scipy 0 15 1 和 Sciki

  • 使用 jQuery 更改模态内容

    我正在使用 twitter bootstrap 的模式来制作弹出表单 下面的代码显示了模式形式 第一情态形式 div class modal fade div class modal dialog modal dialog1 div cla

  • 如果不通过 createElementNS 处理，为什么动态 SVG 无法工作

    我试图在纯 JS 中操作 SVG 发现如果我不使用类似的方法 它就不会按预期运行createElementNS and setAttributeNS

  • 使用 Anaconda 或 Canopy 安装 Python 模块

    我玩过一点 Python 但从来不需要安装自己的包 我目前正在尝试编写一个读取 tiff 文件的程序 因此我尝试安装 libtiff 包 但我做了一场噩梦 首先 我使用的是 Anaconda 发行版和短语 conda install lib

  • 在 django 模板中输出排序的 python 字典

    我得到了一个 python 字典 如下所示 由于隐私原因 重要信息被替换为 xxx 我想在 django 模板中显示这个字典 但它应该是有序的 所以它应该以 A 开头 然后继续以 B 而不是 H 这是我的字典 缩短 A birthday d

  • 无法在 Mac 上找到 matplotlib 的字体缓存

    我对此进行了很多研究 但无法使其发挥作用 如何更改 matplotlib 的字体 根据我的研究 我认为我的问题是字体缓存 我在正确的文件夹中有 ttf 人们一直说 rm matplotlib fontList cache 是要使用的命令 但

  • 通过预定义索引分割Python字符串[重复]

    这个问题在这里已经有答案了 我有一个字符串 我想将其在特定位置拆分为字符串列表 分割点存储在单独的分割列表中 例如 test string thequickbrownfoxjumpsoverthelazydog split points 0

  • 在 JTable 中使用空列作为分隔符

    我正在尝试使用空列作为中的两列之间的分隔线JTable 这是我到目前为止所拥有的图片和代码 我知道我可以使用自定义更改外观TableCellRenderer 在我走这条路之前 有更好的方法吗 任何想法表示赞赏 import javax sw

  • 为什么我的 iPhone 上没有收到任何通知？

    在 Xcode8 3 上使用 swift 3 1 运行它 下面是我在 AppDelegate swift 中的代码 func application application UIApplication didFinishLaunchingW

  • 重写 BuildRenderTree 时是否可以获取 RenderFragments 列表？

    我想知道是否可以引用子元素ChildContent组件的参数 我可以显式地或通过使用级联参数将值从父组件传递给子组件 但是父组件没有很好的方法来 了解 父组件内部的元素ChildContent RenderFragment 一个可能的用例是

  • Smarty PHP 与 AngularJS 发生冲突

    当我在同一模板中使用 AngularJS 时 如何阻止 Smarty 抛出错误 我有一个带有以下代码的 Smarty 页面模板 li p class item i p li 当我在浏览器中查看时 我得到一个空白页面 我的 apache er

  • 将 varchar 值“simple,”转换为数据类型 int 时转换失败

    我为这个问题苦苦挣扎了几天 但我不知道如何解决它 我想group by我的价值观表1 2 3 4 5所以我创建了一个临时表与这个价值观 现在我必须INNER JOIN这张桌子和其他桌子上a value myTempTable num BUT

  • 是否可以像使用 AVRO 的 Kafka 那样为 Google Pub/Sub 主题定义模式？

    据我所知 我们可以在Kafka上定义AVRO模式 并且使用该模式定义的主题将只接受与该模式匹配的数据 在接受队列之前验证数据结构非常有用 Google Pub Sub 中有类似的东西吗 Kafka 本身并不验证模式 因此主题除了一对字节数组

热门标签