Dataflow SQL (GCP) 不支持使用 STRUCT 的嵌套行

2024-05-17

使用 Dataflow SQL,我想读取 Pub/Sub 主题,丰富消息并将消息写入 Pub/Sub 主题。

哪个 Dataflow SQL 查询将创建我想要的输出消息?

Pub/Sub input消息:{“event_timestamp”:1619784049000,“设备”:{“ID”:“some_id”}}

所需的发布/订阅output消息:{“event_timestamp”:1619784049000,“设备”:{“ID”:“some_id”,“NAME”:“some_name”}}

我得到的是: {"event_timestamp":1619784049000, "device":{"ID":"some_id"}, "NAME":"some_name" }

但我需要名字inside“设备”属性。

SELECT message_table.device as device, devices.name as NAME 
FROM pubsub.topic.project_id.`topic` as message_table
  JOIN bigquery.table.project_id.dataflow_sql_dataset.devices as devices 
  ON devices.device_id = message_table.device.id

不幸的是,Dataflow SQL 目前不支持 STRUCT/Sub 查询,但我们正在努力解决它。由于存在一些 Apache Beam 依赖项阻碍其进展(嵌套行支持 https://issues.apache.org/jira/browse/BEAM-9378, 升级方解石 https://issues.apache.org/jira/browse/BEAM-9379),我们目前无法提供预计到达时间,但您可以关注其进展情况问题跟踪器 https://issuetracker.google.com/190024082.

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Dataflow SQL (GCP) 不支持使用 STRUCT 的嵌套行 的相关文章

随机推荐

  • MVC 3 DropDownFor 和 ViewModel 不起作用

    我有 2 个型号 public class Person public Guid ID get set public string Name get set public class Event public Guid ID get set
  • 在powershell中,使用export-csv cmdlet,我的整数被引号封装,知道为什么吗?

    所以我运行一个sql查询 通过管道传输到export csv 唯一的问题是所有值都用引号封装 包括整数 这对我来说不可能作为整数重新导入到SQL中 有什么想法吗 CSV 没有类型的概念 它是纯粹基于字符串的格式 PowerShell 只引用
  • Android 上的 PlusOneButton 如何知道用户是否已点击?

    在我的 Android 应用程序中 我可以点击 Google 1 按钮 这与开发人员源材料中的以下代码配合得很好 https developers google com mobile android recommend https deve
  • 从 IOS 应用程序注销的完美方法是什么?

    下面的代码可以工作 但有一个错误 场景是 我首先登录进入应用程序系统 登录成功后 应用程序将设置 UserDefaults UserId 之后 我可以使用存储的 UserId 导航应用程序视图 一旦我进入设置和选项卡注销 这将清除 User
  • RegularExpressionValidator.ValidationExpression 强制长度为 10 或 12 个符号

    RegularExpressionValidator ValidationExpression d 10 仅表示数字 最多 10 位 RegularExpressionValidator ValidationExpression d 10
  • 我可以使用 jpeg 图像来启动 Screen

    我目前正在进行应用程序开发 并且添加了一个 JPEG 格式的启动器屏幕 该屏幕在模拟器和设备中都显示 但这是否会对苹果批准指南产生任何问题 iOS 8 更新 您现在可以使用基于 XIB 的启动资产 https developer apple
  • 什么是仅匹配空字符串的正则表达式?

    有很多关于正则表达式的帖子来匹配潜在地空字符串 但我找不到任何提供正则表达式的字符串only匹配一个空字符串 我知道 将匹配任何行的开头并且 将匹配任何行的结尾以及字符串的结尾 像这样 匹配的内容远不止空字符串 如 n foobar n n
  • Python 循环的列表理解

    我使用了很多 N 维数组 编写这样的缩进代码会很痛苦 而且我知道有些代码可以用列表理解和内联语句替换 例如 for x in 0 1 2 3 for y in 0 1 2 3 if x lt y print x y x y 可以替换为 pr
  • 如何重命名 MySQL 数据库(更改架构名称)?

    如何快速重命名 MySQL 数据库 更改其架构名称 通常我只是转储数据库并使用新名称重新导入它 对于非常大的数据库来说 这不是一个选项 显然RENAME DATABASE SCHEMA db name TO new db name 做了坏事
  • 安卓默认主题

    我正在制作一个 Android 应用程序 但我正在考虑主题 如果我不声明 Android 应用程序的主题 将使用哪个主题 我在哪里可以找到这些信息 使用其中之一和其他的标准是什么 我在想 如果我想自定义我的所有应用程序 我必须扩展一个主题并
  • 将列名称与具有 AJAX 数据源的 DataTable 一起使用

    我正在尝试升级我的系统以使用 DataTables 1 10 而不是 1 9 并且我正在尝试找到一种使用 JSON 对象而不是列表传回行内容的方法 具体来说 而不是以格式传回数据 data data data data data data
  • 如何修复 IE6 上的不透明度

    如何修复 IE6 上的不透明度 此代码不适用于 IE6 filter alpha opacity 50 moz opacity 0 5 khtml opacity 0 5 opacity 0 5 还有这段代码 description ani
  • ORA-00933 与内部联接和“as”混淆

    我有一个使用以下命令从两个表中获取数据的查询inner join 但我收到错误SQL command not properly ended as 下面有一个星号 select P carrier id O order id O aircra
  • “WSGIRequest”对象没有属性“successful_authenticator”

    我已经创建了一个像这样的身份验证类 RESTful API 的令牌身份验证 是否应该定期更改令牌 https stackoverflow com questions 14567586 token authentication for res
  • 如何修复 Visual Studio 2010 中的错误 MSB4018?

    error MSB4018 The VCMessage task failed unexpectedly System FormatException Index zero based must be greater than or equ
  • 无法在类上找到适当的构造函数

    我正在尝试将本机 SQL 结果映射到 POJO 但它返回错误 这是完整的堆栈跟踪 Hibernate SELECT FROM members tb where memberName like 2019 12 19 07 40 20 688
  • Laravel - 停止并发访问记录

    在 Laravel 中 有什么方法可以停止同时与同一条记录交互 例如 如果用户 A 正在编辑一条记录 那么我同时需要阻止用户 B 编辑同一条记录 注意 我在 Laravel 5 2 中使用 SESSION DRIVER file 目前大约有
  • 获取嵌套参数

    我有一个带有嵌套参数的表单 在下面的示例中 如何获取控制器中的 amount whole 值 Parameters utf8 gt authenticity token gt KCmBI6RLh0LdUsM2r5H1vhNykS1IXecF
  • Android 测试:未找到测试

    Starting 0 tests on test AVD 10 Tests on test AVD 10 failed Instrumentation run failed due to Process crashed com androi
  • Dataflow SQL (GCP) 不支持使用 STRUCT 的嵌套行

    使用 Dataflow SQL 我想读取 Pub Sub 主题 丰富消息并将消息写入 Pub Sub 主题 哪个 Dataflow SQL 查询将创建我想要的输出消息 Pub Sub input消息 event timestamp 1619