我有一个以 BigQuery 表作为接收器的管道。我需要在数据写入 BigQuery 后执行一些步骤。这些步骤包括对该表执行查询、从中读取数据以及写入不同的表。
如何实现以上目标?我是否应该为后者创建一个不同的管道,但在第一个管道之后调用它将是我认为的另一个问题。
如果上述方法都不起作用,是否可以从正在运行的管道调用另一个数据流作业(模板)。
确实需要一些帮助。
Thanks.
BigQueryIO 目前尚未明确支持此功能。唯一的解决方法是使用单独的管道:启动第一个管道,等待它完成(例如使用pipeline.run().waitUntilFinish()
),启动第二个管道(确保为其使用单独的 Pipeline 对象 - 不支持多次重复使用同一对象)。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)