程序员经验分享-hwhale

无论如何，是否可以在数据流管道中共享状态变量？

2023-12-07


我正在用 python 制作数据流管道。
我想跨管道转换和跨工作节点共享全局变量，例如全局变量（跨多个工作人员）。
有什么办法可以支持这个吗？ 提前感谢


有状态处理可用于在特定节点的工作人员之间共享状态（但无法在转换之间共享）：https://beam.apache.org/blog/2017/02/13/stateful-processing.html

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

googlecloudplatform

googleclouddataflow

ApacheBeam

无论如何，是否可以在数据流管道中共享状态变量？ 的相关文章

随机推荐

  • Git 无法在 Linux 上使用 LF 检出使用 CRLF 存储的文件

    我正在检查第三方项目 libjpeg https github com winlibs libjpeg在Linux上 这只是一个例子 实际上我在许多其他项目中也遇到了同样的问题 我有以下 Git 行结尾配置 我只配置了全局设置 设置为以 L

  • 检查用户是否使用 Tor 请求网站的现代方法是什么？ (php)

    我尝试了很多方法 但所有方法都不适合我 我想它们已经过时了 事情已经改变了 也许有人可以告诉我挖掘的方向 我是一个名为的 PHP 库的作者TorUtils它提供了许多与 Tor 和中继相关的类 One of the classes it p

  • 在测试期间覆盖 DateTime.Now 的好方法是什么？

    我有一些 C 代码 它们依赖今天的日期来正确计算未来的事情 如果我在测试中使用今天的日期 我必须在测试中重复计算 这感觉不对 在测试中将日期设置为已知值以便我可以测试结果是否为已知值的最佳方法是什么 我的偏好是让使用时间的类实际上依赖于接口

  • 是否可以在事务内（在 SQL Server 内）运行多个 DDL 语句？

    我想知道是否可以在一个事务内运行多个 DDL 语句 我对 SQL Server 特别感兴趣 尽管其他数据库 至少是 Oracle PostgreSQL 的答案也可能很有趣 我一直在为事务内创建的表执行一些 CREATE TABLE 和 CR

  • jquery 中 angularjs 拦截器的等效项

    我想像 httpProvider interceptors 在 angularjs 中那样拦截 REST 请求的响应 https docs angularjs org api ng service http 我正在使用 jQuery 制作一

  • Spark GraphX：添加多个边权重

    我是 GraphX 的新手 有一个包含四列的 Spark 数据框 如下所示 src ip dst ip flow count sum bytes 8 8 8 8 1 2 3 4 435 1137 基本上我想映射两者src ip and ds

  • NetworkX：从字典中将边添加到图形中，并将列表作为值

    我有一个关于如何从包含列表作为值的字典向图形添加边的问题 我想定义一个函数 该函数将字典作为参数 然后为值列表中的每个键 对象添加一条边 我创建了空的图形结构 想知道是否有一种聪明的方法来添加整个字典 def build network 字

  • 将焦点设置在 div contenteditable 元素上

    我有一个 div 我通过所见即所得定义了一些元素 例如 p p h1 等等 我想直接将焦点放在这些元素之一上 例如关于 p 但似乎focus 功能不起作用 p div 元素 p 元素 在我的案例中 还有其他方法来定义焦点吗 老帖子 但没有一

  • IntelliJ IDEA 似乎忽略了代码格式

    我一直在尝试让我的 Intellij IDEA 确认类似 google 的 Java 标准 然而导入和手动设置似乎都被忽略了 Here s how my indentations are currently set 然而 我的代码仍然格式化

  • 从 matplotlib 图像获取 RGBA 数组

    我正在使用imshow使用自定义颜色图和边界范数绘制数组 但是 这将是一个自动化脚本 我想保存由imshow没有轴 所以我不确定imshow是执行此操作的最佳方法 因为它将在后台运行 有没有一种替代方法 我可以设置颜色图和边界规范并生成一个

  • raw vs. html_safe vs. h 来取消转义 html

    假设我有以下字符串 x a href Turn me into a link a 在我看来 我希望显示一个链接 也就是说 我不希望 x 中的所有内容都未转义并显示为字符串 使用有什么区别 考虑 Rails 3 html safe实际上 将字

  • 如何在 Perl 中处理具有依赖关系的调度线程？

    我有以下场景 sub 1 can run immediately sub 2 can run immediately sub 3 can run only after sub 1 finishes sub 4 can run only af

  • JSONStore searchFields 中“数字”和“整数”之间的差异

    我有关于 JSONStore searchFields 的问题 如果我使用number作为 searchFields 键并尝试通过以下方式查找数据WL JSONStore find方法与0作为查询 它将命中所有数据 未过滤 随着intege

  • GPU 上的 Tensorflow matmul 计算比 CPU 上慢

    我是第一次尝试 GPU 计算 当然希望能有很大的加速 然而 对于张量流中的基本示例 情况实际上更糟 在 cpu 0 上 十次运行中的每一次平均需要 2 秒 gpu 0 需要 2 7 秒 gpu 1 比 cpu 0 差 50 需要 3 秒 这

  • 缺少 mbstring 扩展名。请检查您的 PHP 配置

    phpMyAdmin 错误 缺少 mbstring 扩展名 请检查您的 PHP 配置 我已经尝试过所有解决方案 但没有一个对我有用 我不知道还能做什么 我见过这个问题 当我从 15 10 升级到 16 04 或安装 16 04 时 会出现此

  • Safari 5 扩展：如何检测窗口的当前选项卡何时发生更改？

    我有一个包含工具栏的 Safari 5 扩展 每当当前选项卡发生更改时 该工具栏都应该更新 我想从我的酒吧脚本中做这样的事情 safari self browserWindow addEventListener activeTab tabC

  • x86 NASM 程序集 - 输入问题

    我正在努力从用户那里获取两次输入 并比较输入 如果它们相同 则程序退出 如果没有 它会重新打印第一次输入的内容 并等待用户输入内容 如果相同 则发生与之前相同的情况 如果没有 就会发生与之前相同的情况 输入和循环不是问题 主要问题是我从程序

  • R 中的大幂

    我正在尝试计算 2 1000 并对数字的值求和 出于所有意图和目的 它seems就像我有正确的方法但错误的答案 我不确定是否有特殊的方法来进行求和 或者我的选择可能是混乱的 无论如何 R 中的 2 1000 给出 1 072e 301 我用

  • 如何在matlab中创建留一交叉验证？ [复制]

    这个问题在这里已经有答案了 我仍然对我的代码感到困惑 我尝试在 matlab 中实现留一交叉验证进行分类 所以在这里 我从训练中取出一个数据作为测试数据 我已经在matlab中编写了代码 但我不确定它是否正确 因为结果是错误的 有人可以帮我

  • 无论如何，是否可以在数据流管道中共享状态变量？

    我正在用 python 制作数据流管道 我想跨管道转换和跨工作节点共享全局变量 例如全局变量 跨多个工作人员 有什么办法可以支持这个吗 提前感谢 有状态处理可用于在特定节点的工作人员之间共享状态 但无法在转换之间共享 https beam

热门标签