程序员经验分享-hwhale

使用状态和定时器进行处理

2024-01-05

在 Beam Dataflow 运行程序中使用状态处理和计时器（从 v2.1.0 开始）是否有任何准则或限制？例如状态大小或更新频率的限制等？候选流管道将广泛使用状态和计时器来表示用户会话状态，并使用 Bigtable 作为持久存储。


以下是针对您的用例的一些一般建议

  • 请聚合多个元素然后设置计时器。
  • 请不要为每个元素创建一个计时器，这会过多。
  • 尝试聚合状态，而不是积累大量状态。 IE。聚合为总和和计数，而不是在尝试计算平均值时存储每个数字。
  • 请考虑会话窗口 https://cloud.google.com/dataflow/model/windowing#session-windows对于这个用例。
  • 在数据流中，合并窗口不支持状态。它是用于梁的。
  • 请根据您的访问模式使用状态，即BagState https://beam.apache.org/documentation/sdks/javadoc/0.5.0/org/apache/beam/sdk/util/state/BagState.html用于盲写。

这是一篇内容丰富的博客文章，其中包含有关状态的更多信息“使用 Apache Beam 进行状态处理 https://beam.apache.org/blog/2017/02/13/stateful-processing.html."

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

googleclouddataflow

ApacheBeam

使用状态和定时器进行处理 的相关文章

随机推荐

  • JSHint 不允许我在“for”循环中使用“forEach”

    我有一个以数组作为值的对象 people steve foo bar joe baz boo 对于每个键 我想循环遍历相应数组中的值 足够简单 for var person in people person forEach function

  • 使用 Crystal Reports 公式将数字字符串转换为值，但将非数字保留为空白/空

    我有一个字符串字段 主要包含数字十进制值 但有时包含 我想使用公式将这些数值字符串转换为值 将非值留空 空 if isNumeric a omgang omg resultat then toNumber a omgang omg resu

  • C# - Windows CE：表单翻译独立于操作系统区域性设置

    我正在为 Windows CE 设备使用 C 编写一个程序 并且希望根据应用程序本身的语言设置来翻译该应用程序 我已经阅读了一些有关使用资源文件进行本地化以及使用 可本地化 和 语言 属性翻译表单的文章 根据我所读到的内容 我了解到这种类型

  • Python：“打破”外循环

    在下面的Python代码中 narg len sys argv print length arg narg if narg 1 print Usage input filename nelements nintervals break I

  • 更改 Rails 会话 cookie 域而不注销用户

    我正在使用 Rails 4 2 2 带有 Devise 3 4 1 并将 cookie store 域从 www boundless dev 更改为 boundless dev 以便在所有子域之间共享相同的会话 单点登录 Boundless

  • 我应该在 Heroku Cedar 上使用 Thin 还是 Unicorn

    我最近将我的应用程序 升级 到了 Heroku 上的 cedar 平台 默认情况下 我正在使用thin作为网络服务器 但我一直想用unicorn为了并发性并让我的动力美元去爸爸 但我担心使用 Thin 以外的东西会遇到一些问题 有人对这个决

  • UICollectionView 类似报纸的布局

    UICollectionView 是否可以灵活地动态呈现如下所示的界面 Newsify for iPhone 或者只能渲染预定义的静态布局 我想根据图像尺寸 高x宽 进行布局 比如小图像的小网格和大图像的大网格 所有这些都是在运行时根据我从

  • 导入 com.lowagie.database.DatabaseConnection 时出错

    我完成了第 1 章练习 现在转到第 2 章 我正在进行第一次 DatabaseTest 练习 但在导入语句中遇到错误 import com lowagie database DatabaseConnection and import com

  • 更新 Metal 中 MTLBuffer 的内容

    我需要帮助来替换 a 的内容MTL缓冲区无需创建新的 两种情况下的内容都是浮点数组 let vector Float 0 1 2 3 4 5 6 7 8 9 let byteLength arr1 count MemoryLayout

  • Vuejs 变异对象作为 prop 传递

    如果我将一个对象作为 prop 传递 引用 可以改变 prop 中的值吗 我正在开发一个网络应用程序 需要将大量值传递给组件 并且我正在尝试找到将值传递给组件并返回给父级的最佳方法 从我读到的所有内容来看 改变 prop 是错误的做法 因为

  • android 保存到SD卡

    大家好 我有一个小问题 我有这个代码可以将图像保存到 SD 卡 public String SDSave View arg0 TODO Auto generated method stub OutputStream outStream nu

  • 如何禁用点击文本字段时出现的键盘，iOS？

    我有一个文本字段 当用户按下它时我需要显示自定义选择器 选择器显示正常 但问题是键盘出现在底部 我不希望这样 这是一个 iPad 项目 我正在尝试从我的 iPhone 转换它 在 iPhone 上 这种方法效果很好 并且键盘始终是隐藏的 我

  • 如何建立快速可靠的 S3 到 EC2 连接 [关闭]

    Closed 这个问题是无关 help closed questions 目前不接受答案 EC2 提供了一种非常方便的 按需可扩展的机制来执行可分布式 可并行 的进程 而 S3 提供了可靠的存储服务 我尝试使用 EC2 节点进行 ETL 和

  • 在 Django 中使用 ContentType 过滤 2 个模型

    我有 2 个配置文件模型 我正在创建一个 与会者 对象 如何仅在 2 个配置文件之间进行过滤 class Profile1 models Model user models ForeignKey User null True unique

  • 在 R 中引用行号

    如何引用观察的行号 例如 如果您有一个data frame称为 数据 并想要创建一个变量data rownumber等于每个观察的行号 如果不使用循环 您将如何做到这一点 这些默认情况下显示为rownames当你创建一个data frame

  • Windows Phone 8.1 C# 应用程序：仅在发布模式下的真实设备上发生严重崩溃 (ExecutionEngineException)

    想象一下以下结构类型 public struct Token IDictionary

  • 使用vba在word文档中查找斜体字体

    随着Find功能 Ctrl F 我可以从文档中搜索并选择所有斜体字 这个用vba怎么实现呢 我尝试了宏记录器 但我得到的代码不起作用 Sub Makro1 Makro1 Makro Makro aufgezeichnet am 16 06

  • Quarkus Keycloak 自定义授权

    我尝试在 quarkus 中进行一些 websocket 身份验证 我目前有使用启用的身份验证的休息端点 我使用 keyclock 进行身份验证 并使用 vert x 与 websocket 进行双向连接 也在 github 线程中发布此问

  • Tmux 边框显示为 x q 而不是线条？

    我无法让 tmux 显示边框线 它们是用 x 和 q 创建的 它是一个 debian squeeze 服务器 区域设置设置为 en US UTF8 我也尝试添加 instructs tmux to expect UTF 8 sequence

  • 使用状态和定时器进行处理

    在 Beam Dataflow 运行程序中使用状态处理和计时器 从 v2 1 0 开始 是否有任何准则或限制 例如状态大小或更新频率的限制等 候选流管道将广泛使用状态和计时器来表示用户会话状态 并使用 Bigtable 作为持久存储 以下是

热门标签