程序员经验分享-hwhale

在talend中运行并行作业

2023-11-25

我遇到一种情况，我需要在talend 中并行运行五个不同的子作业。问题是，在我的选择查询中，我将获得五个不同的 ID，然后对于每个特定的 id，我需要运行五个不同的作业。 tparrallelize 组件的问题是，它不允许我将上下文变量传递给每个子作业，即本例中的 id 。

从表限制 5 中选择 id； ----> 同一作业的五个不同实例，具有不同的 id 作为参数

任何帮助将不胜感激

thanks


我不确定我是否正确理解你在这里所做的事情，但如果你要分解每个 ID 并将它们存储为 5 个单独的上下文变量，那么每个作业都可以访问自己的上下文变量，并为每个作业存储正确的 ID并使用它们。

因此，我将从您的数据库输入组件开始（只需选择您想要的 ID）并将其输入到tFlowToIterate。通过迭代流将其连接到tFixedFlowInput组件并在架构中创建 2 个字段：“键”和“值”。使用内联表指定“key”应该是((Integer)globalMap.get("tFlowToIterate_1_CURRENT_ITERATION"))和“值”应该是((String)globalMap.get("row1.SupplierPartNumber")).

Iterate through the returned IDs and put in Global Map and then retrieve

然后我会把它扔进tMap我放置的组件"ContextNumber" + row2.key进入映射的键列只是为了使其比作为上下文的迭代数更明显，然后将其直接输入到tContextLoad.

Map the iteration value

从那里您可以 OnSubjobOK 到您的tParallelize将您的所有工作组成并链接在一起。在每个作业中配置作业以使用适当的上下文变量。

enter image description here

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

parallelprocessing

jobs

jobscheduling

talend

在talend中运行并行作业 的相关文章

  • 超标量和 VLIW

    我想问一些关于ILP的问题 超标量处理器是标量处理器和矢量处理器的混合体 那么我可以说矢量处理器的架构遵循超标量吗 同时处理多个指令不会使体系结构超标量 因为流水线 多处理器或多核体系结构也可以实现这一点 这意味着什么 我读过 超标量 CP

  • 多处理：仅使用物理核心？

    我有一个函数foo它消耗大量内存 我想并行运行多个实例 假设我有一个有 4 个物理核心的 CPU 每个核心有两个逻辑核心 我的系统有足够的内存来容纳 4 个实例foo并行但不是 8 个 此外 由于这 8 个核心中的 4 个是逻辑核心 我也不

  • 并行化斐波那契序列生成器

    我正在学习并行化 在一项练习中 我得到了一些我应该提高性能的算法 其中之一是斐波那契数列生成器 array 0 0 array 1 1 for q 2 q lt MAX q array q array q 1 array q 2 我怀疑 这

  • 匹配集合 Parallel.Foreach

    我正在尝试为 matchcollection 创建一个 Parallel Foreach 循环 它在我构建的刮刀中 我只需要知道在 Parallel Foreach 中放入什么 MatchCollection m Regex Matches

  • 与 GridSearchCV 的并行错误，与其他方法一起工作正常

    我使用 GridSearchCV 时遇到以下问题 它在使用时给我一个并行错误n jobs gt 1 同时n jobs gt 1与 RadonmForestClassifier 等单一模型配合良好 下面是一个显示错误的简单工作示例 train

  • 并行 dask for 循环比常规循环慢？

    如果我尝试使用 dask 并行化 for 循环 它最终会比常规版本执行得慢 基本上 我只是按照 dask 教程中的介绍性示例进行操作 但由于某种原因它在我这边失败了 我究竟做错了什么 In 1 import numpy as np from

  • 如何在C中同时运行两个子进程？

    所以我开始学习并发编程 但由于某种原因我什至无法掌握基础知识 我有一个名为 fork c 的文件 其中包含一个 main 方法 在此方法中 我将 main 分叉两次 分别进入子进程 1 和 2 在孩子 1 中 我打印了字符 A 50 次 在

  • GNU 并行与 rsync

    我正在尝试运行一些实例rsync并行使用ssh with GNU parallel 我正在运行的命令是这样的 find tmp tempfolder type f name chunck sort parallel gnu j 4 v ss

  • 如何用OpenCV解决图像处理相机IO延迟

    我有一个 OpenCV 程序 其工作原理如下 VideoCapture cap 0 Mat frame while true cap gt gt frame myprocess frame 问题是如果myprocess耗时较长 超过相机的I

  • 并行何时会提高性能

    我试图理解何时使用parallel会提高性能 我用一个简单的代码对其进行了测试 该代码运行了超过 100 000 个项目List

  • Python：并行修改数组的简单方法

    这个问题可能听起来很简单 但作为 Python 并行化的新手 我肯定会遇到困难 我处理了 OpenMP for C 中的并行化问题 这要容易得多 我需要做的是并行修改矩阵的条目 就是这样 问题是 我无法使用简单的 joblib 库来做到这一

  • AsyncTask的并行执行

    An 异步任务单击时执行 List

  • Eigen 和 OpenMP：由于错误共享和线程开销而没有并行化

    系统规格 Intel Xeon E7 v3 处理器 4 插槽 16 核 插槽 2 线程 核心 Eigen 系列和 C 的使用 以下是代码片段的串行实现 Eigen VectorXd get Row const int j const int

  • PyTorch DataLoader 对并行运行的批次使用相同的随机种子

    有一个bug https tanelp github io posts a bug that plagues thousands of open source ml projects 在 PyTorch Numpy 中 当并行加载批次时Da

  • Eclipse PTP：在本地计算机上运行并行（MPI）应用程序？

    必须如何配置 eclipse PTP 才能在本地计算机上使用 OpenMPI 运行 MPI 应用程序 使用 添加资源管理器 我可以选择 OpenMPI 并在 连接名称 中切换到本地主机 但仍然要求我提供一些用户名和密码 这是正确的方法吗 D

  • 当我使用并行代码时，为什么我的计算机没有显示加速？

    所以我意识到这个问题听起来很愚蠢 是的 我使用的是双核 但我尝试了两个不同的库 Grand Central Dispatch 和 OpenMP 并且当使用 clock 来对带有和不带有使平行的话 速度是一样的 根据记录 他们都使用自己的并行

  • 使用并行任务库时“foreach”失败

    以下代码创建正确数量的文件 但每个文件都包含第一个列表的内容 有人能发现我做错了什么吗 private IList

  • C++并行排序

    我需要对存储在结构数组中的数据块进行排序 结构体没有指针 每个块都有其计数器编号以及数组中数据块与结构块相等的位置的坐标 例如 如果我们有一个数据数组 我们可以将其分为 4 个 NxN 块 那么在结构块的索引数组中我们有 4 个结构块 每个

  • Rmpi：mclapply：在 selectChildren(ac, 1) 中：选择中出现“系统调用中断”错误

    以下最小示例 require Rmpi set seed 1 foo lt parallel mclapply seq len 10 function l lapply 1 10 function x mean rnorm 10000 me

  • 如何并行执行4个shell脚本，我不能使用GNU并行？

    我有4个shell脚本dog sh bird sh cow sh和fox sh 每个文件使用 xargs 并行执行 4 个 wget 来派生一个单独的进程 现在我希望这些脚本本身能够并行执行 由于某些我不知道的可移植性原因 我无法使用 GN

随机推荐

  • PHP 中的字符串连接与数组内爆

    使用 Java 很长时间后 我逐段创建长字符串的标准方法是将元素添加到数组中 然后对数组进行内爆 out a out b echo implode out 但随后有大量数据 标准 PHP 替代方案是使用字符串连接 out a out b e

  • Python 装饰器处理文档字符串

    我在使用带有装饰器的文档字符串时遇到问题 给出以下示例 def decorator f def decorator print decorator active f return decorator decorator def foo th

  • RDD API 与 UDF 与 DataFrame API 混合的性能影响

    Scala 特定问题 虽然 Spark 文档鼓励尽可能使用 DataFrame API 但如果 DataFrame API 不足 通常需要选择回退到 RDD API 或使用 UDF 这两种替代方案之间是否存在固有的性能差异 RDD 和 UD

  • JAX-WS 通过 WS-Security 和 WS-Addressing 使用 Web 服务

    我正在尝试使用 JAX WS Metro 开发一个独立的 Java Web 服务客户端 该客户端使用 WS Security 和用户名令牌身份验证 密码摘要 随机数和时间戳 和时间戳验证以及基于 SSL 的 WS Addressing 我必

  • 在 xaml 中添加地图控件会导致“灾难性故障”

    我正在使用 Visual Studio Ultimate 2013 版本 12 0 30501 00 Update 2 创建通用应用程序 在我的 xaml 中添加地图控制时出现灾难性失败 如下所示

  • 如何删除 C 中 FILE* 指向的文件？

    include

  • 如何快速找到多维数组中某项的索引？

    假设我有这个数组 let a 1 2 3 4 5 6 7 8 9 现在我想要这样的东西 public func indicesOf x Int array Int gt Int Int 这样我就可以这样称呼它 indicesOf 7 arr

  • 如何使用python操作SAP Gui并运行SAP Scripts？

    作为SAP MM的一名官员 我想编写一个应用程序来完成一些重复的工作 但是当我录制SAP Gui Script时 我无法在Python中成功运行它 我是否使用了错误的模块或者我的代码有问题 import win32com client im

  • Python，Seaborn：如何复制corrplot？

    我正在 UDemy 上学习一门关于数据可视化的课程 我会推荐给你 但它可能看起来像垃圾邮件 在该课程之前 我一直在使用 matplotlib 来进行可视化 所以 Seaborn 对它还很陌生我 在课程中他们谈论corrplot 函数 它可以

  • 当应用程序保持文件锁定时 ReplaceFile 替代方案

    编辑器 FooEdit 我们称之为 使用替换文件 保存时确保保存操作实际上是原子的 并且如果出现任何问题 则保留光盘上的原始文件 ReplaceFile 的另一个重要好处是文件标识的连续性 创建日期和其他元数据 FooEdit 还以 FIL

  • 不带 OWIN 的 SignalR

    我正在参与 ASP MVC 项目 我想在项目中使用 SignalR 但不想使用 OWIN lib 据我了解 SignalR是使用这段代码在应用程序中注册的 public class Startup public void Configura

  • 如何让chrome扩展全屏显示？

    我正在尝试使 chrome 扩展成为全屏 但我能做的最大是半宽 更重要的是它只是在底部给了我一个滚动条 我怎样才能让它全屏显示 意思是 chrome浏览器的整个宽度 谢谢 chrome windows update windowId sta

  • 打印 UTF-8 编码的字节字符串

    我有一个表格的数据 v xc5 x84 这是 utf 8 编码字符 的字节表示 如何使用变量 v 打印 gt gt 我正在使用 python 2 7 2 原始变量 v 包含字符串 v xc5 x84 双反斜杠 vs v xc5 x84 单个

  • Python 脚本在后台运行时挂起

    我有一个 Python 脚本 在 2 7 上运行 当我从命令行运行它时 它的行为与在后台运行时不同 当我从终端运行它时 它按预期运行 两个线程作为守护进程运行 将输出写入窗口 同时主循环等待退出命令 它会永远运行 直到我输入 quit py

  • 使用 GTK 查找工作区大小（屏幕大小减去任务栏）

    如何创建一个充满整个桌面的主窗口不覆盖任务栏 或被任务栏覆盖 and 没有被最大化 我可以使用以下命令找到整个屏幕尺寸并相应地设置主窗口 window gtk Window screen window get screen window r

  • dependencyManagement 和 Maven 中的依赖关系之间的区别

    有什么区别dependencyManagement and dependencies 我已经在 Apache Maven 网站上看到了文档 似乎在下面定义了一个依赖项dependencyManagement可以在其子模块中使用而无需指定版本

  • 将选取的图像保存到 CoreData

    我能够从照片库中选取并显示图像 但我的目标是能够将选取的图像或文件路径保存到核心数据 以便在选择保存的记录时该图像也会显示 我有 CoreData 工作 并且我能够显示 CoreData 中的文本 这只是图像阻碍了我 IBAction fu

  • 如何在 MATLAB 中以彩色打印字符串？

    通常当您在 MATLAB 中打印字符串时 disp this will print black letters 可以改为彩色打印吗 If you fprintf to stderr 它可以以另一种颜色出现 我认为这取决于您的喜好 有未记录的

  • 使用 Flask 路由捕获整数列表

    我正在尝试在 Flask 中实现一个基本计算器 我定义了两个 url 参数 当我只想添加两个值时这是可以管理的 但是 我想添加任意数量的值 如何在不编写无限长路线的情况下获得整数列表 app route add

  • 在talend中运行并行作业

    我遇到一种情况 我需要在talend 中并行运行五个不同的子作业 问题是 在我的选择查询中 我将获得五个不同的 ID 然后对于每个特定的 id 我需要运行五个不同的作业 tparrallelize 组件的问题是 它不允许我将上下文变量传递给

热门标签