如何在活动之前增加 Azure 数据工厂中的参数?

2024-03-03

我正在访问一个 RESTful API,该 API 使用 HTTP 连接器以 50 组为一组进行分页。 REST 连接器似乎不支持客户端证书,因此我无法在其中使用分页。

我有一个名为的管道变量SkipIndex默认为 0。在 Until 循环内,我有一个可以运行的复制数据活动(HTTP 源到 BLOB 接收器),然后是一个我试图增加此变量的设置变量活动。

{
    "name": "Add 50 to SkipIndex",
    "type": "SetVariable",
    "dependsOn": [
        {
            "activity": "Copy next to temp",
            "dependencyConditions": [
                "Succeeded"
            ]
        }
    ],
    "userProperties": [],
    "typeProperties": {
        "variableName": "SkipIndex",
        "value": {
            "value": "50++",
            "type": "Expression"
        }
    }
}

我尝试过的所有操作都会导致错误,例如“表达式包含自引用变量。变量无法在表达式中引用自身。”和上面的那个50++在调试期间导致接收器错误。

如何让 Until 循环在检索数据后递增此变量?


同意 REST 连接器确实支持分页,但不支持分页Client Certificates认证类型。

为了您的想法Until activity场景,我被绊倒了can't self-reference a variable in an expression限制也。也许您可以对此做一些小技巧:再添加一个变量来保留索引号。

例如,我有2个变量:count and indexValue

直到活动:

内部直至活动:

V1:

V2:

顺便说一句,没有使用50++ in ADF.

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何在活动之前增加 Azure 数据工厂中的参数? 的相关文章

  • 如何过滤Azure数据工厂数据流中的时间戳列

    我有时间戳列 我在其中编写了以下表达式来过滤该列 contact date gt toTimestamp 2020 01 01 contact date lt toTimestamp 2020 12 31 它不会抱怨语法 但运行后它不会根据
  • Azure 数据工厂:事件未启动管道

    我已经设置了一个包含复制活动的 Azure 数据工厂管道 出于测试目的 源和接收器都是 Azure Blob 存储 我不想在源 Azure Blob 存储上创建新文件后立即执行管道 我创建了 BlovEventsTrigger 类型的触发器
  • 如何使用数据工厂创建 Azure 按需 HD Insight Spark 集群

    我正在尝试使用 Azure 数据工厂使用 Hdi 版本 3 5 创建按需 HD Insight Spark 集群 数据工厂拒绝创建并显示错误消息 HdiVersion 不支持 3 5 如果目前无法创建按需 HD Insight Spark
  • Azure 数据工厂 CI npm 验证步骤突然崩溃

    我们一直在使用 Azure 数据工厂的 新 CI CD 设置 如文档页面所述 https learn microsoft com en us azure data factory continuous integration deliver
  • 如何获取 ADF2 中动态内容中一个月的最后一天?

    我想根据 utcnow 时间戳获取一个月的最后一天 下面表达式中的 dd 应该自动为该月的最后一天 28 30 或 31 formatDateTime adddays utcnow 2 yyyy MM ddT23 59 59 999 考虑到
  • 发布管道与集成运行时冲突

    此问题涉及如果数据工厂中定义了自托管集成运行时 如何通过 CI 在 VSTS 中 传播数据工厂 我设置了 3 个环境 Dev UAT Prod 每个环境都有自己的数据工厂 开发人员托管主协作分支 我正在使用 VSTS 从 adf publi
  • 使用 Visual Studio 2017 的 Azure 数据工厂项目

    我不确定 Visual Studio 2017 目前是否支持 Azure 数据工厂项目 我刚刚安装了 VS 2017 但无法打开我们的解决方案 因为有一个 azure 数据工厂项目 Azure 数据工厂是否支持 Visual Studio
  • 如何通过 Azure 批处理和数据工厂使用 Azure Analysis Services 进行身份验证

    我有一个 c Sharp 类库 它使用 AMO 库连接到 Azure Analysis Services 我想将其用作数据工厂管道的一部分来刷新多维数据集分区 这是通过 Azure 批处理作为自定义 net 活动完成的 var server
  • 如何从 CI/CD 管道监控 adf 管道

    我有一个 CD 管道 它会触发 azure 数据工厂 adf 管道 但它 CD 管道 不会等到 adf 管道完成才继续执行下一个任务 我想知道 CD 管道中是否有任何内置功能 我可以通过它们触发和监视 adf 管道 因此 我期望的结果是 C
  • 在模式推断解析 json 中检测到格式错误的记录

    我在尝试使用 ADF 中的数据集解析从 Blob 存储读取的基本 Json 时遇到一个非常令人沮丧的错误 我的 Json 如下 Bid 0 197514880839 BaseCurrency AED Bid 0 535403560434 B
  • 创建后如何在 Azure 数据工厂中启用诊断

    我正在尝试在通过 c 自动化应用程序创建 azure 数据工厂后使用 ARM 模板启用诊断 我尝试对非计算资源模板使用此处的步骤 https learn microsoft com en us azure monitoring and di
  • 使用 azure datafactory SSIS 将 zip 文件上传到 blob 存储的脚本任务

    我有一个天蓝色数据工厂项目 我需要从 Azure SQL 数据库查询一些数据 然后加载到 xml 中 将其压缩并上传到 blob sotrage 我不想向文件系统写入任何内容 因为我认为 Azure 数据库没有任何 lcoal 存储 因此我
  • 如何在活动之前增加 Azure 数据工厂中的参数?

    我正在访问一个 RESTful API 该 API 使用 HTTP 连接器以 50 组为一组进行分页 REST 连接器似乎不支持客户端证书 因此我无法在其中使用分页 我有一个名为的管道变量SkipIndex默认为 0 在 Until 循环内
  • Azure 数据工厂 - 按日期过滤 Mongodb 源数据集

    此场景非常简单 如 ADFv2 文档和示例中所述 我创建了一个复制管道来从 MongoDB 集合获取数据 并将其写入 Azure SQL 数据库 完整的收集数据已成功传输 并且所有映射均已正确设置 当我尝试过滤源数据集以仅获取最后一个数据集
  • 如何从 Azure 数据工厂连接到 Firebird/InterBase (Syntess) 数据库?

    在 ADF 中 我创建了一个管道 源是 ODBC 表或查询 下一步是创建链接服务 集成运行时已创建并选择 如下所示 现在问题来了 我应该输入什么连接字符串 尝试与Server 192 168 1 35 Database dbname DSN
  • 具有改进的 CI/CD 的 Azure 数据工厂部署

    我正在关注此处发布的为 ADF 设置的新推荐 ci cd https learn microsoft com en us azure data factory continuous integration deployment improv
  • 数据工厂子项修改或创建日期

    我有一个数据工厂 V2 管道 由 获取元数据 和 forEach 活动组成 用于读取文件共享 本地 上的文件列表并将其记录在数据库表中 目前 我只能读取文件名 但还想检索每个文件的修改日期和 或创建日期属性 有什么帮助吗 谢谢 Accord
  • 获取数据工厂中单个管道执行的成本

    我正在考虑使用 Azure 数据工厂 V2 进行集成导入 并想知道是否有办法跟踪正在运行的各个管道的成本 例如 如果我有 3 个管道 代表 3 个不同的集成 是否有办法查看每个管道产生的成本 还有一种方法可以近乎实时地执行此操作 以便在一个
  • Azure 数据工厂复制数据速度很慢

    源数据库 Azure VM D16s v3 上托管的 PostgreSQL 目标数据库 Azure VM D4s v3 上托管的 SQL Server 开发人员版本 源数据库大小约为1TB 目标数据库为空 现有架构与源数据库相同 吞吐量仅为
  • 如何将 WebJob 集成到 Azure 数据工厂管道中

    我正在尝试将 WebJob 集成到 ADF 管道中 webjob 是一个非常简单的控制台应用程序 namespace WebJob4 class ReturnTest static double CalculateArea int r do

随机推荐

  • 添加 Sprite 的多个实例?

    我正在构建一个自定义图像选择器 它显示 6 个替代版本 然而 照片只显示在第 6 件商品上 model selectedPhoto返回一个 Sprite 并且不会让应用程序正常运行 但是当我使用 model photos ii 每个项目都添
  • 何时在 TypeScript / Angular 中使用接口和模型

    我最近观看了有关 Angular 2 with TypeScript 的教程 但不确定何时使用接口以及何时使用数据结构模型 接口示例 export interface IProduct ProductNumber number Produc
  • Blazor 服务器端应用程序上的子 Blazor 应用程序

    将客户端 Blazor 应用添加到服务器端 Blazor 应用 Hi 继续这里的有用答案 升级到预览版 6 后 Blazor 子应用程序出现 404 错误 https stackoverflow com questions 56586677
  • 如何在新的 AppDomain 中运行 WPF 应用程序?执行程序集失败

    我正在尝试使用应用程序域从控制台应用程序启动 WPF 应用程序 但当我这样做时 我会收到意想不到的错误 独立运行 WPF 应用程序可以正常工作 这段代码也有效 var baseDirectory AppDomain CurrentDomai
  • 更多 coproc 问题

    这是后续bash coproc 和剩余的 coproc 输出 https stackoverflow com questions 7651946 我最终决定一次一行处理文件的习惯用法是 coproc cat auto etc build c
  • 如何使用 isalnum、isdigit、isupper 来测试字符串的每个字符? [关闭]

    Closed 这个问题不符合堆栈溢出指南 help closed questions 目前不接受答案 我正在尝试制作一个密码强度模拟器 它要求用户输入密码 然后返回分数 我在用 islanum isdigit isupper 尝试看看输入的
  • 在 C 中编译/匹配 POSIX 正则表达式

    我正在尝试匹配字符串中的以下项目pcode u后跟 1 或 2 位数字 phaseu phasep x 被非单词字符包围 y 被非单词字符包围 z 被非单词字符包围 我尝试使用 POSIX 正则表达式函数 如下所示 实现正则表达式匹配 但有
  • GoogleHadoopFileSystem 无法转换为 hadoop FileSystem?

    原来的问题是尝试在 Google Cloud 上部署 Spark 1 4 https stackoverflow com questions 31466206 spark 1 4 image for google cloud 下载并设置后
  • WCF 最佳性能设置

    您好 我正在使用 WCF 创建一个 API 我的问题可以分为两个单独的问题 1 我有很多电话 例如我有与客户 产品 订单 员工有关的电话 我的问题是所有这些都应该进入一个公共接口类 例如 public interface IRestServ
  • Mac 终端重新启动后无法运行大多数命令

    我正在使用Mac 我有一个定制终端zsh 有一段时间就好了 但在我重新启动计算机后 它的行为开始有所不同 终端停止运行命令 例如rake or rails 我已经使用rails创建了应用程序 但是使用了类似的rails命令rails v现在
  • 前面的字长

    我必须创建一个带有单个参数的函数word并返回前面单词的平均长度 以字符为单位 word在文字中 如果单词恰好是文本中出现的第一个单词 则该出现的前一个单词的长度应为零 例如 gt gt gt average length the 4 4
  • 新创建的创作资源未显示在 Luis 门户中

    我在 Luis Portal 中添加了创作资源并导入了一些应用程序 添加的创作资源最初出现在 Azure 门户和 Luis 门户中 然后 资源突然在 Luis 门户中消失 现在我无法使用 应用程序 页面中的下拉菜单选择资源 因为它不再显示在
  • BrowserslistError:未知的 Android 版本 67

    我使用创建了一个角度库angular 8 and CLI 8 我正在尝试构建库 但收到错误 ng build
  • ruby 中最短的 hex2bin?

    在 ruby 中将十六进制字符串转换为二进制字符串的最短方法是什么 例如 class def hex2bin end end AB12345678 hex2bin class String def hex2bin scan map x x
  • JFileChooser 显示在全屏 JFrame 之外

    import java awt DisplayMode import java awt GraphicsDevice import java awt GraphicsEnvironment import java awt event Act
  • 如何更改文本块背景?

    这是我的xaml structure
  • 如何防止.exe类型文件在网站上传?

    假设我们有一个 example exe 文件 我们首先将该文件放入一个新文件夹中 然后使用任何压缩软件压缩该文件夹 我们可以阻止压缩文件夹在网站中上传吗 我们怎样才能做到这一点 你不能prevent它 因为在提交之前你无法知道浏览器将要提交
  • 为什么我获得了未分配内存的读写权限?

    我对下面代码片段的行为感到困惑 我已经声明了一个 char 指针并将其指向分配大小 1 sizeof char 的内存位置 char src src char malloc 1 sizeof char strcpy src Copy tex
  • 对 Rhino Mocks 中的方法调用进行计数

    所以 我想用比 An Ounce 或 At Least Once 更具体的方法来计算 Rhino Mocks 中的方法调用 有什么机制可以做到这一点吗 诀窍是使用 Repeat Times n 其中 n 是次数 令人惊讶的是 即使该方法的调
  • 如何在活动之前增加 Azure 数据工厂中的参数?

    我正在访问一个 RESTful API 该 API 使用 HTTP 连接器以 50 组为一组进行分页 REST 连接器似乎不支持客户端证书 因此我无法在其中使用分页 我有一个名为的管道变量SkipIndex默认为 0 在 Until 循环内