Azure 数据工厂和日志分析

2023-12-31

我想在 ADF 中对输入数据执行一些验证检查,并且任何验证失败都希望捕获到 Azure 日志分析中。

有人可以指导我如何通过 Azure 数据工厂将自定义日志捕获到日志分析中吗?

任何示例数据流/管道都会非常有帮助。

谢谢, 库马尔


如果我理解正确的话,您希望能够获取 ADF 的 Azure Monitor 日志并查询/存储这些日志吗?

好消息是您想要查看的大部分信息已通过 Azure Monitor 收集。

提取信息的简单方法之一是使用 Azure Monitor REST API。然后,您可以将响应存储到文件或表中,或者您可以只查询 api 以获取特定管道或触发器等。

以下是授权示例和使用 Azure Monitor API 的链接:https://learn.microsoft.com/en-us/azure/azure-monitor/essentials/rest-api-walkthrough#authenticating-azure-monitor-requests https://learn.microsoft.com/en-us/azure/azure-monitor/essentials/rest-api-walkthrough#authenticating-azure-monitor-requests

这是使用 Azure Monitor REST API 获取活动运行数据的 HTTP URL 示例(动态内容语法):

@{concat('https://management.azure.com/subscriptions/', linkedService().SubscriptionID, '/resourceGroups/', linkedService().ResourceGroupName, '/providers/Microsoft.DataFactory/factories/', linkedService().DataFactoryName, '/pipelineruns/', linkedService().RunID, '/queryActivityruns?api-version=2018-06-01')}

以下是可以从 Azure Monitor 中提取的所有不同的 ADF 指标:https://learn.microsoft.com/en-us/azure/data-factory/monitor-using-azure-monitor#data-factory-metrics https://learn.microsoft.com/en-us/azure/data-factory/monitor-using-azure-monitor#data-factory-metrics

Here is an example of a REST Linked service in ADF that can be used to call the rest api: REST API Linked Service

You could then create a dataset that will pass all the values to the linked service so that you can call the API, and copy the response to a DB, like here: Rest API copy activity example

This particular example is getting the status of a specific Pipeline RunID, but it can be much more broad than that. Here is what the request body looks like so that I could filter to just failed pipelines in the last day: REST API Body

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Azure 数据工厂和日志分析 的相关文章

  • ADF 在 git 模式下发布混乱

    在 git 模式下 当我们想要测试管道时 ADF 会强制我们先发布 我的理解是 发布操作做了两件事 按照给定保存到本地 ADF DEV here 在分支 adf publish 我们的分支 中创建arm模板 指定 但要启用 发布 按钮 我们
  • 使用 JSON 为数据工厂中的每个循环提供数据

    数据工厂新手 我正在努力解决以下问题 我有一个 Web 活动 它调用 API 并返回以下 JSON ResponseCode 200 ResponseText OK Data ramco purchaseordershipment ramc
  • 使用 Visual Studio 2017 的 Azure 数据工厂项目

    我不确定 Visual Studio 2017 目前是否支持 Azure 数据工厂项目 我刚刚安装了 VS 2017 但无法打开我们的解决方案 因为有一个 azure 数据工厂项目 Azure 数据工厂是否支持 Visual Studio
  • Azure 数据工厂通过访问密钥连接到 Blob 存储

    我正在尝试在 Azure 数据工厂中构建一个非常基本的数据流 从 blob 存储中提取 JSON 文件 对某些列执行转换 然后存储在 SQL 数据库中 我最初使用托管身份对存储帐户进行身份验证 但在尝试测试与源的连接时收到以下错误 com
  • 限制每个部署或容器的 Log Analytics 日志记录

    我们发现 Log Analytics 成本飙升 并发现 ContainerLog 表急剧增长 这似乎是来自容器的所有 stdout stderr 日志 是否可以限制对此表的日志记录 至少对于某些部署或容器而言 而无需在集群上禁用 Log A
  • 如何从 Azure 数据工厂运行 PowerShell

    I have PowerShell该脚本将复杂的 CSV 文件分割为每 1000 条记录的较小的 CSV 文件 这是代码 i 0 Get Content C Users dell Desktop Powershell Input bigsi
  • 在 Azure 数据工厂副本中使用追加 blob 是否有任何解决方法?

    我不希望 ADF 管道中的复制数据活动覆盖 Blob 文件 而是将新数据附加到其中 但 ADF 仅支持 Blockblob 那么有没有办法将数据追加到现有文件中 您可以使用网络活动 https learn microsoft com en
  • 是否有任何 Azure 数据工厂活动来获取 Cosmos 集合列表?

    Azure 数据工厂中是否有任何选项可以了解 Azure cosmos 帐户中特定数据库中可用的集合列表 想要执行特定的活动 每次执行 Azure 数据工厂管道时 该活动都会返回 cosmos db 中的集合列表 具体要求 想要从 cosm
  • Azure 数据工厂:如何在另一个管道成功完成后触发管道

    在 Azure 数据工厂中 如何在其他管道成功完成后触发管道 详细地 我试图在其他管道成功完成后触发 SSIS 包 我已经知道我可以将 SSIS 包保存为管道 并像其他管道一样使用触发器运行它 但是如何确保 SSIS 包管道仅在其他管道完成
  • 在我获取输入数据之前,什么会对其进行重新格式化?

    我有一个数据湖存储帐户 我有一个充满包含 JSON 格式数据的文件的目录 其中包括一些包含 ISO 8601 格式时间的字符串值 即 reading time 2008 09 15T15 53 00 91077 现在 当我使用数据工厂创建管
  • 如何在活动之前增加 Azure 数据工厂中的参数?

    我正在访问一个 RESTful API 该 API 使用 HTTP 连接器以 50 组为一组进行分页 REST 连接器似乎不支持客户端证书 因此我无法在其中使用分页 我有一个名为的管道变量SkipIndex默认为 0 在 Until 循环内
  • Azure 数据工厂:查询 CosmosDB 源中的 _ts(纪元)字段

    我正在尝试将数据从 Azure CosmosDB 复制到 Azure SQL 数据库 在 Azure CosmosDB 源中 查询如下 select from c where c DefinitionTime gt formatDateTi
  • Azure数据工厂自动重新触发失败的管道

    我想使用 If Condition Activity 动态内容 自动重新触发失败的管道 过程 管道 1 在计划时间使用触发器 1 运行 有效 如果管道 1 失败 计划触发器 2 将运行管道 2 有效 管道 2 应包含 if 条件来检查管道
  • 在U-SQL中解析json文件

    我正在尝试使用 USQL 解析下面的 Json 文件 但不断收到错误 Json file dimBetType SKey 1 BetType BKey 1 BetTypeName Test1 dimBetType SKey 2 BetTyp
  • 获取数据工厂中单个管道执行的成本

    我正在考虑使用 Azure 数据工厂 V2 进行集成导入 并想知道是否有办法跟踪正在运行的各个管道的成本 例如 如果我有 3 个管道 代表 3 个不同的集成 是否有办法查看每个管道产生的成本 还有一种方法可以近乎实时地执行此操作 以便在一个
  • 如何将变量传递到 Azure 数据工厂 REST url 查询字符串

    我是 Azure 数据工厂的新手 我有一个链接到 REST api 的源数据集 该 API 的 url 有一个查询字符串 我有一个将数据从 REST 复制到数据库的活动 但我必须在查询字符串中传递不同的值 并对不同的值运行相同的活动 如何在
  • Azure 数据工厂复制数据速度很慢

    源数据库 Azure VM D16s v3 上托管的 PostgreSQL 目标数据库 Azure VM D4s v3 上托管的 SQL Server 开发人员版本 源数据库大小约为1TB 目标数据库为空 现有架构与源数据库相同 吞吐量仅为
  • 如何将 WebJob 集成到 Azure 数据工厂管道中

    我正在尝试将 WebJob 集成到 ADF 管道中 webjob 是一个非常简单的控制台应用程序 namespace WebJob4 class ReturnTest static double CalculateArea int r do
  • Azure 数据工厂活动副本:使用 @pipeline().TriggerTime 评估接收器表中的列

    使用数据工厂 V2 我尝试实现从一个 Azure SQL 数据库到另一个数据库的数据流复制 我已将源表的所有列与接收器表映射 但在接收器表中我有一个空列 我想在其中输入管道运行时 有谁知道如何在接收器表中填充此列而不将其出现在源表中 下面是
  • 获取元数据活动 ADF V2

    谁能解释一下 ADF V2 中新引入的获取元数据活动有什么用 实际上 learn microsoft com 中提供的信息不足以理解此 Activity 的用途 获取元数据活动的主要目的是 验证任何数据的元数据信息 当数据准备好 可用时触发

随机推荐