在 Azure 数据工厂副本中使用追加 blob 是否有任何解决方法?

2024-01-08

我不希望 ADF 管道中的复制数据活动覆盖 Blob 文件,而是将新数据附加到其中。但 ADF 仅支持 Blockblob,那么有没有办法将数据追加到现有文件中?


您可以使用网络活动 https://learn.microsoft.com/en-us/azure/data-factory/control-flow-web-activity而不是复制活动。使用Blob 服务休息 API https://learn.microsoft.com/en-us/rest/api/storageservices/blob-service-rest-api您可以发送包含要附加到 blob 的数据的 PUT 请求。 您可以选择通过此活动使用数据集和链接服务。

JSON:

{  
   "name":"AppendDataActivity",
   "type":"WebActivity",
   "typeProperties":{  
      "method":"Put",
      "url":"https://<myAccount>.blob.core.windows.net/<myContainer>/<myBlob><SASToken>&comp=appendblock",
      "headers":{  
         "Content-Type":"application/json" 
      },
      "datasets":[  
         {  
            "referenceName":"<consumedDatasetName>",
            "type":"DatasetReference",
            "parameters":{  
               ...
            }
         }
      ],
      "linkedServices":[  
         {  
            "referenceName":"<consumedLinkedServiceName>",
            "type":"LinkedServiceReference"
         }
      ]
   }
}

请注意,Body 只能支持 JSON 对象或 JSON 值,JSON 数组正在修复,但不支持非 JSON 值。对于此解决方法,您可以使用 Azure Function 作为端点,您可以在其中附加文件或任何您想要的内容。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

在 Azure 数据工厂副本中使用追加 blob 是否有任何解决方法? 的相关文章

随机推荐