Azure 数据工厂 - 如何触发计划/一次性管道？

背景 ：我已安排运行管道以将数据从源复制到目标。该任务计划每天在特定时间运行。

问题 ：管道的输入数据集是外部的，并且在特定时间间隔不可用。这意味着复制活动必须等到管道中提到的计划开始时间才能开始。考虑到数据量，我不想在这里浪费时间。

要求 ：在任何给定时间，我都可以访问输入数据集可用的时间。有了这个，我想知道如何从 C# 触发 ADF 管道，尽管它计划仅在特定时间启动。

我遇到了同样的问题，仅当本地作业完成时我才需要运行管道。为此，我修改了本地作业以启动管道作为最后一步。我有一篇写下来here http://eatcodelive.com/2016/02/24/starting-an-azure-data-factory-pipeline-from-c-net/了解如何使用 C# 启动 ADF 管道。Here https://azure.microsoft.com/en-us/documentation/articles/data-factory-sdks/是 ADF 开发人员参考的链接，该参考也可能有帮助。我也有一个例子here http://eatcodelive.com/2016/06/16/running-azure-data-factory-pipeline-on-a-weekly-schedule-using-azure-functions/如果您有兴趣，可以了解如何从 Azure Functions 触发 ADF 管道。这使用了第一个示例中的相同代码，但我受益于在云中运行整个过程以及使用 azure 函数调度程序的能力。

下面是修改管道的相关方法。您需要根据您希望切片运行的时间更改开始日期和结束日期。

public void StartPipeline(string resourceGroup, string dataFactory, string pipelineName, DateTime slice)
    {
        var pipeline = inner_client.Pipelines.Get(resourceGroup, dataFactory, pipelineName);

        pipeline.Pipeline.Properties.Start = DateTime.Parse($"{slice.Date:yyyy-MM-dd}T00:00:00Z");
        pipeline.Pipeline.Properties.End = DateTime.Parse($"{slice.Date:yyyy-MM-dd}T23:59:59Z");
        pipeline.Pipeline.Properties.IsPaused = false;

        inner_client.Pipelines.CreateOrUpdate(resourceGroup, dataFactory, new PipelineCreateOrUpdateParameters()
        {
            Pipeline = pipeline.Pipeline
        });
    }