程序员经验分享-hwhale

SSIS - 轮询文件文件夹和触发 ETL 包

2023-12-06

需要建议，请参阅下面的场景

我们开发了1个ETL包，可以一次处理5个文件（通常需要1分钟）。我们预计早上（也就是说早上 6 点到 7 点之间）可以有近 100 个以上的文件进入 PROCESSING 文件夹。

我正在努力设计/开发某种轮询机制，该机制不断寻找文件，如果它们到达，它将触发 ETL 包（通过 SQL Server 代理作业触发）。

如何进行轮询然后触发 ETL 包 - Service Broker 会有所帮助

我是 SSIS 新手，所以需要建议。需要在 SQL Server 中找到解决方案，而不是开发 .net 应用程序来轮询文件夹然后触发作业

Regards


您有 2 个选择：

  1. 设置一个文件夹监视程序，该监视程序应从命令行调用包，例如 MyTrigger从 CNET 下载.
  2. 正如您所说，您希望 SQL 代理执行它，另一个可能更有效的选项是设置一个文件表并在表上创建一个用于插入的触发器，该触发器应该使用以下命令执行代理作业sp_start_job系统存储过程。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

sqlserver2008

SSIS

SSIS - 轮询文件文件夹和触发 ETL 包 的相关文章

  • SQL Server 2008 中的 FREETEXT 查询不进行短语匹配

    我在 SQL Server 2008 中有一个全文索引表 我正在尝试使用 FULLTEXT 查询精确的短语匹配 我不认为使用 CONTAINS 或 LIKE 适合于此 因为在其他情况下查询可能不准确 用户没有用双引号括起短语 并且一般来说我

  • SQL Server 2008中与其他列的排序树

    我有一个使用它实现树的表层次结构ID column 样本数据 People Girls 1 Zoey 1 1 Kate 1 2 Monica 1 3 Boys 2 Mark 2 1 David 2 2 这是使用的顺序层次结构ID列作为排序列

  • 从存储过程执行SQL Server代理作业并返回作业结果

    需要有一个存储过程来调用 SQL Server 代理作业并返回作业是否成功运行 到目前为止我已经 CREATE PROCEDURE MonthlyData AS EXEC msdb dbo sp start job N MonthlyDat

  • 将 SQL Server 2008 查询分成多个批次

    我正在尝试准备一些数据供第三方删除 不幸的是他们只能批量处理 2000 条记录的数据 我有 100k 条记录 可能需要多次分割和导出这些数据 所以我想以某种方式自动化该过程 有没有一种相当简单的方法可以使用 SQL Server 2008

  • 为什么这个 CTE 比使用临时表慢得多？

    自从我们的数据库最近更新以来 我们遇到了一个问题 我进行了此更新 我在这里感到内疚 从那时起 使用的其中一个查询要慢得多 我尝试修改查询以获得更快的结果 并设法使用临时表实现我的目标 这还不错 但我无法理解为什么该解决方案比基于 CTE 的

  • 我的触发器是如何被删除的？

    如果你能弄清楚这一点 那么你就是一位真正的 SQL 大师 这是我见过的最奇怪的事情之一 我已向数据库中的表添加了一个触发器 服务器是 SQL 2008 触发器不会做任何特别棘手的事情 当某些字段发生更改时 只需更改表中的 LastUpdat

  • 到命名实例的 Sql 连接字符串

    我可以在示例代码项目中使用它连接到我的 sql server 2008 开发人员服务器 string connection data source SQLSERVER2008 Integrated Security SSPI Initial

  • 在 SSMS 中创建架构

    我知道在 SQL 中创建模式非常容易 CREATE SCHEMA

  • 如何遍历与自身有关系的表？

    我有一个如下表 Node Id Node Name Parent Node Id 1 Root 0 2 Node1 1 3 Node2 1 4 Node3 2 5 Node4 2 6 Node5 5 7 Node6 5 8 Node7 7

  • SSIS - 在整个项目中更改对变量/参数的引用

    我创建了一个 SSIS 项目 认为它将以项目部署模式进行部署 我的很多包都有 2 个参数 称为P OdsTbl and P SrcEtl 每当我使用执行包任务时 我都会将子参数绑定到父参数 我发现该项目将以包部署模式部署 这意味着我需要将参

  • 更改使用文本文件的 SSIS 日志提供程序创建的文件的文件编码

    我是 SSIS 新手 我已经设计了一个包并为文本文件配置了 SSIS 日志提供程序 这工作正常并且日志文件已成功生成 我们有一个监控团队 他们使用这个日志文件进行监控 他们无法读取日志文件 因为文件编码是 Unicode 格式 他们期望使用

  • 在 SQL Server 中创建层次结构

    我有以下格式的数据 Table 1 e id e name e type 1 CBC 2 2 ABC 3 3 N2 1 4 CBC1 3 5 ABC1 3 6 N1 1 Table 2 N ID N Name 3 N2 6 N1 Table

  • sql中的sumProduct

    我正在尝试在服务器上的表中实现 sumproduct 来自 Excel select into myTable2 from myTable1 select a b c d e select c e 100 3423 from myTable

  • 哪种本机 dotNet 数据类型最适合传递 SQL Server HierarchyId 值？

    具体来说 我们有一个接受 HierarchyId 作为参数的 SQL Server 存储过程 并且通常我们的存储过程上有一个 SOAP 层 允许通过 SOAP 调用它们 SOAP 服务是使用 C 方法上的 WebMethod 属性来实现的

  • 如何在SQL Server中创建SYS模式的表？

    可以在 SQL Server 2008 sys 架构中创建表吗 我知道可以将表标记为系统 但不能更改架构 有什么窍门吗 您无法将自己的对象添加到 sys 架构中 无法在 sys 架构中创建用户定义的对象 盖尔 埃里克森 MS SQL Ser

  • SQL Server freetexttable 部分单词

    我第一次使用 SQL 自由文本搜索 我有点困惑为什么它会这样 我有一个联系人表 用户可以搜索并且我正在使用 SELECT Contacts Rank FROM FREETEXTTABLE Contacts O Roarty AS Conta

  • 如何在 SQL Server 中使用 nvarchar 变量为 unicode 用户添加前缀“N”？

    如何在 SQL Server 中使用 nvarchar 变量为 unicode 用户添加前缀 N 例如 给定这个变量 declare Query1 nvarchar max 我可以这样分配它 set Query1 N 但是如果我想使用怎么办

  • 通过 Oracle 的数据库链接运行 SQL Server 存储过程

    参考如何通过数据库链接执行 Oracle 存储过程 https stackoverflow com questions 240788 how to execute an oracle stored procedure via a datab

  • 了解 SSMS 2008 中关系的更新和删除规则

    当我们定义外键约束时 我对 SQL Server 2008 Management Studio 中的更新和删除规则的含义感到困惑 我也没有找到相关的帮助文档 例如F1帮助 这是屏幕快照 如果有人能描述它们的含义并推荐一些相关文档来阅读 我将

  • 具有日期变量的 SSIS For 循环容器

    我想创建一个每月包 在 ODBC 上执行每日查询并写入输出文件 更具体地说 必须首先在上个月的第一天执行查询 e g 01 11 2018 然后下一个 02 11 2018 直到上个月的最后一天 30 11 2018 日期变量当前保存为字符

随机推荐

  • 添加同一片段的多个实例

    我正在尝试将同一片段的多个实例添加到活动中 示例代码是 FragmentManager fm getSupportFragmentManager Fragment fragment fm findFragmentById R id frag

  • 对象... 是什么意思？ [复制]

    这个问题在这里已经有答案了 可能的重复 Java 中的 是什么意思 Java 数组参数 声明 语法 谁能确认我所看到的是否正确Object 下面的方法调用中的参数 public static void setValues PreparedS

  • 使用 opencv 计算虚拟相机的单应性

    我有一个平面图像 我想计算一个图像扭曲 它可以为我提供从位于 3d 空间中另一个点的虚拟相机看到的同一平面的合成视图 因此 给定图像 I1 我想计算代表从虚拟相机看到的图像 I1 的图像 I2 理论上 存在将这两个图像关联起来的单应性 给定

  • 如何使 LinearLayout 可滚动？

    我的屏幕上有很多项目 我需要使用滚动条 以便用户可以向下滚动 但是 滚动条要么不可见 要么不起作用 如何给页面添加滚动条LinearLayout 用 a 包裹线性布局

  • 如何在 Perl 中从 HTML 中提取 URL 和链接文本？

    我之前问过如何在 Groovy 中做到这一点 但是 由于所有 CPAN 库 现在我正在用 Perl 重写我的应用程序 如果页面包含这些链接 a href http www google com Google a a href http ww

  • 如何设置网站图标？

    我正在尝试做一个非常简单的初步练习来建立一个创建网站图标的网站 这是我正在使用的代码 但它不起作用 有人可以帮忙吗 我已将文件 favicon ico 保存在与 html 文件相同的级别 在子目录中 非常感谢 随着 i android wi

  • 什么是 .pid 文件以及它包含什么？

    我最近遇到了一个扩展名为 pid 的文件 并查看了它的内部 但没有找到太多内容 这文档 says Pid 文件是包含进程标识号 pid 的文件 该文件存储在文件系统的明确定义位置 从而允许其他程序找到正在运行的脚本的 pid 任何人都可以对

  • 关于 Objective-C/Cocoa 中工厂方法对象生命周期的问题（保留或不保留...）

    通过阅读 SDK 中的内存管理文档 我发现工厂方法 静态构造函数方法 通常会为我保留该对象并将其添加到自动释放池中 这意味着只要池没有在我预期之前释放 我就不需要保留和释放对象 对于 main 中的默认自动释放池 这应该位于应用程序的末尾

  • 在多个号码字段中搜索多个号码

    ID 1 5 1 6 3 4 1 36 1 我有这些 1 6 36 要搜索的号码 它应该找到包含 1 OR 6 OR 36 的任何行 例如上表中总共 4 行 I tried FIND IN SET ID 1 6 36 ID IN 1 6 3

  • AngularJs 无限循环

    以下index html页面导致无限循环 重现 在 本地或远程 Web 服务器上下载下面链接的 github 项目 我已经在 plunker 上尝试过 并且没有发生无限循环 从您的浏览器请求它 单击页面上的 p1p2 链接 无限循环开始 在

  • MySQL5.6卡在进程“试图启动服务”上

    我获得了适用于 Windows 7 32 位的 MySQL 5 6 社区服务器版本 还下载了相同 Windows 版本的 Windows 安装程序 一切准备都正确 我在博客上看到给我一份在 winodws7 32 位上安装 MySQL 5

  • 如何找到向量的重复元素并输出该重复项的整数外观而不是逻辑值？

    我们知道 duplicate 函数输出一个逻辑向量 然而 我想要的是一个整数向量 如果这是该特定元素第 n 1 次出现 则输出向量的相应元素为 n 例如 如果我们调用我正在寻找的函数 intDuplicate 那么我需要以下输出 gt x

  • 在 C 中从文件中读取长行时处理内存

    首先 我知道这个问题非常接近这个话题 但是这个问题的措辞非常糟糕 我什至不确定它是重复的 而且没有显示代码 所以我认为应该正确地询问它 我正在尝试逐行读取文件 并且我需要将一行特别存储在variable 我已经成功地使用轻松地做到了这一点f

  • android：如何使用模拟（假）坐标修复GPS？

    当 GPS 信号不可用时 我尝试以编程方式修复 GPS 我想这样做是为了向其他应用程序 如谷歌地图和其他应用程序 提供模拟坐标 我尝试使用 GPS PROVIDER 和 NETWORK PROVIDER 但只有后者我才能获得对谷歌地图有效的

  • 错误：无法获取现有工作区：container.Client#ListBlobs：

    Error Failed to get existing workspaces containers Client ListBlobs Failure responding to request StatusCode 403 Origina

  • Laravel 路由变化

    我有一个类别表 如下所示 id parent id name 1 0 electronics 2 1 Televisions 3 2 LCD TVs 4 2 Plasma Tvs 5 1 DVD Players 6 1 Bluray Pla

  • HTML5 - 一起开始音频和视频？

    我该如何让音频和视频同时开始使用

  • 当我调用函数而不将其返回值分配给变量时会发生什么？ [复制]

    这个问题在这里已经有答案了 假设我有以下功能 int foo return 1234 调用此函数而不将其返回值分配给任何变量的效果是什么 foo 另外 使用运算符而不将其返回值分配给任何变量的效果是什么 1 2 3 在 C 中 表达式是有效

  • 方法与类型中的另一个方法具有相同的擦除

    为什么在同一个类中存在以下两个方法是不合法的 class Test void add Set

  • SSIS - 轮询文件文件夹和触发 ETL 包

    需要建议 请参阅下面的场景 我们开发了1个ETL包 可以一次处理5个文件 通常需要1分钟 我们预计早上 也就是说早上 6 点到 7 点之间 可以有近 100 个以上的文件进入 PROCESSING 文件夹 我正在努力设计 开发某种轮询机制

热门标签