程序员经验分享-hwhale

我需要 ETL 吗？

2023-12-02

我们目前使用 Datastage ETL - 每天导出包含 15 个表（3 个不同模式）中的数据的 CSV/文本文件。

我想知道是否有一种更简单的方法可以在不使用 ETL 的情况下完成此任务。我尝试过脚本拉。它看起来简单/快速，但它又是一个 ETL。请建议..


我们使用Python。每一种编程语言——每一种曾经发明的语言——都是 ETL 的替代品。

你从来没有need an ETL.

问题是：

  • 哪个建造成本更低？定制软件还是 ETL 配置？

  • 哪个维护操作更便宜？

  • 哪个更容易适应不断变化的需求？

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

ETL

我需要 ETL 吗？ 的相关文章

  • 将 MySQL 结果集转换为 NumPy 数组的最有效方法是什么？

    我正在使用 MySQLdb 和 Python 我有一些基本的疑问 例如 c db cursor c execute SELECT id rating from video results c fetchall 我需要将 结果 作为 NumP

  • 根据另一列过滤一列中的数据值，然后将值插入到同一个 SQL 表中的不同列中

    这是我试图使用 SSIS 和条件分割转换来解决的一个难题 我有一个 csv 文件 其中一行中包含每个唯一用户的属性数据 另一列中包含每个属性的值 IE Attribute Attribute Type ID 0000000001 Birth

  • SSIS：代码页返回到 65001

    在我正在编写的 SSIS 包中 我有一个 CSV 文件作为源 在 连接管理器常规 页面上 有65001作为代码页 我正在测试一些东西 不检查 Unicode 这些列映射到 SQL Server 目标表varchar 除其他外 列 目标处出现

  • 将文本文件中的内容加载到 sqlite 表中？

    我有只包含普通文本的简单文本文件 我想知道是否有一种方法可以将文本内容加载到 sqlite 中的表中 所以也许我可以Create table myTable nameOfText TEXT contents TEXT 然后把nameOfTe

  • 集成服务目录文件夹权限已更改

    问 SSISDB 或 MSDB 中的任何 SQL Server 系统表是否包含可让我发现哪些用户正在对 Integration Services 目录中的文件夹权限进行更改的信息 背景 我发现 SQL 代理作业失败 错误描述如下 无法访问该

  • OrientDB ETL 在加载 CSV 文件时抛出异常

    我试图将一个简单的 CSV 文件加载到 OrientDB 但它总是抛出此异常 CSV 文件内容 id name role 1 Sarath Architect 2 Anoop Project Manager 3 Nazeem Lead De

  • 在 SSIS 中使用正确的函数拆分列中的值

    我需要你们的紧急帮助 我有一列代表用户的全名 现在我想将其分为名字和姓氏 全名的格式为 World hello 现在这里的名字是 hello 姓氏是 world 我正在使用派生列 SSIS 并对名字使用右函数 对姓氏使用子字符串函数 但这些

  • 使用 AWS Glue 时如何查找更新的行？

    我正在尝试使用 Glue 对从 RDS 迁移到 Redshift 的数据进行 ETL 据我所知 Glue 书签仅使用指定的主键查找新行 而不跟踪更新的行 然而 我正在处理的数据往往会频繁更新行 我正在寻找可能的解决方案 我对 pyspark

  • JOLT 移位转换以过滤数组中的值

    我想使用 JOLT 转换来做两件事 过滤名为 myarray 的数组中的元素 以便仅保留具有 v 518 属性的元素 过滤掉除 v 518 和 lfdn 之外的其余元素的所有属性 Input isError false isValid tr

  • SSIS：如何在数据流任务中运行存储过程

    我有一个执行此操作的数据流任务 从 OLE DB 源中 运行 SQL 命令来选择一些数据 查找不同的 SQL DB 源 检查数据是否已存在 根据查找匹配输出与查找不匹配输出 使用不同的输入参数运行存储过程 输入参数将基于 2 中的 可用查找

  • Python 中的最佳 ETL 包

    我有两个用例 从 Oracle PostgreSQL Redshift S3 CSV 提取 转换并加载到我自己的 Redshift 集群 安排作业每天 每周运行 INSERT TABLE 或 INSERT NONE 选项更好 我目前正在使用

  • 如何在平面文件连接管理器上重新配置列信息？

    我有一个正在从平面文件读取数据的平面文件源 我们最近在此平面文件中添加了一个新列 平面文件数据被插入到数据库表中 为了适应目标组件中的新字段 我使用了ALTER TABLE语句将新列添加到表中 这是我所做的唯一改变 平面文件和目标组件之间的

  • 如何在 SSIS 中设置 zip 文件的密码？

    我使用 SSIS 中的执行进程任务通过 7 zip 压缩了文件 现在我必须为 zip 文件设置密码 我该如何实现 我不认为这是一个 ssis 问题 你必须看看7zip 命令行用户指南 https sevenzip osdn jp chm c

  • OLE DB 目标：转换规范的字符值无效

    我的表来源 num facture TYPE actif date 1 1 1 2010 01 31 00 00 00 000 2 2 1 2011 01 31 00 00 00 000 3 3 2 2012 01 31 00 00 00

  • 重命名文件源

    我一直在从平面文件源开发 SSIS 包 该文件每天都会出现 文件名具有日期时间指示 如下所示 文件名 20190509042908 txt 我想知道如何才能度过约会部分 我希望包动态读取文件 但它应该在没有最后 6 位数字的情况下通过 我只

  • 将 XML 数据保存到 SQL Server 的最佳方法是什么？

    有没有一条非常直接的直接路线 即SQL Server可以读取XML 或者 最好解析 XML 并通过 ADO Net 以通常的方式将其作为单独的行或批量更新进行传输 我意识到可能有一些解决方案涉及大型复杂的存储过程 虽然我并不完全反对这一点

  • sqlite 插入表中 select * from

    我需要在 Android 应用程序中将数据从一个表移动到另一个表 我想使用以下sql insert into MYTABLE2 select id STATUS risposta DATETIME now data ins from MYT

  • 如何在 AWS Glue 中指定联接类型？

    我正在使用 AWS Glue 连接两个表 默认情况下 它执行INNER JOIN 我想做一个LEFT OUTER JOIN 我参考了 AWS Glue 文档 但无法将联接类型传递给Join apply 方法 有没有办法在 AWS Glue

  • SSIS - 在整个项目中更改对变量/参数的引用

    我创建了一个 SSIS 项目 认为它将以项目部署模式进行部署 我的很多包都有 2 个参数 称为P OdsTbl and P SrcEtl 每当我使用执行包任务时 我都会将子参数绑定到父参数 我发现该项目将以包部署模式部署 这意味着我需要将参

  • 无法在 SSIS 2012 上使用敏感项目参数

    在 SSIS 2012 中 我尝试对 Oracle 的 OLEDB 连接使用敏感项目参数 它与 Sensitive 属性设置为完美配合FALSE 在项目参数设计器中 但我不希望密码像那样可见 一旦我将敏感属性设置为TRUE并尝试执行我的包

随机推荐

  • 在此示例中如何从目标列表中获取所有值

    我找到了这个example有两个JLists 我怎样才能从目的地获得所有值JList 我是Java新手 我想从第二个列表中获取所有值来进行一些测试来研究 import java awt BorderLayout import java aw

  • 是否可以使用行号和列号进行 SQL 更新？ [关闭]

    就目前情况而言 这个问题不太适合我们的问答形式 我们希望答案得到事实 参考资料或专业知识的支持 但这个问题可能会引发辩论 争论 民意调查或扩展讨论 如果您觉得这个问题可以改进并可能重新开放 访问帮助中心以获得指导 我正在使用 jquery

  • Java mapToInt 与使用 Map 进行Reduce

    我一直在阅读有关reduce的文章 刚刚发现有一个3参数版本 基本上可以像这样执行map缩减 String strarr abc defg vwxyz System out println Arrays stream strarr redu

  • 如何使用 FMDB 将图像（字节）保存和检索到 SQLite（blob）？

    我正在制作一个 iOS 应用程序 需要显示来自远程站点 来自 URL 的一些图像 每次用户进入应显示图像的屏幕时 应用程序都会冻结 直到下载完成 所以我想将已经下载的图像存储到名为 COVERS 的 SQLite 表中 这是我如何下载和显示

  • 创建一个包含 n 个字符的字符串

    Java中有没有办法创建一个具有指定数量指定字符的字符串 就我而言 我需要创建一个包含十个空格的字符串 我当前的代码是 final StringBuffer outputBuffer new StringBuffer length for

  • R：识别 JSON 中的地理坐标

    我正在使用 R 编程语言 我的问题 我正在尝试自己在这里重新创建这张地图 例如在传单中 https crtc gc ca cartovista LTEOverTheYearsYE2019 EN index html 例如 2019 年 这是

  • 如何使用 React es6 处理多个受控输入？

    这是我的小提琴 https codepen io seunlanlege pen XjvgPJ editors 0011 我有两个输入 我正在尝试使用一种方法来处理onChange任何输入字段的事件 我已经在互联网上寻找解决方案 但一无所获

  • 当 Pod“忙”时向 Kubernetes 指定

    我的一项微服务正在 Kubernetes 上运行 我想在 Pod 繁忙时指定 K8s 负载均衡器 因为我当前得到的行为不正常 一个例子 我有 8 个 pod 正在运行 每个 pod 一次可以处理 1 个请求 每个请求占用分配给 Pod 的

  • 模糊匹配微小差异

    我有一列公司名称 我想计算该列中有多少家不同的公司 在本栏目中 一些相同的公司名称略有不同 例如 这些公司应该只计算一次 ASAHI INTECC CO LTD Asahi Intecc USA Inc ASAHI INTECC USA I

  • matplotlib 箭头和纵横比

    如果我运行这个脚本 import matplotlib pyplot as plt import pylab as plab plt figure plt plot 0 2 2 0 color c lw 0 5 plt plot 1 2 2

  • 排序向量查找的更快版本 (MATLAB)

    我在 MATLAB 中有以下类型的代码 indices find 1 2 2 3 3 3 4 5 6 7 7 3 这将返回 4 5 6 数组中元素的索引等于 3 现在 我的代码用很长的向量来做这种事情 向量是总是排序的 因此 我想要一个用

  • @csrf_exempt 不适用于基于通用视图的类

    class ChromeLoginView View def get self request return JsonResponse status request user is authenticated method decorato

  • 在Nativescript中获取mac地址和ip

    我们正在实现一个用于应用程序分发的服务器 我们需要通过以下方式限制对应用程序的访问 MAC地址 ip 目前我还没有找到任何可以在nativescript中从设备获取这些数据的模块 所以我不知道是否有插件或者我怎样才能实现这一点 在nativ

  • 带有 PathMatcher 的 DirectoryStream 不返回任何路径

    尽管我已经看到了很多类似问题的答案 但我无法使以下代码按我认为应该的方式工作 File dataDir new File C User user id PathMatcher pathMatcher FileSystems getDefau

  • 如何快速学习 Prism for Silverlight？

    我需要使用 Prism 制作 Silverlight 应用程序 学习使用 Silverlight Prism 制作简单应用程序的最佳方法是什么 还建议任何同样的好书 谢谢 我也有 daageu 提到的书 也会推荐它 但为了更快地加快学习 P

  • perl 子例程返回 array 和 str 但它们正在合并

    sub process feed my line my lines my last received while 1 if line push lines 1 line 2 else last received line last prin

  • 当文本字段等于字符串时，ios 使按钮更改视图

    我正在制作这种密码来跳过游戏中的关卡 但我不知道需要什么代码来使按钮更改视图控制器 IBAction button id sender if txt text isEqualToString passwordToSkipLevel1 Cod

  • 终止 Java 程序

    我找到了终止 关闭或停止 我的 Java 程序的方法 我找到了两个解决方案 using return 当我想退出或终止我的程序执行时 我添加这个 using 系统 exit 有时我也用过它 我读到系统 exit from 这个问题 所以 我

  • 锚标记的填充

    我有一个 asp net 页面 其代码如下所示

  • 我需要 ETL 吗？

    我们目前使用 Datastage ETL 每天导出包含 15 个表 3 个不同模式 中的数据的 CSV 文本文件 我想知道是否有一种更简单的方法可以在不使用 ETL 的情况下完成此任务 我尝试过脚本拉 它看起来简单 快速 但它又是一个 ET

热门标签