程序员经验分享-hwhale

kettle入门教程

2023-11-09

目录

1.kettle叙述

1.1什么是kettle

1.2kettle工程存储方式

1.3kettle两种设计

1.4kettle的组成

1.5kettle的下载安装

2.kettle教程

2.1转换

2.1.1普通转换

2.1.2执行sql脚本

2.1.3条件判断Switch Case

2.1.4自定义java代码

2.2作业

1.kettle叙述

1.1什么是kettle

Kettle是一款开源的ETL(Extract-Transform-Load)工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。

1.2kettle工程存储方式

（1）以XML形式存储
（2）以资源库方式存储(数据库资源库和文件资源库)

1.3kettle两种设计

Transformation(转换):完成对数据的基本转换

Job(工作):完成整个工

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Kettle

ETL

kettle入门教程 的相关文章

  • 如何使用OrientDB ETL仅创建边

    我有两个 CSV 文件 首先包含 500M 记录 格式如下 id name10000023432 汤姆用户13943423235 胡说八道 第二个包含 1 5B 好友关系 格式如下 从 ID 到 ID10000023432 13943423

  • 输出具有多个工作表的单个 Excel 文件

    Talend Open Studio for Data Integration 中是否有一个组件能够输出单个 Excel 文件 但其中包含 2 个单独的工作表 我想将原始文件中的一些列分隔到另一个工作表中 并将另一组列分隔到第二个工作表中

  • 在 SSIS 中使用正确的函数拆分列中的值

    我需要你们的紧急帮助 我有一列代表用户的全名 现在我想将其分为名字和姓氏 全名的格式为 World hello 现在这里的名字是 hello 姓氏是 world 我正在使用派生列 SSIS 并对名字使用右函数 对姓氏使用子字符串函数 但这些

  • Pentaho Kettle中如何实现数据库连接参数验证

    我有一个例子 我得到 X 行数据库名称作为我需要连接的参数 我已成功完成工作和转换 为作为参数给出的每个数据库名称重复表输入步骤 因此 当这些数据库名恰好有效时 这一切都会很好地工作 但是 如果这些名称之一无效 给定名称的数据库不存在 则表

  • SQL 脚本到 SSIS 表达式

    我有下面的 T SQL 查询行 我正在尝试将其转换为 Visual Studio SSIS 表达式到派生列任务 So tableA刚刚 Work item Submission no 列 但我需要将它们分成两列 例如SubmissionCo

  • 如何使用我在后续任务中添加的记录的自动生成 ID？

    我目前正在使用以下命令向表中添加一些记录OLE DB Destination 每条记录都有一个自动生成的Id场地 我想使用这个生成的Id字段作为某些子记录中的外键 我以为我能够从一个数据流线OLE DB Destination组件到另一个组

  • 当设置为 CRLF 时，SSIS 将 LF 读取为终止符

    使用 SSIS 2012 我的平面文件连接管理器我有一个分隔文件 其中行分隔符设置为CRLF 但是当它处理文件时 我有一个文本列 其中有一个LF在里面 这导致它将其读取为行终止符 从而导致失败 有任何想法吗 我没有 SSIS 经验 但作为一

  • 在 Talend 中加载一组文件的策略

    我想知道在 Talend 中解决以下问题的最佳策略是什么 我需要从存储在名称类似于 SAMPLE1 DAT SAMPLE2 DAT SAMPLEX DAT 的目录中的一组分隔文件中加载数据 目标将是 MySQL 数据库中的一个表 我必须立即

  • OLE DB 目标：转换规范的字符值无效

    我的表来源 num facture TYPE actif date 1 1 1 2010 01 31 00 00 00 000 2 2 1 2011 01 31 00 00 00 000 3 3 2 2012 01 31 00 00 00

  • 在pentaho中..如何传递包含作业中所有连接参数定义的文本文件？

    我正在使用 jdbc 连接 并使用示例 sample db connection 传递参数 并且该参数已在服务器中的文本文件中定义为sample db connection localhost 并且我想在作业步骤中传递文本文件 以便每当作业

  • 重命名文件源

    我一直在从平面文件源开发 SSIS 包 该文件每天都会出现 文件名具有日期时间指示 如下所示 文件名 20190509042908 txt 我想知道如何才能度过约会部分 我希望包动态读取文件 但它应该在没有最后 6 位数字的情况下通过 我只

  • 从 SSIS 中的 CSV 导入 yyyyMMdd 日期

    我有 12 列使用yyyymmdd格式 在里面数据流任务 我有一个平面文件源 a 派生列任务 and an OLE DB 目标 我将以下表达式应用于派生列任务 DT DBDATE SUBSTRING DT STR 10 1252 Date

  • Pentaho Spoon 工具转换顺序

    我正在尝试设计一个 ETL 结构 但我陷入了以下步骤 正如你所看到的 我有 3 个步骤 每个步骤都有一个FK上一步的值 例如TABLE3有一个列外键约束这表明PK值在TABLE2 and TABLE2与 具有相同的关系TABLE1 问题是

  • 从事务性平面数据库填充事实表和维度表的最佳实践

    我想在 SSIS SSAS 中填充星型模式 多维数据集 我准备了所有维度表和事实表 主键等 源是一个 平面 项目级别 表 我现在的问题是如何拆分它 并将其从一个放入相应的表中 我做了一些谷歌搜索 但找不到令人满意的解决方案 人们会认为这是

  • 将多个平面文件导入到多个 SQL 表

    这是我的文件夹设置 这是文件设置 这个想法是遍历文件夹并将文件内容放入数据库上的表 File dbo 还有 FileB FileC 等 所有文件夹的文件名结构都相同 我有这个 ssis 包 我在其中使用 foreachloop gt 数据流

  • 在SSIS中导入已合并单元格的Excel

    我的问题是在读取合并 组合列单元格的 Excel 文件时 例如 将下面的excel数据读取到数据库中 Excel 输入 ID NAME DEPT FNAME LNAME 1 Akil Tiwari IT 2 Vinod Rathore IT

  • 在 SSIS 中使用 OLE DB 从 Sybase 提取数据时出错

    我在 SSIS 2017 中使用 Advantage 11 OLE DB Provider 从 Sybase 提取数据时遇到问题 我可以连接到数据库 查看表列表 并且在选择表作为数据源时 我可以看到列 但是 当我单击 预览 或运行数据流任务

  • SSIS：“错误：表达式“@[User::FileName].....无法写入属性”的结果

    过去 10 个小时我一直在尝试解决以下问题 我有一个 ForEach 循环容器 它在我的控制流中枚举 Excel 文件名 在 ForEach 循环容器中 我有一个将数据导入 Sql Server 的 Excel 源 这使用 User Fil

  • ssis 输出 json 文件添加额外的 crlf

    这个问题已经用c 代码解决了 请参考这篇文章the post https stackoverflow com questions 54059599 ssis generate json file remove return 54084996

  • SQLAlchemy 中 mssql+pyodbc 出现“数据源名称太长”错误

    我正在尝试使用 SQLAlchemy 和 pyodbc 将数据帧上传到 Azure SQL Server 数据库上的数据库 我已建立连接 但上传时出现错误 pyodbc Error IM010 IM010 Microsoft ODBC 驱动

随机推荐

  • 【图像处理】tensor 与 PIL Image/ numpy 的相互转换

    文章目录 numpy 与 tensor 的相互转换 numpy 转换成 tensor tensor 转换成 numpy PIL Image 与 tensor 的相互转换 Image 转换成 tensor tensor 转换成 Image n

  • 【Arthas】Arthas Command处理流程

    1 概述 转载 Arthas Command处理流程 2 开篇 这篇文章主要是为了分析Arthas的命令的执行过程 整体过程包括任务的创建和任务的执行 arthas的命令都是实现统一的接口 对外通过process方法进行调用 public

  • synchronized 为什么不能使用string对象而是要使用string.intern

    先看代码 Created by Jarvis y on 2020 11 5 public class StringTest public static void main String args String s1 Jarvis y Str

  • Linux 常用命令详细讲解

    一 目录管理 处理目录的的常用命令 ls 列出目录 cd 切换目录 cd 返回上级目录 cd 回到根目录 pwd 显示当前目录 mkdir 创建一个新的目录 rmdir 删除一个目录 cp 复制文件或目录 rm 移除目录或文件 mv 移动目

  • 使用java实现word转pdf，亲测有效，完美保留样式

    记录一下java实现word转pdf的方法 今天公司做一个需求 需要将word转pdf 但是我在网上找了很多方法 要么转换速度慢 要么转换出来的格式不一样 遇到了各种问题 绞尽脑汁后 终于找到了个不会出错的方法 在此分享给大家 首先需要引入

  • Redis日志告警关键字

    在配置Redis日志告警时 可以关注以下关键字 OOM 表示Redis达到了最大内存限制 发生了Out of Memory错误 ERR 表示发生了错误 需要进一步检查错误消息以确定具体的问题 Authentication 表示身份验证相关的

  • vmware 虚拟机共享文件夹没有显示

    sudo vmhgfs fuse host mnt hgfs o subtype vmhgfs fuse allow other

  • PyCharm 编辑器 使用基本 快捷键

    pycharm 常用快捷键 编辑 Ctrl Alt S 打开设置页 Ctrl Delete 删除到字符结束 Ctrl Backspace 删除到字符开始 Ctrl Y 删除选定的行 Crtl D 复制当前行 ctrl shift 箭头 移动

  • ES聚合分析总结

    文档的聚合分析 像在SQL中会需要SUM MAX AVG 函数 ElasticSearch也提供了关于聚合分析的函数 ElasticSearch中常见的聚合分析函数有terms 分组函数 avg 平均数 range 区间分组 max 求最大

  • #Idea中如何让package分层显示

    解释一下 创建一个java项目 首先要 选择File gt New gt Project 再创建Java文件 右击src gt New gt Package 给自己新建的包起一个名字 com 最后在新建的包上右击 gt New gt Jav

  • 【TVM源码学习笔记】2 模型导入from_onnx

    在前文模型加载时 使用relay frontend from onnx onnx model shape dict 是将onnx模型转换为TVM可以识别的Graph IR 要理解这一流程 需要对onnx模型定义有基础的了解 1 onnx模型

  • 新版个人所得税计算python_最新个税计算 / 个税计算器 小程序 wepy 开发

    根据最新税改后计算个人所得税的计算器 如有其它疑惑 也欢迎提出任何修改意见 可以在主题下留言或者在小程序中点击联系在线客服或者加入qq群 869113926 1 扫一扫 2 效果图 这次开发遇到几个问题因此记录下来 1 在开发微信小程序组件

  • 【前端】Vue项目：旅游App-（5）NavBar：结构与样式

    文章目录 目标 总代码 参考 目标 做出这个即可 总代码 写在home vue中 都是html和css

  • android动态页实现原理,Android

    本系列文章主要介绍天猫团队开源的Tangram框架的使用心得和原理 由于Tangram底层基于vlayout 所以也会简单讲解 该系列将按以下大纲进行介绍 需求背景 Tangram和vlayout介绍 Tangram的使用 vlayout原

  • 初探gitlab & gitlab-runner & asp.net core持续集成

    文章简介 gitlab gitlab runner 简介 基于gitlab gitlab runner 的asp net core webapi 极简持续集成实践 gitlab gitlab runner 简介 写在最前面 文中示例使用到了

  • Node.js后端开发 - 进阶篇 #10 express框架之封装handler.js模块

    目录 一 前言 二 封装 handler js 业务模块 步骤1 写业务模块 handler js 步骤2 路由模块 router js 调用 步骤3 其他代码贴上 主模块app js 配置模块 config js 三 最终效果 一 前言

  • KVM下虚拟机网卡桥接配置

    基本概念 KVM基本概念 KVM 全称是 Kernel based Virtual Machine 是 Linux 下 x86 硬件平台上的全功能虚拟化解决方案 包含一个可加载的内核模块 kvm ko 提供和虚拟化核心架构和处理器规范模块

  • 在安卓手机搭建kali环境，手机变成便携式渗透神器

    kali是著名的黑客专用系统 一般都是直接装在物理机或者虚拟机上 我们可以尝试把kali安装在手机上 把手机打造成一个便携式渗透神器 我们需要下载以下3款软件 1 Termux 终端模拟器 2 AnLinux 里边有各种安装liunx的命令

  • 离散数学期末复习—学习笔记

    主要是看ppt和做课后练习 数理逻辑 1 命题逻辑的基本概念 1 1 命题与连接词 1 2 命题公式及其赋值 1 3 习题 2 命题逻辑等值演算 2 1等值式 基本等值式 16组 24个公式 2 2 析取范式和合取范式 主要是主析取范式和主

  • kettle入门教程

    目录 1 kettle叙述 1 1什么是kettle 1 2kettle工程存储方式 1 3kettle两种设计 1 4kettle的组成 1 5kettle的下载安装 2 kettle教程 2 1转换 2 1 1普通转换 2 1 2执行s

热门标签