程序员经验分享-hwhale

第七章 数据加载

2023-05-16

一、全量加载

        从技术角度来说，全量加载比增量加载的操作要简单很多，即只需要在数据加载之前，将目标数据表进行清空，再将源数据表中的数据全部加载到目标表中。

案例实现：

数据装备：

        假设，现有两张数据表，分别为数据表full_source和数据表full_target，其中数据表full_source为源数据表，数据表full_target为目标数据表。数据表full_source和full_target的内容如图所示。

数据表full_source
数据表full_target

        下面通过Kettle工具将数据表full_source中的数据全量加载到数据表full_target中。

 1.打开Kettle工具，创建转换

         使用Kettle工具，创建一个转换full_load，并添加执行SQL脚本控件、表输入控件、表输出控件以及Hop跳连接线，具体如图所示。

2.配置执行SQL脚本控件 

        双击“执行SQL脚本”控件，进入“执行SQL语句”界面，具体如图所示。

         单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置；在SQL框中编写删除数据表full_target中数据的SQL语句，如图所示。

 3.配置表输入控件

        双击“表输入”控件，进入“表输入”配置界面，在SQL框中编写查询full_source数据表的SQL语句，单击【预览】按钮，查看full_source数据表的数据是否成功从MySQL数据库中抽取到表输入流中，如图所示。

4. 配置表输出控件

        双击“表输出”控件，进入“表输出”配置界面；单击目标表处的【浏览】按钮，选择输出的目标表，即数据表full_target，这里不需要新建数据库连接，只需要选择已创建的数据库连接即可，如图所示。

5.运行转换full_load

        单击转换工作区顶部的 按钮，运行创建的转换full_load，实现将数据表full_source中的数据全量加载到数据表full_target中，如图所示。 

6.查看数据表full_target中的数据 

         通过SQLyog工具，查看数据表full_target是否已成功加载到数据，查看结果如图所示。        

         从上图可以看书，数据表full_target中已经加载到数据，说明成功实现了将数据表full_source中的数据全量加载到数据表full_target中。

二、增量加载

        增量加载是指目标表仅加载源数据表中新增和发生变化的数据。优秀的增量加载机制不但能够将业务系统中的变化数据按一定的频率准确地捕获到并加载到目标表中，同时还不会对业务系统造成太大的压力，也不会影响现有业务。

案例实现

数据准备

       假设，现有两张数据表，分别为incremental_source和incremental_target，其中incremental_source为源数据表，incremental_target为目标数据表。数据表incremental_source和incremental_target的表结构、数据都是相同的，具体如图所示。

incremental_source
incremental_target

        下面通过Kettle工具将数据表incremental_source中的数据增量加载到数据表incremental_target中。

1.打开Kettle工具，创建转换

        使用Kettle工具，创建一个转换incremental_load，并添加表输入控件、插入/更新控件以及Hop跳连接线，具体如图所示。

2.配置表输入控件 

        双击“表输入”控件，进入“表输入”配置界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，具体如图所示。

        在SQL框中编写查询数据表incremental_source的SQL语句，然后单击【预览】按钮，查看数据表incremental_source的数据是否成功从MySQL数据库中抽取到表输入流中，具体如图所示。

3.配置插入/更新控件 

        双击“插入/更新”控件，进入“插入/更新”配置界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，具体如图所示。

       单击目标表处的【浏览】按钮，弹出“数据库浏览器”窗口，选择目标表incremental_target，具体如图所示。

        单击【获取字段】按钮，用来指定查询数据所需要的关键字，这里通过比较数据表incremental_target的字段id与输入流里的字段id是否一致为关键条件，更新数据表中的其它字段数据；单击【获取和更新字段】按钮，用来指定需要更新的字段，具体如图所示。         

 

4.修改数据表incremental_source中的数据 

         在数据表incremental_source中新增一条id为6、name为Mary、age为23的数据；对数据表incremental_source中id为2的数据进行修改，即将这条数据的年龄（age）改为25。修改后的数据表incremental_source中的数据内容如图所示。

incremental_source

5. 运行转换incremental_load

         单击转换工作区顶部的按钮，运行创建的转换incremental_load，实现将数据表incremental_source中的数据增量加载到数据表incremental_target中，如图所示。

 6.查看数据表incremental_target中的数据

        通过SQLyog工具，查看数据表incremental_target是否已成功加载到数据，查看结果如图所示。

        从上图可以看出，数据表incremental_target中已经加载到数据，说明我们通过Kettle工具将数据表incremental_source中的数据增量加载到数据表incremental_target中。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

第七章 数据加载 的相关文章

  • HTML中的空格、Tab、书名号大于号以及常用特殊符号

    HTML字符实体 在HTML页面中 xff0c 有一些特殊的符号我们想使用 xff0c 但是呢又不方便直接使用 xff0c 那么我们就可以用一些实体名称来代替 注 xff1a 实体名称对大小写敏感 特殊字符描述实体名称 空格 空格 amp

  • IDEA配置less文件自动编译(有图有真相)---我花了半个小时完成的配置，看完这篇你只需要十分钟。

    IDEA中配置less自动编译 先大概了解一下流程 xff0c 对配置有个整体的把握 安装node js安装lessIDEA中安装Node js插件IDEA中添加less组件IDEA中安装File Watchers插件配置File Watc

  • 书店销售管理系统----数据库原理及应用综合实验

    枯木逢春犹再发 xff0c 人无两度再少年 x1f342 系统主要模块如下 xff1a xff08 1 xff09 书店销售管理系统设计与实现 图书入库管理及查询统计 图书入库管理 xff1a 维护入库图书信息 xff08 如图书编号 书名

  • 【HQL - 查询用户的累计消费金额及VIP等级】

    水善利万物而不争 xff0c 处众人之所恶 xff0c 故几于道 x1f4a6 题目 xff1a 从订单信息表 order info 中统计每个用户截止其每个下单日期的累积消费金额 xff0c 以及每个用户在其每个下单日期的VIP等级 用户

  • HQL - 查询首次下单后第二天连续下单的用户比率

    水善利万物而不争 xff0c 处众人之所恶 xff0c 故几于道 x1f4a6 题目 xff1a 从订单信息表 order info 中查询首次下单后第二天仍然下单的用户占所有下单用户的比例 xff0c 结果保留一位小数 xff0c 使用百

  • HQL- 统计每个商品的销量最高的日期

    水善利万物而不争 xff0c 处众人之所恶 xff0c 故几于道 x1f4a6 题目 xff1a 从订单明细表 xff08 order detail xff09 中统计出每种商品销售件数最多的日期及当日销量 xff0c 如果有同一商品多日销

  • HQL - 查询销售件数高于品类平均数的商品

    水善利万物而不争 xff0c 处众人之所恶 xff0c 故几于道 x1f4a6 题目 xff1a 从订单明细表 xff08 order detail xff09 中查询累积销售件数高于其所属品类平均数的商品 span class token

  • HQL - 用户注册、登录、下单综合统计

    水善利万物而不争 xff0c 处众人之所恶 xff0c 故几于道 x1f4a6 题目 xff1a 从用户登录明细表 xff08 user login detail xff09 和订单信息表 xff08 order info xff09 中查

  • 博客帮助文档

    目录 博客积分规则 博客等级 C币规则 xff08 试运营 xff09 博客VIP文章说明 博客专家 如何成为博客专家 xff1f 企业博客 如何开通企业博客 博客勋章 分类专栏 博客搬家 CSDN博客用户准则 总则 xff1a 博客注册

  • CentOS7关闭防火墙

    CentOS7关闭防火墙 1 命令行界面输入命令 34 systemctl status firewalld service 34 并按下回车键 systemctl status firewalld service 2 然后在下方可度以查看

  • CSS高度塌陷问题及解决方法

    触发条件 包含结构 所有的子元素浮动 且父元素没有设置高度 就会触发父元素高度塌陷 例如 xff1a 解决方法一 xff1a 给父元素添加固定高度 缺点 不适合高度自适应的布局 代码 xff1a lt style gt margin 0 p

  • Casbin学习笔记

    基础知识 相关概念介绍 casbin相关概念 casbin是一个开源的访问控制框架 xff0c 支持多种访问控制模型 xff0c 例如ACL xff0c RBAC xff0c ABAC casbin将支持的模型抽象出一种perm访问控制模型

  • v-model --双向数据绑定

    span class token doctype lt DOCTYPE html gt span span class token tag span class token tag span class token punctuation

  • 【报错解决】Cannot convert a symbolic Tensor to a numpy array.

    完整的报错 xff1a NotImplementedError span class token punctuation span Cannot convert a symbolic Tensor span class token punc

  • ChatGPT系列之——中科院AcademicGPT学术优化

    文章目录 零 xff0c 指南相关网址友情链接 一 xff0c 安装Git软件二 xff0c 使用Git Bash克隆GitHub项目 xff1a 三 xff0c 配置config py文件四 xff0c 安装依赖方法一 xff1a 系统安

  • 根据变量设置card是否可点击；解构赋值重命名、添加新的字段

    问题分析 需要对解构赋值得来的变量重命名 span class token variable const span span class token punctuation span span class token variable at

  • JS策略模式_优化代码实例

    策略模式 策略模式 xff1a 定义一系列的算法 xff0c 把它们一个个封装起来 xff0c 并且使它们可以相互替换 将不变的部分和变化的部分隔开是每个设计模式的主题 xff0c 策略模式也不例外 xff0c 策略模式的目的就是将算法的使

  • 颜色的单位

    直观的颜色单位 在css可以直接使用颜色的单词来表示不同的颜色 xff0c 比如 xff0c red xff0c blus xff0c green RGB值 rgb是red xff0c green xff0c blue三元色 光的三元色 通

  • 关于14寸1080p屏幕笔记本Win10系统缩放建议

    这几天买了个新的1080p笔记本屏幕换上之后明显感觉比之前的768p好太多了 xff0c 无论是清晰度还是颜色上都更胜一筹 xff0c 但我开始纠结这个缩放问题了 xff0c 复现下我内心的os吧 选择100 缩放的好处与坏处 好处 同屏显

  • 解决虚拟机CentOS8无法上网的问题

    周五安装的虚拟机 xff0c 然后一直不能上网 xff0c 我查阅了好多资料 xff0c 试了好几次都没用 xff0c 今天终于把它搞好了 记录一下 一 1 首先保证虚拟机的网络适配器为NAT模式 2 设置虚拟机的 编辑 gt 虚拟网络编辑

随机推荐

  • tensorflow2 中tensor转为numpy

    tensorflow2 中tensor转为numpy 第一种使用with import tensorflow as tf Test span class token operator 61 span tf span class token

  • HTML5基础知识(全面)

    1 熟记各大主流浏览器内核版本面试常问哦 浏览器名称内核opera欧朋最初是自己的Presto内核 xff0c 后谷歌Webkit 到BlinkFirefox火狐Gecko内核俗称Firefox内核Chrome谷歌统称为Chromium或B

  • Java错题集(十六)

    目录 在第16行插入哪段代码可以获得一个Point对象的坐标 下面说法正确的是 xff1f xff08 xff09 如果此类已编译并运行 xff0c 则哪两个语句正确 xff1f true false null sizeof goto sy

  • 树莓派4b利用官方软件安装系统

    目录 资源准备一 安装系统1 格式化TF卡2 安装系统 二 连接启动1 连接2 登陆3 开启vnc 总结 资源准备 硬件 xff1a 树莓派4b板子 8G以上TF卡 读卡器 软件 xff1a 官方安装软件 xff1a Raspberry P

  • 解决树莓派4b开启VNC报错无法正确显示桌面

    开启vnc报错 原因 xff1a 由于分辨率太小 xff0c 无法显示 解决办法 xff1a 在终端输入以下内容 sudo raspi config 选择Display Options进入 选择VNC Resolution 选择除第一个分辨

  • js中数组内删除指定对象

    先上代码 xff01 span class token comment 因我使用的是xm select组件 xff0c 所以自带change xff08 即新变化的对象 xff09 和arr xff08 选中的所有对象 xff09 span

  • 【JDK1.8 新特性】Lambda表达式

    1 什么是Lambda表达式 xff1f Lambda 是一个匿名函数 xff0c 我们可以把 Lambda 表达式理解为是一段可以传递的代码 xff08 将代码像数据一样进行传递 xff09 使用它可以写出更简洁 更灵活的代码 作为一种更

  • 封装axios请求

    1 引入所需模块 引入axios模块 import axios from 39 axios 39 使用qs模块 xff0c 进行文件序列号化操作 import qs from 39 qs 39 2 判断当前环境 环境变量 let baseU

  • Matlab的Gpu加速(CUDA cudnn)

    多CUDA版本的切换 xff0c 及Matlab版本对应的CUDA版本 学习笔记 Matlab的Gpu加速 安装CUDA和cudnn时 xff0c 踩了不少坑 xff0c 总结如下几个经验 xff1a 1 显卡驱动的版本与CUDA是一对多的

  • win10添加新硬盘

    win10添加新硬盘 前言 前言 小白指导 xff0c 白到不能再白了 xff01 xff01 xff01 直接上图 关于文件系统介绍 文件系统是系统对文件的存放排列方式 xff0c 不同格式的文件系统关系到数据是如何在磁盘进行存储 xff

  • idea2020创建maven javaweb项目并运行 示例

    idea2020创建maven javaweb项目并运行 一 项目的创建二 pom xml简单介绍三 添加tomcat插件以方便运行项目1 在pom xml文件里加入以下配置 四 创建servlet并 运行项目1 创建Java文件夹并在文件

  • C++实现算法服务的一些经验总结

    文章目录 一 算法模型调用的几种方式二 python算法服务的优缺点三 C 43 43 算法服务的优缺点四 C 43 43 算法服务的几种实现方式五 C 43 43 基于http的算法服务实现思路六 记录调用 xff1a 日志 数据库七 性

  • Java中使用jedis操作redis（使用maven）

    jedis的使用 前言一 简单使用示例1 快速入门2 操作五种数据格式 二 jedis连接池 xff1a jedisPool1 示例2 jedies详细配置 三 创建连接池工具类1 jedis properties2 JediesPoolU

  • maven中使用jdbc

    用到的有数据库连接池 JDBCTemplate 一 首先导入jar包 lt mysql驱动 xff0c 使用对应版本jar包依赖 gt lt dependency gt lt groupId gt mysql lt groupId gt l

  • 解决风扇狂转不止的好方法

    这两天风扇狂转不止 xff0c 真让我头疼 xff0c 现在弄好了 安装一个软件 软件官网 我的是thinkpade580 xff0c 对其他电脑生不生效我不清楚 xff08 但可以一试 xff09 下载后直接安装即可 有个地方实时显示着温

  • 安装hadoop3.x版本踩坑

    报错 xff1a ERROR Attempting to operate on hdfs namenode as root ERROR but there is no HDFS NAMENODE USER defined Aborting

  • 报错：Description: No bean of type ‘org.apache.shiro.realm.Realm‘ found

    springboot整合shiro的时候出现了报错 报错信息 xff1a Description No bean of type 39 org apache shiro realm Realm 39 found Action Please

  • 计算机网络课后习题概略

    计算机网络 课后习题 第一章 概述 1 01 计算机网络可以向用户提供哪些服务 xff1f 服务功能或作用数据传输网络间个计算机之间互相进行信息的传递 资源共享进入网络的用户可以对网络中的数据 软件和硬件实现共享 分布处理功能通过网络可以把

  • Kittle案例（Excel输入，生成记录，生成随机数，获取系统信息，排序记录，去除重复记录，替换NULL值）

    一 Excel输入 1 创建转换 将要处理的文件保存到Excel表中 xff0c 然后打开kettle创建一个转换并命名 xff0c 拖入 Excel输入 控件 2 配置Excel输入控件 浏览导入Excel文件 单击 浏览 B 按钮 xf

  • 第七章 数据加载

    一 全量加载 从技术角度来说 xff0c 全量加载比增量加载的操作要简单很多 xff0c 即只需要在数据加载之前 xff0c 将目标数据表进行清空 xff0c 再将源数据表中的数据全部加载到目标表中 案例实现 xff1a 数据装备 xff1

热门标签