Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
ETL及其稳定性建设
目录 一 前言 二 数据的抽取 Extract 1 数据库系统相同的数据源处理方法 2 数据库系统不同的数据源的处理方法 3 增量更新的问题 三 数据的清洗转换 Cleaning Transform 1 数据清洗 2 数据转换 四 数据的加
ETL
数据仓库
数据治理-DAMA元数据模块总结
最近在看DAMA元数据模块做了如下的总结 供大家参考学习 1 什么是元数据 元数据的定义是关于数据的数据 它不仅仅包括了技术和业务流程 数据规则和约束 还包括逻辑数据结构和物理数据结构等 它描述的是数据本身 2 元数据的作用 元数据对于数据
数据治理
big data
数据仓库
系统架构
元数据
HIve中的查询语句
文章目录 Hive中的查询语句 1 基础语法 2 基本查询 Select From 2 1 数据准备 0 原始数据 1 创建部门表 2 创建员工表 3 导入数据 2 2 全表和特定列查询 1 全表查询 2 选择特定列查询 2 3 列别名 1
Hive数据仓库
hive
Hadoop
数据仓库
MySQL数据库综合案例1----创建“教务管理系统“数据库
本节以教育管理系统为例来介绍数据库的创键和数据表的设计 案例需求 1 教务管理系统用来帮助高校学生选修课程 2 学生可以通过系统查看所有选修课的相关信息 包括课程名 学时 学分 也可以查看相关授课老师的信息 3 老师的信息包括教师姓名 性别
数据库
数据仓库
如何设计一个数据库
前言 我们知道 软件工程是为了解决软件危机的 它是采用工程的概念 原理 技术和方法来开发与维护软件 把经过时间考验而证明正确的管理技术和当前能够得到的最好的技术方法结合起来 在软件开发的过程中 数据库设计是非常重要的 它需要根据需求分析设抽
数据建模
实战
数据仓库
数据库
数据库设计
全开源多语言国际版购物商城软件APP系统开发
1 确定需求和功能特性 商城基本功能商品展示 购物车 订单管理 支付接口等 多语言支持系统需要支持多个语言版本 可以根据用户的地域和语言偏好切换显示 全开源选择适合的开源框架和技术 确保系统的可定制性和扩展性 APP开发结合移动端开发技术
Java
数据仓库
开发语言
数据库架构
python
大数据基础知识——数仓的搭建(维度建模)
数据仓库 文章目录 数据仓库 数据仓库的介绍 数据仓库的概念 OLTP和OLAP区别 数据仓库的特点 面向主题 数据集成 非易失 时变 数据仓库系统架构 系统结构图 源数据 ETL 数据仓库与数据集市 应用系统 用户层 纬度分析 维度分析介
大数据
数据仓库
数据仓库主题九-(事务事实表)
事务事实表 对于单事务事实表 一个业务过程建立一个事实表 只反映一个业务过程的事实 对于多事务事实表 在同一个事实表中反映多个业务过程 多个业务过程是否放到同一个事实表中 订单作为交易行为的核心载体 直接反应了交易的状况 订单的流转回产生很
数据仓库
数据建模
hive
数据湖与数据仓库区别
数据湖是近两年中比较新的技术在大数据领域中 对于一个真正的数据湖应该是什么样子 现在对数据湖认知还是处在探索的阶段 像现在代表的开源产品有iceberg hudi Delta Lake 那对于数据湖应该是什么样子 先来看数据湖的作者AWS来
数据仓库
实战
数据湖
数据库
数据湖与数据仓库区别
大数据项目实战——基于某招聘网站进行数据采集及数据分析(五)
大数据项目实战 第五章 数据分析 文章目录 大数据项目实战 学习目标 一 设计 Hive 数据仓库 1 事实表 ods jobdata origin 2 维度表 t salary detail 3 维度表 t company detail
大数据项目实战
big data
数据分析
数据仓库
【第十一届泰迪杯数据挖掘挑战赛】A 题:新冠疫情防控数据的分析 思路+代码(持续更新)
第十一届泰迪杯数据挖掘挑战赛 A 题 新冠疫情防控数据的分析 思路 代码 持续更新 问题背景 解决问题 代码下载 数据分析 Task1 Task2 Task3 Task4 问题背景 自 2019 年底至今 全国各地陆续出现不同程度的新冠病毒
泰迪杯
数学建模
数据仓库
数据挖掘
python
DiskGenius 数据恢复教程,丢失的学习资料有救了
DiskGenius 数据硬盘恢复教程 固态SSD 机械HHD 几个t的学习资料有救了 看到这个教程就省下几百块的恢复数据的钱 安排 老营销号了 用完记得点赞关注转发一键三连 文尾附软件 一 DiskGenius 能够恢复数据的前提条件 非
经验分享
其他
阿里云
硬件工程
数据仓库
ETL日志数据采集&商品数据采集
01 结构化数据模型选择 理解 问题1 原生python中有没有数据库中的表类型 没有 问题2 我们一般会使用什么数据类型存储数据库中读取到的数据值 列表嵌套字典 记录数据和书写数据 非常方便 但是我们需要记住每一个键 字段 的含义 如果字
ETL
数据仓库
我与老式硬盘的相爱相杀(1)
瞎废话 本人是一位初一男生 最近在和朋友研究移动硬盘 这篇内容是我的第一篇原创 请大家多多支持 事情起因 原来 我们两个几乎啥都不懂的人打算解析一下主机结构 可是网上的那些图片大多都不够直观 没有那种立体感 刚好 我家里有一台我爸爸很久以前
Jasonmo与硬盘
数据仓库
经验分享
其他
数据湖是什么?
数据湖或hub的概念最初是由大数据厂商提出的 不同的厂商有不同的定义 维基百科定义 数据湖是一类存储数据自然 原始格式的系统或存储 通常是对象块或者文件 数据湖通常是企业中全量数据的单一存储 全量数据包括原始系统所产生的原始数据拷贝以及为了
大数据
数据仓库
【Hive】insert into 与 insert overwrite的区别
目录 一 无分区表情况 1 创建表 2 insert into插入数据 3 继续insert overwrite插入数据 二 分区表情况 1 创建表 2 insert into插入数据 3 继续insert overwrite插入数据 三
大数据
Hive技术总结
hive
数据仓库
Doris 报错及解决方法
1 1105 errCode 3 detailMessage tablet 348546 has few replicas 0 alive backends 用csv文件导入数据时报错 用show backends查看有BE节点宕机了 2
夭寿报错啦
大数据
数据仓库
dbeaver编辑表结构和调整字段的顺序
DBeaver怎么才能编辑表 知乎 zhihu com 同样一个账号 navicat可以设计表 编辑表结构 而dbeaver不可以 需要在dbeaver数据库连接中修改配置才行 但不知道为什么hive还是不行 而且dbeaver不知道怎么调
数据库
hive
Hadoop
数据仓库
hive库操作示例
hive库操作示例 1 常规表 创建数据库 CREATE DATABASE mydatabase 使用数据库 USE mydatabase 创建表 CREATE TABLE mytable id INT name STRING age IN
hive
Hadoop
数据仓库
2022搭建企业级数据治理体系
数据治理是企业数据建设必不可少的一个环节 好的数据治理体系可以盘活整条数据链路 最大化保障企业数据的采集 存储 计算和使用过程的可控和可追溯 如何构建企业数据治理体系 企业数据治理过程需要注意哪些问题 总体而言 不能一口一个胖子 路要一步一
实战
数据仓库
数据分析
大数据
搭建企业级数据治理体系
«
1 ...
9
10
11
12
13
14
15
...17
»