数据仓库工程师的职业规划

2023-11-03

从2011年3月开始从事数据仓库工作,算起来马上三年了,这三年做过etl工程师,做过模型架构师,做过团队管理,也做过需求分析、数据挖掘,如今又做回etl工程师,只是为了蹲得低点跳的更高。

下面谈谈做各个职位的心得:

etl工程师:比较简单,技术上掌握etl工具和几种脚本语言,业务上了解即可;

                待遇:3-30w/年

                建议做2-3年就可以往更高的职位方向发展;

                优点:工作时心理负担轻,思想比较单纯;

                缺点:做3-5年时会觉得比较乏味,文案写作能力和交流能力比较差。

模型架构师:在etl工程师能力的基础上还需要深入了解和引导用户需求,熟悉业务,熟悉常用数据仓库解决方案(包括方案和工具)的优缺点,

                 待遇:15-50w/年

                 数据仓库建模 建议做3-5年,数据仓库架构 可以做10年或更长,目前不知道最终能做多久,国内数据仓库才发展十几年,做10几年的基本都是公司总监或总经理了。

                优点:偏技术,思想比较单纯,做到这种程度 待遇 一般已经可以养活家,过平淡的日子没问题了。;

                缺点:因为不能直接对公司业绩起作用,比较难受到公司老大重视;

数据仓库团队管理:在模型架构师的基础上 再增加 协调团队内、团队间的矛盾,调动团队成员的工作积极性,考核团队成员工作成绩,帮团队成员制定职业规划,关心团队成员家庭情况;

               待遇:10-100w/年

               工作年限 不清楚,认识的朋友中最大没超过四十岁;

               优点:同模型架构师,做到这个职位 大小算个管理人员了,这个职位若做好对自身修养也有一定的提升作用,我做了大半年这个职位感觉对心胸和眼界都有很大的提升。

               缺点:同模型架构师

需求分析:一般互联网公司需求分析也会叫产品经理,此职位要在了解技术、熟悉业务的基础上再加上很好的提升用户体验的能力;我做这个时间比较少,可能说的不太对;

               待遇:3-未知/年

               工作年限 未知,

               优点:了解的知识非常全面,以后升职比较方便,有机会给公司的业绩提升带来直接帮助,容易得到公司老大重视;

               缺点:需要了解各种各种的知识,跟不同的人打交道,若性格不适合做起来会比较吃力;

数据挖掘:需要精通各种算法,深入熟悉业务,具备独立编程的能力,目前国内数据挖掘做的好的很少,大多都是顶着数据挖掘的职位做着数据统计的事;

                待遇:10-100w(可能会更多,我了解的最多是100w左右)

                工作年限:未知,认识的朋友中最大没超过四十岁;也许金融和教育行业的数据挖掘能干一辈子;

                优点:接触业务,工作的效果与业绩直接挂钩,升职空间大。

                缺点:比较难做好,若做不好随时面临失业的压力;

 

 

下面说说etl工程师的职业规划

              一般有 架构师、团队管理者、产品经理、数据分析挖掘 四块;

              目前我的阶段 是高级etl工程师,低级模型师阶段;打算走 架构师-》团队管理者 路线,若有同路的朋友欢迎一起交流,共同进步。

 

 

 

 

 

              

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

数据仓库工程师的职业规划 的相关文章

  • 【无标题】黑群辉DSM 6.2.3 系统安装图文教程 (2020-12-27更新)

    https www openos org threads dsm 6 2 3 2020 12 27 29 黑群晖系统其实是指在普通电脑运行Synology DSM系统 事实上在普通PC电脑上安装黑群晖 Synology DSM 也非常方便
  • 如何保障数仓数据质量?

    有赞数据报表中心为商家提供了丰富的数据指标 包括30 页面 100 数据报表以及400 不同类型的数据指标 它们帮助商家更合理 科学地运营店铺 同时也直接提供分析决策方法供商家使用 并且 每天在跑的底层任务和涉及的数据表已经达到千级别 面对
  • 数据中台-让数据用起来-7

    文章目录 第七章 数据体系建设 7 1 数体系规划 7 2 贴源数据层建设 全域数据统一存储 7 2 1 相关概念 7 2 2 贴源数据表设计 7 2 3 贴源数据表实现 7 3统一数仓层建设 标准化的数据底座 7 3 1 相关概念 7 3
  • hive中判断一个字符串是否包含另一个子串的四种方法,sql中也可用

    hive中判断一个字符串是否包含另一个子串的四种方法 如果你有一个数据需求 需要从一个字段中 判断是否有一个字符串 你该怎么做 一 方法1 like和rlike 最能想到的方法 用like或者rlike select i want to t
  • R语言实用教程薛毅清华出版社课后题答案

    有R语言实用教程薛毅课后题答案习题1 5 详情请到我的页面资源查看
  • 数据挖掘相关的10个问题

    NO 1 Data Mining 和统计分析有什么不同 硬要去区分Data Mining和Statistics的差异其实是没有太大意义的 一般将之定义为Data Mining技术的CART CHAID或模糊计算等等理论方法 也都是由统计学者
  • 第二篇:数据仓库与数据集市建模

    阅读目录 前言 维度建模的基本概念 维度建模的三种模式 实例 零售公司销售主题的维度建模 更多可能的事实属性 经典星座模型 缓慢变化维度问题 数据仓库建模体系之规范化数据仓库 数据仓库建模体系之维度建模数据仓库 数据仓库建模体系之独立数据集
  • 数据挖掘基础一

    一 数据挖掘 又称为数据库中知识发现 Knowledge Discovery from Database 简称KDD 它是一个从大量数据中抽取挖掘出未知的 有价值的模式或规律等知识的复杂过程 数据挖掘的定义过程描述如下图所示 从图中可以看出
  • 数仓知识07:数据增量更新的几种方式

    1 增量更新的几种方式 增量更新的本质 其实是获取源表中数据变化的情况 增 删 改 然后将源表中发生的变化同步至目标表中 不同的方式 获取源表中数据变化的情况不一样 受技术的限制 表结构的限制 某些方式可能无法获取到完整的数据变化情况 因此
  • ETL为什么经常变成ELT甚至LET?

    ETL是将数据从来源端经过清洗 extract 转换 transform 加载 load 至目的端的过程 正常的 ETL 过程应当是 E T L 这三个步骤逐步进行 也就是先清洗转换之后再加载进目标端 通常是数据库 最后在数据库中的只是合理
  • clickhouse导入数据 DBeaver大坑

    测试数据有一亿条需要导入数据库 使用DBeaver自带导入数据功能 结果放置一晚才导入一千万条 估计导入设置有问题 于是寻找合适方式 记录如下 首先将待导入的csv数据表45G 传输到clickhouse所在的服务器 在数据库中提前建好表
  • Tez 简介

    目录 一 Tez简介 二 Tez UI界面 三 Tez 日志 一 Tez简介 1 1 Tez 是支持 DAG 作业的开源计算框架 它可以将多个有依赖的作业转换为一个作业从而大幅提升 DAG 作业的性能 从本质上讲 Tez 组成非常简单 数据
  • IIS7解析漏洞复现

    首先我们在win7上安装IIS7 控制面板 程序 打开或关闭windows功能 勾选如下信息 尽量勾选多一点防止实验失败 点击确定 稍等 在windows7虚拟机安装phpstudy2018版本 可先在物理机下载压缩包 然后上传到虚拟机 然
  • DTCC 2023丨云原生环境下,需要什么样的 ETL 方案?

    2023年8月16日 18日 第14届中国数据库技术大会 DTCC 2023 于北京隆重召开 拓数派受邀参与本次大会 PieCloudDB 技术专家邱培峰在大会做了 云原生虚拟数仓 PieCloudDB ETL 方案设计与实现 的主题演讲
  • 浅谈我所见识的数据治理项目

    开篇一张图 与正文不一定有关 图片来源于朋友圈 01 写在前面 熟悉笔者的朋友可能知道 笔者之前做的并非纯数据相关工作 产品或项目 笔者属于半路出家的数据人 之前也几乎没有直接接触过数据仓库 数据中台 数据平台等产品或项目 与数据库是一直打
  • 数据ETL面临的问题----数据缺失

    数据缺失的类型有 完全随机缺失 Missing Completely at Random MCAR 数据的缺失与不完全变量以及完全变量都是无关的 随机缺失 Missing at Random MAR 数据的缺失不是完全随机的 数据的缺失只依
  • 数据库不推荐使用外键的9个理由!

    我的经验告诉我 很多数据库 大多数我曾经使用的 不包含外键时并不总是一件坏事 在这篇文章中 我想把重点放在为什么的原因上 为什么这是一个问题 1 潜在的数据完整性问题 缺少外键明显问题是数据库不能强制进行引用完整性检查 如果在高一层没有正确
  • 数仓面试总结

    2021年5月开始找工作 面试了若干个数仓的岗位 面的差不多也就2个 总结下大致的面试内容 一 字节视频面 上海的一个部门 视频面挂 小伙伴内推的 这个5月份面的 大概视频面试了一个小时 主要面试内容 1 问了mapreduce的具体执行过
  • 头歌—密码学基础

    第1关 哈希函数 题目 任务描述 本关任务 利用哈希算法统计每个字符串出现的个数 相关知识 为了完成本关任务 你需要掌握 1 密码学哈希函数的概念及特性 2 安全哈希算法 密码学哈希函数的概念及特性 我们需要理解的第一个密码学的基础知识是密
  • 解决 Hive 外部表分隔符问题的实用指南

    简介 在使用 Hive 外部表时 分隔符设置不当可能导致数据导入和查询过程中的问题 本文将详细介绍如何解决在 Hive 外部表中正确设置分隔符的步骤 问题描述 在使用Hive外部表时 可能会遇到分隔符问题 这主要是因为Hive在读取数据时

随机推荐

  • #ifdef,#ifndef,#define,#endif解析(原)

    我们在看一些开源的源代码的时候 经常会看到如下情景 if defined PTHREADS defined NOTHREADS define STL PTHREADS endif if defined UITHREADS defined P
  • github上的adminlte下载太慢,下载失败解决办法

    不知道为什么github上的AdminLTE下载特别慢 一直失败 可以到码云上的镜像仓库去下载 码云急速下载
  • USB/UART/I2C/SPI等接口传输速率

    USB UART I2C SPI等接口传输速率 目录 USB总线 UART I2C总线 SPI总线 GPIO RK3399 FMC 参考 USB总线 USB1 1 低速模式 low speed 1 5Mbps 全速模式 full speed
  • CompletableFuture使用(五)

    异步任务交互方法applyToEither acceptEither和runAfterEither的使用介绍 1 applyToEither两个异步任务哪个先返回就处理哪个异步任务结果并返回CompletableFuture Complet
  • Flexera 2023 云状态报告解读

    导读 根据 Flexera 2023 云状态报告显示 经济问题不会减缓公有云市场的增长 FinOps 仍然处于应用多云战略的企业首要关注的问题 AWS 和 Azure 在全球市场仍处于领导地位 Flexera 根据对全球 750 位云决策者
  • iOS开发网络-HTTP协议

    一 URL 1 基本介绍 URL的全称是Uniform Resource Locator 统一资源定位符 通过1个URL 能找到互联网上唯一的1个资源 URL就是资源的地址 位置 互联网上的每个资源都有一个唯一的URL 2 URL中常见的协
  • 前端基础(四)- 数组和对象方法

    数组的方法 Array prototype reduce reduce 方法会对数组中的每个元素按序执行一个由您提供的 reducer 函数 每一次运行 reducer 会将先前元素的计算结果作为参数传入 最后将其结果汇总为单个返回值 第一
  • npm离线安装npm包的两种方法

    1 使用npm link 使用npm link 的方式是最常用的方法 具体做法是在联网机器上下载pm2的源码并安装好依赖 拷贝到离线服务器上 最后借助npm link将pm2链接到全局区域 首先 将pm2的源代码克隆下来 git clone
  • C语言标准库函数qsort( )——数据排序

    大家好 我是保护小周 本期为大家带来的是深度解剖C语言标准库函数 qsort qsort 函数他可以对任意类型的数据排序 博主会详细解释函数使用方法 以及使用快速排序的左右指针法模拟实现函数功能 这样的排序确定不来学习一下吗 目录 一 qs
  • Vue之动画的实现

    前言 当我们的UI界面显示出来后 需要和用户进行交互 即用户点击某个控件 比如是一个按钮 需要跳转到另一个界面的时候 如果直接跳转到另一个界面 功能是实现了 但是未免有些生硬 因为用户体验不是很好 这时就需要动画的润色了 添加一个好的转场动
  • 入门精通web前端:三大核心HTML5、CSS3 、JS必学

    WEB前端三大基础核心内容 HTML5 CSS3 和 JavaScript 对于前端的学习和提高 我的基本思路是这样的 首先 前端的三个最基本的东西 HTML5 CSS3 和 JavaScript ES6 是必须要学好的 这其中有很多很多的
  • matlab的运行环境,MatLab运行环境介绍.ppt

    MatLab运行环境介绍 ppt 由会员分享 可在线阅读 更多相关 MatLab运行环境介绍 ppt 48页珍藏版 请在人人文库网上搜索 1 MatLab用于图像处理 第一节 MATLAB语言概述 一 MATLAB语言的发展 matlab语
  • java spring cloud 企业工程管理系统源码+二次开发+定制化服务

    鸿鹄工程项目管理系统 Spring Cloud Spring Boot Mybatis Vue ElementUI 前后端分离构建工程项目管理系统 1 项目背景 一 随着公司的快速发展 企业人员和经营规模不断壮大 为了提高工程管理效率 减轻
  • Hibernate 总结

    Hibernate Hibernate是什么 Hibernate是一个框架 framework Hibernate是一个orm框架 Orm object relation mapping 对象关系映射 框架 Hibernate处于项目的持久
  • nrf52832--官方例程ble_app_uart添加led特性,实现电脑uart和手机app控制开发板led开和关

    硬件 nrf52832开发板 软件 编译环境 keil SDK版本 nRF5 SDK 17 1 0 ddde560 协议栈版本 s132 nrf52 7 2 0 softdevice 实现功能 在官方串口例程ble app uart的基础上
  • 30多种EMC标准电路分享-接口电路

    目录 01AC24V接口EMC设计标准电路 02AC110V 220VEMC设计标准电路 03AC380V接口EMC设计标准电路 04AV接口EMC设计标准电路 05CAN接口EMC设计标准电路 06DC12V接口EMC设计标准电路 07D
  • 数据库属性映射注解

    Entity 实体注解 Table name cst customer 用来将实体和表建立映射 public class Customer Id GeneratedValue strategy GenerationType IDENTITY
  • JSON处理——FastJson、Jackson、Gson详细使用

    文章目录 一 基本介绍 二 FastJson使用 2 1 对象序列化为JSON字符串 2 2 JSON字符串反序列化为对象 2 3 JSON对象 JSON数组的其他操作 2 4 JSONPath解析JSON 三 Jackson使用 3 1
  • 人工神经网络的拓扑结构,三层神经网络结构图

    人工神经网络的基本组成是什么啊 谷歌人工智能写作项目 小发猫 神经网络BP模型 一 BP模型概述误差逆传播 ErrorBack Propagation 神经网络模型简称为BP Back Propagation 网络模型常见的神经网络结构 P
  • 数据仓库工程师的职业规划

    从2011年3月开始从事数据仓库工作 算起来马上三年了 这三年做过etl工程师 做过模型架构师 做过团队管理 也做过需求分析 数据挖掘 如今又做回etl工程师 只是为了蹲得低点跳的更高 下面谈谈做各个职位的心得 etl工程师 比较简单 技术