数据工程师、商业智能( BI )工程师和机器学习( ML )工程师都具体做什么?

2023-11-18

如果你在考虑从事数据科学的工作,可能会觉得这个领域有点令人困惑!什么是数据科学家?数据分析师和数据科学家之间有什么区别?机器学习工程师做什么?那么数据工程师、商业智能( BI )工程师和机器学习( ML )研究员呢?

在这篇文章中,我们将描述数据科学中的不同角色,解释他们的定义以及差异。我们还将为每个角色建立一个“理想能力画像”。这对于职业满意度和求职成功非常重要——如果你申请了一个适合你的角色,你将有更大的机会获得这份工作;如果你做了自己喜欢的事情,那么你会享受,而不是每天都想逃避!

下面一起看看数据科学中的不同角色。我们会做一些扩展,以涵盖对具有数据技能的候选人来说,所有可考虑的数据科学职业角色。

从广义上讲,我们可以将数据角色分为两类:业务导向或工程导向。不同之处在于,业务向角色需要兼备技术和业务技能,例如沟通和演示;而工程向的角色着重在建模和软件工程技能上。

在这里我还是要推荐下我自己建的大数据学习交流qq裙:458345782, 裙 里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据开发相关的),包括我自己整理的一份最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴。

另一方面,一些传统角色已经存在了很长时间,而其他角色仅仅出现了几年或者刚刚兴起。让我们更详细地看一下每个角色。

 

数据分析师/数据科学家

从本质来说数据分析师和数据科学家是相同的,因为他们做同样的事情——从数据中获取价值。价值可以有不同的形式:对于数据分析师来说,价值意味着洞察,而对于数据科学家来说,是在洞察之上的产品发展智能

数据分析师分析数据以获得洞察,并帮助形成业务决策。例如是什么导致网站流量增加,或者用户离开网站的主要原因是什么?而数据科学家更关心的是使用机器学习和 A / B 测试来驱动和改进产品。他们可能会对诸如“更大尺寸的按钮会增加点击率吗?”以及“哪些客户可能取消订阅?”等问题感兴趣。

数据科学家专注于前瞻,即做出预测,而数据分析师则更多地聚焦在回顾,如分析历史数据。

数据科学家应该更有经验,能够用科学的方法解决业务问题,包括构建业务问题、提出假设,然后设计和进行实验来检验假设,最后得出结论(主要是研究技能,这就是为什么硬科学博士有时候是数据科学家角色的首选候选人)。而数据分析师应该使用报告或数据可视化技术收集,清理,分析数据并传达结果。

以上是这两个角色之间的一般差异,但情况并非总是如此,因为数据科学仍然是新的方向,并且远未实现标准化。有时数据科学家可以进行基本分析工作,数据分析师可以执行机器学习建模。对于数据科学中分析类的角色而言,无论头衔如何,这两类绝对是最受雇主追捧的重要角色。因此在求职时应考虑与画像的最佳契合,并成为我们的目标(以下角色同理)。

需要指出的是,这里我们指的是通常意义的数据科学家,主要处理统计建模,A / B 测试,机器学习,数据清洗和数据可视化。而专注机器学习的数据科学家,我们实际上将其归类为机器学习研究员/科学家,下文会有介绍。

数据工程师

我们已经讨论了很多关于数据科学家的事情,但实际上,如果没有数据工程师的帮助,数据科学家就无法做出贡献。为什么?由于数据工程师构建了引入数据的数据管道!如同炼油厂闲置,是由于没有原油进入,最终原因是石油管道还没有建成。

我们举一家广告技术公司为例,我们有来自多种内外部数据源的实时数据;有来自服务器的广告投放数据,来自我们内部数据库的投放和客户数据,还有来自第三方提供商的投放效果数据和我们的内部日志......为了构建实时广告效果分析看板并进一步做分析和建模,我们需要将所有数据整合成合适的级别。在此之上,我们需要构建一个数据仓库,以便我们的查询不会影响生产服务器的性能。

这就是数据工程师为我们提供的帮助。如你所见,这基本上是数据的软件工程。

ML / DL / AI研究员/科学家/工程师

ML 研究员实际上与专注于 ML 的数据科学家相同。但与通常意义上处理所有数据科学问题的“全栈”数据科学家不同,ML 数据科学家将专注于 ML 建模,以及(或者)新机器学习算法的研究和开发。另一方面,ML工程师更关心机器学习模型的生产

想象一下使用公共数据集构建的推荐模型。在对模型进行微调之后,我们已经取得了很好的性能结果,但该模型仍然没有用,因为它只是我们计算机中的一个软件。为了让它有用,我们需要将模型部署到生产环境中,比如我们的电子商务网站,以便它可以实时为用户提供推荐,从而帮助我们增加收入。

将机器学习模型部署到生产中是一项工程问题,与构建模型不同,它涉及不同类型的工程工作,例如将 ML 模型集成到软件系统中,优化模型以提高性能和可扩展性,监控 ML 系统,以及用新数据重新训练它。当然,还有建模部分,使用各种 ML 库实验和构建机器学习模型,以及实现 ML 算法以满足业务需求。

研究人员/科学家和工程师之间的区别在于“部署”部分,即是否负责将 ML 模型投入生产。如果是,那么我们讨论的是上述的工程问题,而角色是工程师,否则,它是一个研究角色。

业务分析师(各种职能)

我们这里谈到的业务分析师不是传统的IT业务分析师( BA )。传统的 BA 引导,记录业务需求并充当业务和技术之间的联络人。相反,我们使用业务分析师的头衔作为总括头衔来涵盖所有具有业务性质(非技术性)且需要重要数据技能的分析师角色。

由于数据的普及,几乎所有分析师角色都需要某些数据技能集。因此,业务分析师角色是对于具有领域专业知识,并且精于数据的候选人来说,业务分析师是非常不错的职位目标。

找出这些角色的最佳方法是在求职搜索引擎上使用关键字。例如,在Indeed.com上,如果输入“ analyst sql ”作为关键字,您将找到许多不同的职位,如 Performance Analyst,Healthcare Data Analyst 和 Demand Planning Analyst。这些是精通数据的候选人可以考虑的,不同类型的业务分析师。

BI分析师/工程师/开发人员

我们还拥有传统的商业智能( BI )分析师和商业智能工程师角色。一般来说,当我们谈论 BI 时,我们指的是使用“定义良好的BI基础设施”在“大公司”环境中进行数据分析和报告,

基础设施指的是各种企业软件系统( ERP,CRM 等)以及在他们之上进行连接和报告 BI 工具; 

“大公司” - 因为传统大型企业拥有财务实力来搭建和维护这些BI系统。

BI 分析师与数据分析师非常相似,因为他们都需要对数据进行分析和报告。一般来说,他们不做预测建模。不同之处在于 BI 分析师在结构化环境(使用 BI 系统)中与大型公司合作,而数据分析师可以在任何地方,而且不需要使用现有的BI基础架构。

而BI工程师/开发人员和 BI 分析师的关系,正如数据工程师与数据科学家的关系一样,因为BI工程师构建了 BI 分析师可依赖的报告工具来进行业务所需的分析。因此,数据工程师可以被视为 BI 工程师/开发人员角色的最新版本,后者可以很好地适应前者,这要归功于类似的技能集。

数据/ ML产品经理

如上所述,数据现在无处不在。难怪现在的产品还依赖于数据科学,特别是机器学习。对于以机器学习为中心或严重依赖于数据科学的产品,精通数据的产品经理最适合支持它们。具有 ML 专业知识和产品管理经验的候选人将在这种类型的角色中占上风。

理想的能力画像

我们现在清楚地了解数据科学中的主要角色,但每位理想候选人的技能集是什么样的?为了以直观的方式进行说明,我使用 Matplotlib 创建了蜘蛛图将这些画像可视化。由于这很大程度上是我的直观看法,我们将在未来的迭代中抓取并分析来自 Indeed 的职位发布数据,以验证画像。

 

现在你拥有了数据科学角色和相应的能力画像!基于对不同角色的责任和差异的充分理解,您将能够确定您热衷的职业道路;理想的画像不仅可以用于确定最适合的目标角色,还可以作为简历定制和个人品牌的路线图,以使您的个人资料与之相关。

在这里我还是要推荐下我自己建的大数据学习交流qq裙:458345782, 裙 里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据开发相关的),包括我自己整理的一份最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

数据工程师、商业智能( BI )工程师和机器学习( ML )工程师都具体做什么? 的相关文章

  • Linux部署项目

    一 Linux介绍 背景 Java项目通常基于windows系统进行开发 服务器部署则是基于Linux 1 1 Linux系统概述 Linux是一套免费使用 自由传播的类unix操作系统 支持多用户 多任何 支持多线程和多CPU的操作系统
  • idea技巧之同时编辑多行代码

    如何同时编辑多行代码 eclipse好像没有这种功能 有一次看到老师用eclipse写代码 10多行 每一行添加一个单引号 一个一个添加 慢的想死 想起做前端项目使用的 webstone可以同时编辑多行代码 现在看到idea 功能如此强大

随机推荐

  • Window10屏幕亮度无法调节尝试解决方法

    换成win10后突然屏幕亮度调节不了 尝试几种方法 失败方法一 注册表修改 1 首先 请大家在桌面上按下Windows徽标键 R键 打开运行菜单窗口 在窗口中输入 regedit 关键字 按下回车键之后打开注册表编辑器 2 打开注册表编辑器
  • vue中使用高德地图,只加载出地图logo,地图没有加载出来

    在使用vue开发的过程中 需要使用到高德地图 但按照高德地图的官方文档配置后 只显示高德地图的logo 但是始终加载不到地图 如下图所示 解决办法 将全局引用的的mockjs注释掉就可以解决这个冲突问题
  • Elaticsearch安装越南语分词器

    1 目标 实现支持英 德 法 葡萄牙 西班牙 俄 印尼 泰 繁中 简中 日 韩 越南 意大利 阿拉伯 土耳其 乌克兰 荷兰 波兰 19种文字的分词器 2 自带的分词器 英 english 德 german 法 french 葡萄牙 port
  • 用spss进行主成分分析

    此次同样通过一道例题讲解如何运用spss进行对数据的主成分分析 下表是我国2005年第1 2季度各地区城镇居民家庭收支基本情况的统计数据 根据这些数据进行主成分分析 并依据分析结果对地区城镇居民家庭收支情况进行排序和分类 地区 平均每户人口
  • 买《Kotlin从小白到大牛》专题视频课程,送配套纸质图书

    经过一年多时间的呕心沥血 Kotlin立体化图书 Kotlin从小白到大牛 即将与大家见面了 所谓立体化图书包括 电子图书 视频 课件和服务等内容 Kotlin从小白到大牛 纸质图书已经上市 为了答谢广大学员对智捷课堂以及关老师的支持 现购
  • python x=[random.randint(0,100) for i in range(50)]什么意思?列表解析

    如有错误欢迎指正 在写python的时候遇到一个问题 其中一段代码是x random randint 0 100 for i in range 50 这个用法叫 列表解析 这句代码的功能是生成一个具有50个0 100之间的整数 具体可以看下
  • Python:简易的串口收发程序

    Python 简易的串口收发程序 更新历史 20201204 首次发布 最近需要搞一个基于Python的串口程序 要求 能够将字符串形式的十六进制数 例如 12 34 CD EF 转化成对应的二进制数据后发送给一个串口设备 能够从串口设备接
  • ChatGPT做到人人都可以配置思科华为网络设备

    最近有个一个想法 chatgpt能不能帮忙配置网络设备 于是我开始在网上找了个拓扑图 然后我将拓扑图及需求 以prompt的形式发送给chatgpt 然后chatgpt根据我的要求 将所有节点的配置全部输出了出来 真是一个新时代来了 我觉得
  • AIOps 在美团的探索与实践 —— 故障发现篇

    摘要 AIOps 最初的定义是Algorithm IT Operations 是利用运维算法来实现运维的自动化 最终走向无人化运维 随着技术成熟 逐步确定为Artificial Intelligence for IT Operations
  • Java ee学习笔记

    Servlet简介 Servlet技术规范是JavaEE技术规范中的一个重要组成部分 Servlet是一种独立于平台和协议的服务器端的Java应用程序 可以生成动态的Web页面 实际上 Servlet不仅仅是用于返回HTML的页面的 比如
  • 创建简单的Windows驱动程序并与应用程序通信

    创建简单的Windows驱动程序并与应用程序通信 在本篇博客中 我们将创建一个简单的Windows驱动程序 并实现与用户模式应用程序的通信 我们将展示如何创建驱动程序 处理IRP请求 并在应用程序中使用CreateFile和WriteFil
  • MXNet==1.9.x 源代码编译流程(windows + python)

    只为mxnet for win开发做做小贡献 mxnet深度玩家 写在开头 注意windows powershell 第三方依赖 python git 7zip cmake ninja opencv等 的安装和运行版本 x64和x84 须统
  • 【算法】稳定匹配(C++版)

    由于学习需要 然后花费将近两天时间研究这个问题 然后用C 描述出来 具体内容看下面 问题描述 见百度百科 https baike baidu com item E7 A8 B3 E5 AE 9A E5 A9 9A E5 A7 BB E9 9
  • Qt - 使用子目录项目来 配置多个子工程/子模块

    QT 使用子目录项目来 配置多个子工程 子模块 简述 项目配置概览 项目的多工程配置 使用多模块 特别鸣谢 Qt 之 pro 配置多个子工程 子模块 Qt Creator创建子目录项目并自定义目标文件输出目录 使用子目录项目来 配置多个子工
  • unity打包后无法读取Excel解决方法

    一 前言 最近几乎遇到了所有能遇到的unity读取Excel 的问题 因为使用的是unity5 4 而且还是32位 所以出现各种问题在所难免 废话不多说 现有的现象是 在unity的编辑器里可以完美运行 读取Excel不成问题 但是打包成e
  • 朋友们,想去一线大厂?卷起来...

    大家好 我是Tom哥 计算机研究生 校招进阿里 P7技术专家 出过专利 CSDN博客专家 负责过电商交易 社区团购 流量营销 金融等业务 多年一线团队管理经验 多年的大厂浸染 参加多次淘宝双11大促活动 在系统架构方面有丰富经验 为了帮助大
  • vue如何阻止事件冒泡

    vue阻止事件冒泡 div span bt1 span span bt2 span div click stop这样点击bt1就不会执行fatherFunc
  • sql注入_字符型、数字型判断

    如何判断sql注入是字符型还是数字型 在进行sql注入时 字段类型分为字符型或者数字型 意味着我们需要构造不同的sql语句 假设存在sql注入的url是 http 192 168 0 1 id 1 数字型判定 1 and或者or 假设数据库
  • 基于springboot+vue高校实验室教学管理系统【附源码】

    晚安独角兽 hello你好我是独角兽 很高兴你能来阅读 昵称是希望自己能不断精进 向着优秀程序员前行 博客来源于项目以及编程中遇到的问题总结 偶尔会有读书分享 我会陆续更新Java前端 后台 数据库 项目案例等相关知识点总结 感谢你的阅读和
  • 数据工程师、商业智能( BI )工程师和机器学习( ML )工程师都具体做什么?

    如果你在考虑从事数据科学的工作 可能会觉得这个领域有点令人困惑 什么是数据科学家 数据分析师和数据科学家之间有什么区别 机器学习工程师做什么 那么数据工程师 商业智能 BI 工程师和机器学习 ML 研究员呢 在这篇文章中 我们将描述数据科学