智能BI,如今走到了哪一步?

2023-11-05

“我们现在需要的不仅是石油,更是如何使用好石油。” 

作者|三七 

编辑|皮爷 

出品|产业家 

“错进,错出。”这是美国税务局在1963年对数据质量提出的解释,以此来试图表达数据对于计算机处理结果质量的重要性。

这一观点的源头来自“计算机之父”查尔斯·巴贝奇。

在巴贝奇的随笔文集上记录过这样一件事,他曾因有人认为输入错误数据下的计算机仍然给出正确答案而感到惊愕。而他发现,数据繁琐数量多,即使经过多道人工审核仍存在很多错误。上世纪八十年代,巴贝奇研制出无需任何人力计算便可以自主完成三组十万以内加法的“差分机”,用来解决输入数据错误的问题。

资料显示,如今,我国数据产量占全球数据23%左右,在全球数据量中占比颇大。由于数据能够对计算结果产生直接影响,一直以来被当作极为重要的环节。因此,在互联网及云计算发展下,数据处理、数据复用等问题又一次被推上风口。

而商业智能也在帮助企业现有数据进行整合的基础上,承担下可视化这一环节,辅助企业进行业务经营决策。这也随机带来问题:

我国商业智能如今发展现状如何?

当下市场,在数据处理及复用上实际难点有哪些,如何解决?

数据处理概念越来越宽泛,在云大物智赋能下,产业数据治理未来发展趋势是怎样的?

一、商业智能等于BI吗?

可以说,数据价值最大化体现在商业。

以往,我国商业数据市场从早期数字化改造向互联网爆发后的基础软件普及迈进。2013-2015年间,报表式可视化功能涌现,成为商业数据智能的前身。在历经两年高速成长,目前市面上被广泛获知的狭义“商业数据智能”或可视化应用逐渐迈入成熟阶段。

在人工智能技术的不断演进下,AI得以与许多工具、技术结合。而数据可视化实用性最强的是BI(商业智能),在人工智能技术的加持下,商业智能对传统数据分析进行持续化、信息化建设,形成1+1>2的表象。

据艾瑞咨询估算,2019年至2025年中国人工智能核心产业及带动产业规模都将保持高速增长态势,复合增速均超过20%。

数字经济的蓬勃发展带来商业数据智能再次增速。

从整体来看,商业数据智能工具可以分为三个阶段,即数据化、全局可视化及分析智能化。

具体来看,在第一阶段数据化转化期间,尚未进行数字化转型的企业将数据进行电子化处理,通过CRM、ERP等基础软件为企业提供出部分赋能。

当全局可视化阶段时,企业已经拥有数据库或本地数据文件作为基础。这时要做的是将数据进行提炼整理,形成数据报表。可视化工具能够为企业提供数据分析及报表产出效率,增加数据实用性及数据价值。

实现数据可视化后,企业便可以利用AI开发框架进行模型训练,进行数据挖掘,通过数据分析培养自身IT能力,最终体现在上层的BI产品上。

简单来说,这个过程就好比一家餐饮店利用数字化终端设备将消费者的消费时间、喜好、产品一一收集。继而对这些数据进行整理,将有用的数据以通俗易懂的方式呈现出来。通过这些的数据可以清晰地了解消费者的年龄层次、哪款产品喜爱度最高。而通过这些数据反馈出来的信息,不断优化菜品、升级营销方式,从而帮助企业实现更高的增长。

目前,由于我国企业中小型占比较多,数字化转型程度弱,大部分企业集中在数据化转化及可视化赋能区间。

所以总体来看,我国距离数字化成熟尚有一段距离,而商业数据智能往往需要建设在统计格式及企业数据技术上,因此,前期的数字化转化环节就显得尤为关键。

此外,数据不够“干净”,数据存量小,数据平台性能不足,处理效率低也是企业在数据处理时遇到的糟心事。在进行数据分析、挖掘及机器学习或可视化前,数据清洗、数据储存也直接决定后续结果呈现。

二、数据处理的命门

“中国没有真正的医疗大数据”“没有数据可用”,一位行业专家在谈临床时抱怨。

然而,据IDC发布的《数字宇宙驱动医疗行业数据增长》报告显示,医疗行业数据量每年以48%的速度增长,很多大型医院的数据积累已达PB级。

一边是一线从业人员的无奈,一边是爆发的医疗大数据,两者之间似乎有着一条巨大的鸿沟。

事实上,并不是任何一堆数字都具备价值,一个前提是可视化,即让这些被计算机收集的信息变得“通俗易懂”。

由于可视化所需数据基础需要存储等功能作为支撑。在可视化阶段,需要以数据文件作为基础,经过数据倒入、清理、建模、图形构建等环节对企业数据进行提炼,从而呈现出完整报表。

然而,这并不是一件易事。

具体来看,这些收集的医疗大数据,有文本数据、影像数据等。不同于可以直接存储为数据库的结构化数据,这类数据计算机难以执行。

另外,由于医院上线的信息系统缺乏统一的标准与接口,随着技术变迁和系统迭代,同厂商的系统数据结构不相同,不同厂商、不同时期的数据编码也不尽相同,医院存储的历史数据面临解读问题。

再有就是,很多大数据平台只解决了有限数据汇集,比如,数据中心只采集到电子病历系统的数据,或是集成平台的数据,大量体检数据、互联网问诊记录、外院历史病历数据无法获取。数据不全、量级也不够大,并没有建立起真正以患者为中心的全生命周期数据。

种种因素,让数据的可视化陷入死胡同,继而让数据的价值无法体现。

毋庸置疑的是,“解铃还须系铃人”,想要体现数据真正的价值,首先要解决企业在数据处理能力上的匮乏。只有这样,数据才能实现价值最大化。

正如亚马逊CTO Werner Vogels所言:“数据越大,结果越好。为什么企业在商业上不断犯错?那是因为没有足够数据对运营决策提供支持。”

作为数据处理中典型的案例,亚马逊从用户购买行为、页面停留时间、评论查看市场、浏览商品区间中对用户购物习惯进行分析处理,不断挖掘出的数据价值早已超越其运营模式的收益。

在亚马逊的眼中,自身所有业务环节都离不开“数据驱动”,通过需求预测可以得知用户未来需求。而这成功的尝试也让不少企业心之驰往。然而,能够做到那一步可不是部署几个软件就能解决的。

《Information Visualization》一书中,Colin Ware提出了这样一个问题:可视化是一门科学还是一种语言?结果显而易见,它属于科学范畴,让数据跳出繁杂,精确性、系统性的显示出来。

事实上,在很多新应用中,数据可视化都被当作帮助用户便捷操作数据的桥梁,例如RPA等。从深度考虑,可视化可以称作数字化进程中的一个阶段和能力,带来数字化大趋势下可持续发展的机会。

但实际上,数据仅作为桥梁和前端的呈现显然已然不够,其更应该成为企业数字化转型的核心决策支撑,在归集数据的同时,需要给予产业作出行业定制化的表达。

三、什么才是智能BI?

简单来说,数据治理就是把企业数据从杂乱、不可控转化为可控、易用的过程。

而这种通过采集、传输、存储的一系列标准化流程与企业效益有着直接关系。从艾瑞披露的数据来看,2020年商业数据智能市场结构中垂直行业拓展应用占比最高,达62.0%,对应市场规模569亿元,这一比例在未来5年将进一步提升,对应市场规模达2345亿元。

市场趋生参与者也趋生行业发展不够均衡的现状。

目前,我国金融、零售行业数字化发展水平较快,已处在可视化发展向商业智能迈进阶段;而制造业、工业等方面进展略有迟缓,呈现出供应商分散、芯片、新能源等企业发展超前,传统制造业仍处于人工居多的两极化现象。

处在行业发展水平不均的时代背景下,如何把狭义数据处理的分析方式、信息提取转变的更宽泛、有弹性?

答案是利用云大物智的协同能力。

在狭义的数据处理中,数据分析产出有价值的信息是主要目的,而广义的数据处理可以在此基础继续深化,发现数据中的信息及运作逻辑,给此后的业务决策提供理论基础和结果导向。

而云计算、大数据、物联网及人工智能的出现在某种程度上构建出新型网络架构。大数据及数据存储平台的基础性,云计算的IT基础设施的灵活调用能力,物联网的数据交互网络体系,人工智能的数据分析理论引导,四项融合给数据治理带来新的想象空间。

在处理低成熟度行业时,多项技术引导的方式能够在保障数据完整性前提下,解决数据质量差、数据孤岛、管理机制不足的缺陷。

尽管现阶段很多企业尝试以业务流控制数据流,但由于缺乏系统机制往往会面临时间成本耗费但未果的情况,这也从侧面反映出部分行业在基础数字化建设存在的发展空间,而建立于云大物智智商的商业数据智能应用也会在这些成熟度较低的行业存在发展前景。

总体来看,对于新时代的BI而言,应该摆脱固有的数据治理观念,更多的在技术支撑下实现数据的归类和产业表达,从数据库的底层开始最终到时BI上层的数据呈现,构建出一个完整的数据使用闭环。

恰如那句话所说,“我们现在需要的不仅是石油,更是如何使用好石油。”

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

智能BI,如今走到了哪一步? 的相关文章

  • C++ primer plus 第六版 第十一章 复习题

    第十一章 复习题 1 Stonewt Stonewt operator double n const Stonewt result double total stn Lbs per stn n lbs n result stn total
  • RabbitMQ(三)手动Ack确认

    默认情况下 spring boot data amqp 是自动ACK机制 就意味着 MQ 会在消息发送完毕后 自动帮我们去ACK 然后删除消息的信息 这样依赖就存在这样一个问题 如果消费者处理消息需要较长时间 最好的做法是消费端处理完之后手

随机推荐

  • javascript enval()函数与JSON 之间关系

    概念定义 eval 函数可计算某个字符串 并执行其中的的 JavaScript 代码 enval 函数将把最后一个表达式或者语句所包含的值或引用作为返回值 举例说明一 eval javascrit表达式
  • 关于召开“CIE2019第三届中国IT教育论坛”的通知

    各相关高校 伴随着人工智能 智能制造 云计算 虚拟现实 5G等新技术的发展与日益成熟 全球范围内的新科技革命悄然打响 新一轮科技革命正在重塑世界竞争格局 以新技术 新业态 新产业为特点的新经济蓬勃发展 我国急需培养一批集学科 技术和产业思维
  • ubuntu18.04下mysql数据库安装和C语言连接操作

    数据库在应用系统开发中很常见 在众多的数据库中 mysql总是会占有一席之地 本篇说明一下如何在ubuntu18 04上安装mysql数据库 目录 1 更新环境 2 安装mysql数据库系统 3 检测是否安装成功 4 启动 重启 关闭 删除
  • CLion用于STM32开发

    最近想要复现稚晖君的ElectronBot 发现32的代码用的CLion编写的 而且是C和C 混编的 本来想着用keil再写一个 但是有点浪费时间 而且发现CLion学生可以白嫖 反正以后都要学习C 所以现在就装上吧 注 最终的效果只能下载
  • 克服过拟合和提高泛化能力的20条技巧和诀窍

    克服过拟合和提高泛化能力的20条技巧和诀窍 你是如何提升深度学习模型的效果 这是我经常被问到的一个问题 有时候也会换一种问法 我该如何提高模型的准确率呢 或者反过来问 如果我的网络模型效果不好 我该怎么办 通常我的回答是 具体原因我不清楚
  • 数据结构——查找

    一 查找的基本概念 查找 在数据集合中寻找满足某种条件的数据元素的过程称为查找 查找表 查找结构 用于查找的数据集合称为查找表 它由同一类型的数据元素 或记录 组成 关键字 数据元素中唯一标识该元素的某个数据项的值 使用基于关键字的查找 查
  • 智能合约安全分析,假充值攻击如何突破交易所的防御?

    智能合约安全分析 假充值攻击如何突破交易所的防御 引言 假充值攻击 是指攻击者通过利用交易所在处理充值过程中的漏洞或系统错误 发送伪造的交易信息到交易所钱包地址 这些伪造的交易信息被交易所误认为是真实的充值请求 并将对应的数字资产或货币添加
  • javascript判断数组和对象中是否存在某元素

    javascript判断数组和对象中是否存在某元素 判断数组 是否存在某个元素 可以用数组的indexOf函数 方法arr indexOf find start find 要找的内容 必须 start 查找开始下标 可选 返回 查找数据所在
  • 【Python】os.path.expanduser() 函数的理解和举例说明

    文章目录 一 函数说明 二 实例说明 一 函数说明 os path expanduser 是 Python 中 os path 模块中的一个函数 用于将路径字符串中的波浪线 扩展为用户的主目录 它的作用是提供跨平台的路径展开功能 使得路径可
  • HTML入门

    web前端 前端开发也叫web前端开发 它指的是基于web的互联网产品的页面 也可叫做界面 开发及功能开发 1 认识HTML HTML是Hyper Text Markup Language 超文本标记语言 的缩写 是构成web页面的基本元素
  • git clone 出现fatal: unable to access ‘https://github.com/xxx: Failed to connect to github.com

    问题描述 使用git clone命令时 出现如下错误 fatal unable to access https github com xxx Failed to connect to github com port 443 Timed ou
  • 多版本 Python 使用 pip 安装 package

    最简单的方式 使用参数指定安装路径 pip install t D python3 5 32bit Lib site packages numpy 叨叨叨 如果电脑上安装了多个版本的Python的话 在需要使用pip安装新package时
  • hive分区表的元数据信息numRows显示为0

    创建分区表 CREATE TABLE dept partition deptno int dname string loc string PARTITIONED BY
  • 2023牛客暑期多校训练营3

    A World Fragments I 将两个二进制数先转换成十进制数 因为只要二进制中有1 就加或减1 加减0是没有用的 所以求两个二进制的差的绝对值 这是在有1的情况下 其实只要不等于0就有1 数是非负整数 所以需要特判 如果第一个二进
  • 10种基于MATLAB的方程组求解方法

    线性方程组的求解包括直接法和迭代法 其中迭代法包括传统的高斯消元法 最速下降法 牛顿法 雅克比迭代法 共轭梯度法 以及智能启发式算法求解法和神经网络学习算法 传统算法可以相互组合改进 智能仿生启发式算法包括粒子群算法 遗传算法 模拟退火算法
  • R329-opencv阈值分割算法——自适应阈值

    R329 opencv阈值分割算法 自适应阈值 在不均匀照明或者灰度值分布不均的情况下 如果使用全局阈值分割 那么得到的分割效果往往会很不理想 这个时候就要你用到自适应阈值算法了 OpenCV提供了自适应的二值化函数 通过该函数可以对图像的
  • 如何使用网页版微信文件传输助手(图解教程)

    微信文件传输助手网页版是一款非常方便的工具 可以帮助我们在电脑和手机之间传输文件 而且不需要电脑登录微信即可传输文件 下面是具体的操作步骤 步骤一 打开多御浏览器 点击微信文件传输助手 然后使用微信扫描页面上的二维码 即可进入微信传输助手界
  • uniapp开发微信小程序初次加载弹窗显示隐私政策

    效果图 废话不多说 直接上代码
  • 计算机基础第三版知识点总结,计算机基础知识点归纳总结

    计算机等级考试作为当代大学生必考科目之一 它的基础知识点有哪些呢 以下是由出国留学网编辑为大家整理的 计算机基础知识点归纳总结 仅供参考 欢迎大家阅读 计算机基础知识点归纳总结 计算机的发展 类型及其应用领域 1 计算机 computer
  • 智能BI,如今走到了哪一步?

    我们现在需要的不仅是石油 更是如何使用好石油 作者 三七 编辑 皮爷 出品 产业家 错进 错出 这是美国税务局在1963年对数据质量提出的解释 以此来试图表达数据对于计算机处理结果质量的重要性 这一观点的源头来自 计算机之父 查尔斯 巴贝奇