程序员经验分享-hwhale

Kylin--简介及图解架构

2023-11-17

Kylin(麒麟)的诞生背景

  • ebay-中国团队研发的，是第一个真正由中国人自己主导、从零开始、自主研发、并成为Apache顶级开源项目
  • Hive的性能比较慢，支持SQL灵活查询，特别慢
  • HBase的性能快，原生不支持SQL，可以使用phoenix构建二级索引。
  • Kylin是将先将数据进行预处理，将预处理的结果放在HBase中。效率很高

Kylin的应用场景

  • Kylin 典型的应用场景如下：

  • 用户数据存在于Hadoop HDFS中，利用Hive将HDFS文件数据以关系数据方式存取，数据量巨大，在500G以上

  • 每天有数G甚至数十G的数据增量导入

  • 有10个以内较为固定的分析维度

  • Kylin 的核心思想是利用空间换时间，在数据 ETL 导入 OLAP 引擎时提前计算各维度的聚合结果并持久化保存

  • 使用kylin的公司
    在这里插入图片描述

为什么要使用Kylin

  • Kylin 是一个 Hadoop 生态圈下的 MOLAP 系统，是 ebay 大数据部门从2014 年开始研发的支持 TB 到 PB 级别数据量的分布式 Olap分析引擎。其特点包括:
  • 可扩展的超快的 OLAP 引擎
  • 提供 ANSI-SQL 接口
  • 交互式查询能力
  • MOLAP Cube 的概念（立方体）
  • 与 BI 工具可无缝整合

Kylin的总体架构

  • Kylin 依赖于 Hadoop、Hive、Zookeeper 和 Hbase
  • kylin数据流程图
    在这里插入图片描述
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Kylin

Kylin--简介及图解架构 的相关文章

  • Kylin接入外部Jdbc Mysql数据源

    前言 Kylin目前不仅仅支持Hive作为数据源构建cube xff0c 也可以支持使用外部jdbc作为数据源进行构建 xff0c 比如使用MySQL数据源的时候会让我们下载sqoop安装包 xff0c 本质上是使用sqoop全量同步我们要

  • ubuntu kylin下宽带拨号

    用pppoeconf这个命令 xff0c 一般来说 xff0c 里面已经安装好了的 按照提示过程处理即可 xff0c 要提供adsl用户名和密码 一般很多用户会配置成开机自动启动adsl xff0c 也可以手动 xff1a pon dsl

  • 《KyLin学习理解》-01-KyLin麒麟的简介及其思想

    1 美图 1 诞生背景 HIVE是数据仓库 是把存储在HDFS分布式文件系统的存储文件映射到类似于关系型数据库的东西 举个例子 假设有一个文件存储在本地 opt hzjs lcc work pro txt文件 文件的格式为 1 产品120

  • 【信创】麒麟操作系统配置在线源及手动查找所需软件包

    获取操作系统信息 命令 nkvers 关注倒数第2行 示例中大版本 V10 小版本 SP2 CPU架构 aarch64 root localhost nkvers Kylin Linux Version Release Kylin Linu

  • ubuntu 20.04 安装 微信，QQ等客户端，一键安装，亲测成功，最新更新，优麒麟

    之前一直使用网页版微信 但是聊天记录完全无法存留 一旦断网就会退出登录 然后每次登录都要确认 很麻烦 要是有ubuntu下的微信客户端就好了 但是并不是所有的客户端都一样好用 博主安装并实测了几个ubuntu下的微信客户端 发现基于wine

  • 2023 QEMU模拟FT2000+（armv8）运行麒麟V10并安装tensorflow2

    2023 QEMU模拟FT2000 armv8 运行麒麟V10并安装tensorflow2 资源准备 麒麟V10SP1 桌面 QEMU 4 1 0以上 qeum安装kylin python tensorflow2 10 0 资源准备 麒麟V

  • R绘图笔记

    前面介绍过一些图形的绘制 我们有时候进行GO富集分析 需要绘制富集结果 这里介绍怎么将GO BP GO MF GO CC绘制到同一图形中 library ggplot2 library RColorBrewer display brewer

  • 都是 HBase 上的 SQL 引擎，Kylin 和 Phoenix 有什么不同？

    大数据时代 数据的价值越来越被重视 企业从海量大数据中挖掘所需要的信息 用来驱动业务决策以获得更大的商业价值 与此同时 出现了越来越多的大数据技术帮助企业进行大数据分析 例如 Apache Hadoop Hive Spark Presto

  • Kylin Flink Cube 引擎的前世今生

    Apache Kylin 是一个开源的 分布式的分析型数据仓库 提供Hadoop Spark 之上的 SQL 查询接口及多维分析 OLAP 能力以支持超大规模数据 它能在亚秒内查询巨大的表 Kylin 的核心思想是 预计算 将数据按照指定的

  • linux外接HDMI显示器 不能正常显示的问题

    1 尝试重启lightdm systemctl restart lightdm 2 调整xrandr 设置扩展屏幕的方向 以电脑为例 我想将扩展屏幕放置在自带屏幕的左边 eDP 1是笔记本自带屏幕 DP 1是外接屏幕 输入命令 xrandr

  • CentOS Linux的最佳替代方案（三）_银河麒麟Kylin Linux Advanced Server V10 SP2 for X86安装教程

    文章目录 CentOS Linux的最佳替代方案 三 银河麒麟Kylin Linux Advanced Server V10 SP2 for X86安装教程 1 银河麒麟Kylin Linux Advanced Server V10简介 1

  • Kylin ext3/4 xfs手动扩容根分区

    1 环境 云平台 兼容OpenStack Queens的发行版 HOST OS Kylin Server 10 SP1 Release Build20 20210518 arm64 虚拟机镜像ISO Kylin Server V10 GFB

  • 麒麟银河v10登录图形化页面提示创建会话失败

    麒麟银河v10登录图形化页面提示创建会话失败 麒麟银河v10我用镜像创建虚拟机之后 用图形化界面登录一直提示 创建会话失败 或者直接登录框消失 卡在一个蓝色麒麟背景不动 但使用命令行或者ssh远程都可以登录 针对这个情况我做了诸多调整 1

  • 中间件运维分析中的选型与实践

    在近期的 Kylin Data Summit 上 好买财富平台架构总监王晔倞在互联网专场上分享了好买财富在中间件运维分析平台的演进过程 好买财富为什么选择从广泛应用的 ELK 转向 Apache Kylin 呢 王晔倞 我们在监控上 通常会

  • 【开发实践】美团为什么开发 Kylin On Druid（下）？

    前言 在上篇文章里 我们比较了 Kylin 和 Druid 这两个重要的 OLAP引擎的特点 也分析了 Kylin on HBase 的不足 得出了使用 Druid 代替 HBase 作为 Kylin 存储的方案 最后介绍了美团开发的 Ky

  • 从数仓到数据中台，谈技术选型最优解

    本文根据颜博老师在 Deeplus直播第218期 线上分享演讲内容整理而成 文末有获取本期PPT 回放的途径 不要错过 颜博 马蜂窝数仓研发总监 现任马蜂窝数据仓库团队负责人 曾供职于京东 IBM 亚信等公司 数据行业老兵一名 历经传统数据

  • 阿里巴巴为什么能抗住90秒100亿？看完这篇你就明白了！

    作者 huashiou链接 https segmentfault com a 1190000018626163 1 概述 本文以淘宝作为例子 介绍从一百个并发到千万级并发情况下服务端的架构的演进过程 同时列举出每个演进阶段会遇到的相关技术

  • kylin启动：Failed to create /kylin

    文章目录 一 当在ubuntu下执行check env sh时遇到问题 KYLIN HOME is set to usr local apache kylin 1 5 4 1 bin cat invalid option 1 Try cat

  • Kylin 最佳实践｜爱奇艺如何处理千亿级数据

    1 使用 Kylin 的缘由 爱奇艺 OLAP 服务演变 爱奇艺大数据 OLAP 服务演变的过程可以用如下架构图说明 数据处理流程分为如下几个层级 最下方是采集平台 收集业务的埋点和日志 数据按时效性分为两种类型 离线类型的灌入到 HDFS

  • Kylin--简介及图解架构

    Kylin简介 Kylin 麒麟 的诞生背景 Kylin的应用场景 为什么要使用Kylin Kylin的总体架构 Kylin 麒麟 的诞生背景 ebay 中国团队研发的 是第一个真正由中国人自己主导 从零开始 自主研发 并成为Apache顶

随机推荐

  • 解决多个Tabs频繁切换造成数据错乱问题的方案

    一 利用axios的cancelToken import post from util ajax import axios from axios const CancelToken axios CancelToken post let ca

  • BUUCTF:[GXYCTF2019]BabyUpload1

    文件上传漏洞 不过这里我要吐槽一下 这个题首先他不允许传 png文件 再者 jpg文件不能大 打了也报错 传不上去 可想而知 我当时在做这个题的时候跟见了鬼一样难受 什么文件都传不了 接着做题吧 试着传一个PHP文件 告诉我不能传ph开头的

  • 全新中国交通标志检测数据集2021—CCTSDB 2021: A More Comprehensive Traffic SignDetection Benchmark（全新分类-多算法测评）

    CCTSDB 2021 重磅发布 全新数据集 全新分类 多种算法测评 欢迎大家使用 数据集发布网址 GitHub csust7zhangjm CCTSDB2021 论文原文 HCIS All Issue Human Centric Comp

  • 创建Access数据的ODBC数据源时没有Access数据源驱动器

    在作数据库实例的时候 实例2需要创建Access数据库的ODBC数据源 我的管理工具 ODBC数据源管理器里面只有SQL Server 没有Access等其他 当时我以为是装的时候少装了什么 于是就放下了 没有做这个实例 直接做下边的了 想

  • vue+spring boot+websocket模拟服务端实时向前端推送数据

    一 后端 1 安装websocket依赖

  • Qt类总结（一）QTextEdit

    1 QTextEdit简介 Header include lt QTextEdit gt qmake QT widgets Inherits QAbstractScrollArea Inherited By QTextBrowser QTe

  • UML时序图的画法

    现在是二月 而且到如今你或许已经读到 或听到人们谈论UML 2 0 包括若干进步的 UML 的新规范 所做的变化 考虑到新规范的重要性 我们也正在修改这个文章系列的基础 把我们的注意力从 OMG 的 UML 1 4 规范 转移到 OMG 的

  • SmartImage图片第三方控件android

    1 新建 SmartImageDemo app src main res xml network security config xml 该配置用于HTTP请求

  • 用Arduino读取MLX90393三轴霍尔传感器

    一 模块简介 Melexis MLX90393是一个三轴霍尔传感器 可以检测各个方向的磁场强度 MCU通过I2C或SPI读取X Y Z三轴磁场分量 MLX90393的数据手册已上传 https download csdn net downl

  • 【华为OD机试c++/java/python】微服务的集成测试【2023 Q1 A卷

    华为OD机试 题目列表 2023Q1 点这里 2023华为OD机试 刷题指南 点这里 题目描述 现在有n个容器服务 服务的启动可能有一定的依赖性 有些服务启动没有依赖 其次服务自身启动加载会消耗些时间 给你一个nxn 的二维矩阵 useTi

  • element的遮罩层v-loading，隐藏上面的文字和图标，添加自定义内容

    element的遮罩层v loading 隐藏上面的文字和图标 添加自定义内容 之前有个需求是想要一个遮罩层 项目组件用的是element 想用v loading 但是上面的图标和文字格式不是我想要的 效果图 思路如下 1 隐藏自带的文字和

  • go语言的iota是什么意思_Go语言学习——三分钟看透iota

    Go语言学习 三分钟看透iota 源起枚举 最近做需求时 有一个需要枚举的场景 大概有10 个枚举类型 不愿意像定义一个开关那样敷衍的写成 const SwitchOff 0 SwitchOn 1 显得不够精致 于是想到了iota 深入了解

  • 基于Keras的卷积神经网络手写数字识别

    coding utf 8 Created on Sun Aug 1 16 22 47 2021 author Yang Hongyun 构建卷积神经网络模型代码 import tensorflow as tf import keras ke

  • 使用Keras进行LSTM实战

    0 前言 在上文中进行ARIMA时序预测后 了解到强大的LSTM在处理时序预测有更为优秀的表现 因此对LSTM进行了学习 LSTM是一种时间递归神经网络 它出现的原因是为了解决RNN的一个致命的缺陷 原生的RNN会遇到一个很大的问题 叫做T

  • Redis主从集群

    Redis主从集群 1 集群结构 我们搭建的主从集群结构如图 共包含三个节点 一个主节点 两个从节点 这里我们会在同一台虚拟机中开启3个redis实例 模拟主从集群 信息如下 IP PORT 角色 192 168 150 101 7001

  • 文件上传 拿 shell

    启动docker开启镜像环境 成功在主机上访问到 根据弱密码tomcat tomcat登陆管理后台 在下面位置可以找到上传点 上传对应的war文件 先把一剑jsp马保存到zip压缩包中 再修改后缀名为war上传 可以看到上传成功 连接成功

  • 获取表单中某个元素，返回数组

    获取id为editForm的表中中所有input元素的对象 input editForm 获取每个input中name和val var ret input editForm each function var nm this attr na

  • OpenWrt后台管理启用https-OpenSSL

    OpenWrt 默认使用http 访问管理后台 这样不安全 推荐修改为 https 访问 加密数据传输 本文介绍配置步骤 1 卸载旧的ssl软件包 root OpenWrt opkg remove luci ssl px5g px5g mb

  • 深入《C++ Core Guidelines解析》：提升C++编程实践的关键指南

    目录 1 写在前面 2 推荐理由 3 内容介绍 4 作者介绍 5 赠书 or 购买 1 写在前面 C Core Guidelines是一个正在进行的开源项目 通过将广泛认可的现代C 上佳实践集中在一个地方来解决这些问题 Core Guide

  • Kylin--简介及图解架构

    Kylin简介 Kylin 麒麟 的诞生背景 Kylin的应用场景 为什么要使用Kylin Kylin的总体架构 Kylin 麒麟 的诞生背景 ebay 中国团队研发的 是第一个真正由中国人自己主导 从零开始 自主研发 并成为Apache顶

热门标签