程序员经验分享-hwhale

Presto集群Web UI界面详解

2023-05-16

Presto Web UI 可以用来检查和监控Presto集群，以及运行的查询。他所提供的关于查询的详细信息可以更好的理解以及调整整个集群和单个查询。
Presto Web UI所展示的信息都来自于Presto系统表.
当你进入Presto Web时，你将会看到如同1所示的界面：主要分为上下两部分，上面描述了集群信息，下面是查询列表
在这里插入图片描述

一、首页-集群信息

Running Queries 运行查询个数

当前在集群中正在执行的查询的个数。包含所有用户提交的查询；例如，如果Alice正在执行两个查询，Bob正在执行五个查询，那么在这个指标下显示的是7。

Queued Queries 等待查询个数

当前集群队列中正在等待的查询的个数，也是包含所有用户的查询。队列中的查询表示这些查询正在等待Coordinator根据Resource Group的配置为他们安排调度；

Blocked Queries 阻塞查询个数

集群中被阻塞的查询的个数；被阻塞的查询意味着该查询因为缺少可用的Splits或者资源而无法继续执行（关于Splits的概念 以及查询何时被阻塞可以参考上一篇文章：Presto On Everything）；

Active Workers 活跃节点

集群中当前活跃的节点的个数；任何手动会自动添加或删除的节点都会注册到Discovery 服务，同时这里展示的数字将会更新、

Runnable Drivers

集群中可运行的Drivers的平均数量（当Task被创建之后，他为每一个Split实例化一个Driver，每一个Driver就是一个Pipeline 中Operators的实例，并对来自Split的数据进行处理，一旦Driver完成，数据将会被传给下一个Split），

Reserved Memory

集群中Reserved Memory的大小，单位是bytes。(关于Reserved Memory的概念请参考上一篇文章：Presto On Everything)

Rows/Sec

集群中所有查询在每一秒钟处理的行数

Bytes/Sec

集群中所有查询在一秒钟处理的总共的Bytes

Worker Parallelism

Worker的并发总数，在集群中运行的所有Worker和所有查询的CPU Time总和

QUERY DETAILS 查询列表

WBE UI首页下部分就是查询列表的展示，当前列表中可以展示的查询的数量时可以配置的。如图二所示
在这里插入图片描述
如图所示你可以根据一些条件过滤和定位你想要的查询；同时提供了搜索输入框用于定位查询，输入的值会匹配很多项，包括：用户名、查询发起人，查询source，查询ID，resource group甚至SQL文本，和查询状态。同样你可以根据后面预设的一些状态（running, queued, finished, and failed）对查询进行筛选；

最左边的控件允许你确定显示的查询的排序顺序、重新排序的时间以及要显示的查询的最大数量。

下面的每一行表示一个查询，左侧如图三所示，右侧为查询的SQL文本；
在这里插入图片描述
对于每个查询运行，左上角的文本是查询ID，
在这里插入图片描述
前面是YYYYMMDD_HHMMSS格式的日期，具体的时间是当前查询运行时的时间，后半部分是一个自增的计数器，00010的含义表示这个查询时Coordinator重启以来第10个查询，最后的字符：7SNZ5，是随机生成的Coordinator的标识符，每次coordinator重启会充值标识符和计数器。

后面紧跟的三个值： root , presto-jdbc , 以及global 分别表示，提交该查询的用户，查询的来源，当前查询的Resource Group
图三最下面的9个指标对应下面的表格；

Completed Splits: 查询的已完成Splits的数目。这个例子显示了25个已完成的Splits。在查询执行的开始时和执行完成时这个值是0。当查询正在进行期间这个值会一直增加
Running Splits: 查询中正在运行的运行Splits的数量。当查询完成时，这个值总是0。但是，在执行过程中，随着Splits的运行和完成，这个数字会发生变化
Queued Splits： 当前查询里出于队列中的Splits数。当查询完成时，这个值总是0。但是，在执行期间，这个数字会发生变化
Wall Time： 执行查询所花费的Wall Time。即使在分页结果时，此值也会继续增长 Total Wall Time: 此值与Wall Time相同，但它也包括排队时间。Wall Time不包括查询排队的任何时间。这是您观察的总时间，从您提交查询到您接收结果
CPU Time： 处理查询所花费的总CPU时间。这个值通常比wallTine时间大，因为如果使用四个CPU花费1秒来处理一个查询，那么总的CPU时间是4秒
Current Total Reserved Memory：当前用于查询执行总的reserved memory使用。对于已完成的查询，此值为0
Peak Total Memory： 查询执行期间的峰值总内存使用量。查询执行期间的某些操作可能需要大量内存，了解峰值是多大是很有用的 Cumulative User Memory： 在整个查询处理过程中使用的累积内存。这并不意味着所有的内存都是同时使用的。它是累积的内存总量
Presto Web UI中的许多图标和值都有弹出的工具提示，当您将鼠标悬停在图像上时，这些工具提示是可见的。如果您不确定某个特定值代表什么，这将非常有用。

当正在运行的查询在等待某些东西(如资源或要处理的其他Splits)时可能会发生BLOCKED状态。看到查询往返于此状态是正常的，但是如果查询陷入BLOCKED状态，可能存在许多潜在的理由，这可能表明当前查询或者集群可能存在问题，如果发现有查询卡在这个状态，那么应该检查集群的状态和相关配置，也可能是这个查询需要非常大的内存或者计算开销很大。 此外，如果客户端没有获取到返回的结果，或者不能足够快地读取结果，反压机制也会使查询处于BLOCKED状态

如果查询长时间出于PLANNING状态，这通常发生在较大的复杂的查询中，因为查询要进行大量的规划和优化处理；但是如果你经常看到这个状态，并且查询出于该状态很长时间，那很可能是因为coordinator内存问题导致的（之前曾遇到过因HiveMetaStore服务而导致的长时间的PLANNING状态）。

二、查询明细视图

通过点击查询ID可以跳转到该查询的明细界面，如图

在这里插入图片描述

在这里插入图片描述
这是一个简单的SELECTCOUNT(*)的查询，所以只有两个stages
Stage0 是一个单任务的Stage，运行在coordinator上并且合并来自Stage1的Task（共4个）的数据，以完成最后的聚合；
Stage1是一个分布式的Stage，他在所有的Worker上执行Task，这个Stage负责读取数据并进行部分聚合；

其中每个Stage的指标如下：

TIME—SCHEDULED
在完成Stage的所有Task之前，该Stage被调度的时间。

TIME—BLOCKED
因等待数据被阻塞的时间

TIME—CPU
Stage中所有Task的总共的CPU时间

MEMORY–CUMULATIVE
在整个Stage 运行期间的累积内存。这并不意味着所有的内存都是同时使用的

MEMORY—CURRENT
当前stage总共的reserved内存，当查询结束时，改值为0

MEMORY—BUFFERS
当前正在等待被处理的数据所消耗的内存

MEMORY—PEAK
该Stage的峰值总内存。查询执行期间的某些操作可能需要大量内存，了解峰值是多少是很有用的。

TASKS—PENDING
Stage中待完成的Task的数量，执行完成时，为0

TASKS—BLOCKED
stage阻塞Task的数量。当查询完成时，这个值总是0。但是，在执行过程中，随着Task在阻塞状态和运行状态之间移动，这个数字会发生变化

TASKS—TOTAL
已经完成的Task的数量

最后的图6描述了Stage更多的细节：
在这里插入图片描述
如图6中指标具体含义如下表所示：

字段 描述

ID Task的标识符，StageID.TaskID,中间用点分割，如0.0即Stage0的第0个任务
Host Task运行所在的Worker节点
State Task的状态：PENDING , RUNNING , or BLOCKED
Pending Splits Task的挂起的Splits的数量。此值在Task运行时更改，并在Task完成时显示0
Running Splits Task 中正在运行的Splits的数量，在Task运行时改变，Task完成后显示0
Blocked Splits Task 中出于阻塞状态的任务数，Task完成后为0
CompletedSplits Task完成的Splits的数量
Rows Task处理的行数
Rows/s 每秒处理的行数
Bytes Task处理的字节数
Bytes/s Task每秒处理的字节数
Elapsed Task调度期间 wall time的总和
CPU Time Task调度期间CPU时间总和
Buffered 当前等待被处理的缓存数据大小

三、执行计划（Live Plan）

Live Plan页面中你可以实时查询执行处理过程；
在这里插入图片描述
在查询执行期间，计划中的计数器在查询执行过程中更新。Plan中的值与Overview选项卡中描述的相同，但是它们在查询执行计划上实时覆盖。 查看此视图有助于可视化查询被阻塞或花费大量时间的位置，以便诊断或改进性能问题

四、Stage Performance

Stage Performance提供了查询处理完成后Stage 性能的详细可视化。如图8所示

该视图可以看作是Live Plan视图的下钻，在Live Plan视图中可以看到Stage中Task的operator pipeline。计划中的值与Overview选项卡中描述的值相同。 查看此视图有助于了解查询在何处卡住或花费大量时间，以便诊断或修复性能问题。您可以单击每个operator来访问详细信息

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Presto集群Web UI界面详解 的相关文章

  • ESXI VIB升级报错

    一 兼容性问题 1 通过VIB升级ESXI时 xff0c 可能会出现类似报错 span class token namespace DependencyError span VIB LSI bootbank scsi mpt3sas 04

  • MySQL 8.0安装

    1 安装MySQL 8 0 Server shell gt dnf span class token operator span y install 64 mysql 2 开启服务 shell gt systemctl span class

  • 华为镜像启动报错

    shell gt span class token function rm span span class token operator span etc span class token operator span udev span c

  • ThinkPad T14s 安装Ubuntu22踩坑记

    讲一个我装机历经的一个小故事 首先 xff0c 花个万把块 xff0c 买个心仪的撸码神奇 xff0c 我买的是2022款ThinkPad T14s 官网关注了好久就是不出32G内存版本的 xff0c 无奈只能买一个16G内存版本的 xff

  • STM32F429入门（二十一）：SPI协议及SPI读写FLASH

    IIC主要用于通讯速率一般的场合 xff0c 而SPI一般用于较高速的场合 一 SPI协议简介 SPI 协议是由摩托罗拉公司提出的通讯协议 Serial Peripheral Interface xff0c 即串行外围设 备接口 xff0c

  • Dell清除BIOS密码及硬盘锁

    1 获取System Number F2进入BIOS xff0c 点击Unlock出现以下界面 xff0c 记录System Number 2 获取password 访问https bios pw org xff0c 将记录的System

  • 论文阅读：Learning Deep Features for Discriminative Localization（CAM）

    Learning Deep Features for Discriminative Localization 文章目录 Learning Deep Features for Discriminative Localization摘要1 引言

  • 上下文切换

    上下文切换 xff08 有时也称做进程切换或任务切换 xff09 是指 CPU 从一个 进程或线程 切换到另一个进程或线程 进程 xff08 有时候也称做任务 xff09 是指一个 程序运行的 实例 在 Linux 系统中 xff0c 线程

  • CAS服务器搭建

    一 CAS是Central Authentication Service的缩写 xff0c 中央认证服务 xff0c 一种独立开放指令协议 CAS 是 Yale 大学发起的一个开源项目 xff0c 旨在为 Web 应用系统提供一种可靠的单点

  • 如何查linux服务器的带宽占用？哪些进程占用带宽？

    前言 操作系统 xff1a Linux 操作环境 xff1a Centos7 ubuntu linux查看服务器带宽具体方法 一 使用speedtest cli命令查看下载和上传最大流量值 因为命令是python的 xff0c 所以需要先下

  • ESP8266调试方法

    ESP8266在开发的过程中无法进行仿真 xff0c 所以 xff0c 为了排查问题 xff0c 我们只能用别的方法 xff0c 下面一起来看看常用的两种方法 xff1a 添加UART打印和Fatal 查证方法 添加UART打印 对于 ES

  • 二、操作系统进程管理（4）——处理机调度（2）进程调度的时机、切换与过程、方式、评价指标

    3 进程调度的时机 切换与过程 方式 xff08 1 xff09 进程调度 xff08 低级调度 xff09 的时机 xff1a 什么时候需要进程调度 xff1f 主动放弃 xff1a 进程正常终止 运行过程中发生异常而终止 主动阻塞 xf

  • eclipse保存失败/无法保存/字符编码问题/JAVA

    eclipse保存失败 无法保存 字符编码问题 JAVA 在eclipse中单击 保存 按钮时出现如下提示对话内容 xff08 框 xff09 未能完成保存 原因 xff1a 使用 GBK 字符编码时 xff0c 无法映射某些字符 更改编码

  • java运算符(a++和++a)

    提示 xff1a 文章主要说明a 43 43 和 43 43 a系列 xff0c 附带其余信息 a 43 43 和 43 43 a的不同 xff1a 不同点是a 43 43 是先赋值再 43 1 xff0c 而 43 43 a则是先 43

  • 计算统计笔记整理（持更)

    bootstrap方法 基本思想 xff1a 模拟 目的 xff1a 计算 xff08 任意估计的 xff09 标准误差 偏差和置信区间 分类 xff1a 1 参数化bootstrap 分布形式已知 xff0c 或可由样本估计出分布 xff

  • Javascript 分析Javascript事件机制和Settimeout讲解

    线程 JavaScript特点就是单线程 xff0c 理解是 xff0c 同一个时间只能做一件事 那么 xff0c 为什么JavaScript不能有多个线程呢 xff1f 现在我们假设 xff0c JavaScript同时有多个线程 xff

  • 规划人生之一: 嵌入式系统开发or算法开发

    这些天一直为一个问题所烦扰 不知道今后改把精力投入到嵌入式系统如arm dsp等的开发上还是在图像的压缩算法上 由于我们做的是嵌入式系统 在arm开发上还有嵌入式os 所以比较烦杂 而在dsp上还要进行mpeg以及264的开发 不知道那个更

  • vue中点击获取相应元素

    在vue中通过点击事件获取上一个标签 父标签 第一个子标签等元素 以下元素都是以所点击的元素进行查找 e target 获取当前点击的元素 e currentTarget 获取绑定事件的元素 e currentTarget previous

  • http-parser解析http报文详解

    说明 项目里用到力http parser xff0c 在这里简单说明一下其用法吧 下载地址 xff1a https github com joyent http parser 其使用说明很详细 开源用例 开源tcpflow 1 4 4中使用

  • BGP协议介绍

    一 BGP协议概述 BGP用于在不同的自治系统 xff08 AS xff09 之间交换路由信息 当两个AS需要交换路由信息时 xff0c 每个AS都必须指定一个运行BGP的节点 xff0c 来代表AS与其他的AS交换路由信息 通常是路由器来

随机推荐

  • nuxt asyncData extendRoutes nuxtServerInit

    材料来源 realworld 开源项目 asyncData 仅支持服务端 xff0c 页面初始化 xff0c 组件加载之前 xff0c 不能this调用 案例 官方 nuxt config js module span class toke

  • STM32F107的串口通讯总结

    STM32F107的串口通讯总结 STM32F107 的串口通讯总结 1 STM32 的一般规律 xff0c 首先要使用串口必先使能串口时钟 xff0c 比如串口1 xff1a RCC APB2PeriphClockCmd RCC APB2

  • STM32——高级定时器、通用定时器、基本定时器的区别

    TIM1 和 TIM8 定时器的功能包括 增强型 xff1a 16 位向上 向下 向上 下自动装载计数器 16 位可编程 可以实时修改 预分频器 xff0c 计数器时钟频率的分频系数为 1 xff5e 65535 之间的任意数值 多达 4

  • STM32F107的通用定时器中断实验总结

    1 STM32F107 的通用定时器是指 xff1a TIM2 TIM3 TIM4 TIM5 STM32F107 的高级定时器是指 xff1a TIM1 TIM8 STM32F107 的基本定时器是指 xff1a TIM6 TIM7 2 S

  • STM32F107的通用定时器PWM实验总结

    STM32F107 的通用定时器PWM 实验总结 1 STM32F107 的通用定时器是指 xff1a TIM2 TIM3 TIM4 TIM5 2 STM32F107 的通用定时器 xff08 TIM2 TIM3 TIM4 TIM5 xff

  • 鸿蒙WIFI-IoT开发板RTC时钟模块功能实现

    1 RTC时钟模块硬件准备 RTC时钟模块 RTC时钟模块在WiFiIoT套件上的连接 2 RTC时钟模块硬件介绍 RTC时钟模块使用I2C接口为I2C0 xff0c 对应管脚连接说明 xff1a SDA 底板的TX GPIO 13 SCL

  • Android studio新建项目之后由于gradle配置问题导致项目无法运行的个人解决方案分享

    本文主要针对本人自己新建Android Stuido项目的时候遇到的问题的一个经验总结 说明 xff1a IDE为 Android studio 2 1 Preview 1 Windows 8系统 现象描述 xff1a 一路默认设置来创建一

  • VS Code如何在win10环境下运行C/C++

    本篇文章适合有一定基础的同学 一 准备工作 1 安装VS Code xff0c 并且安装C C 43 43 插件 链接 xff1a https code visualstudio com 2 安装MinGW 链接 xff1a http ww

  • 百度2014校招笔试题（一）

    算法和程序设计题 xff1a 1 题意 xff1a 一幢大楼的底层有1001根电线 xff0c 这些电线一直延伸到大楼楼顶 xff0c 你需要确定底层的1001个线头和楼顶的1001次线头的对应关系 你有一个电池 xff0c 一个灯泡 xf

  • 【Python数据分析】Numpy常用操作（二）

    一 常用的数学和统计方法 1 一维数组 span class token comment np random randn 生成随机数组 每运行一次会改变一次 span arr span class token operator 61 spa

  • 【Python数据分析】Pandas常用操作（一）

    pandas基于Numpy构建 xff0c 最初被作为金融数据分析工具使用因此pandas为时间序列分析做了很好的支持 pandas的两种数据结构 xff1a Series和DataFrame 一 Series xff08 index va

  • 【Python数据分析】Pandas常用操作（二）

    一 Pandas中的常用方法 span class token comment 创建一个数据框 span span class token keyword import span numpy span class token keyword

  • 【Python数据分析】Pandas中的绘图函数

    Pandas中有许多能够利用DataFrame对象数据特点来创建标准图表的高级绘图方法 1 折线图 y span class token operator 61 span df span class token punctuation sp

  • 【Python数据分析】matplotlib绘图

    matplotlib 是一个 Python 的 2D绘图库 xff0c 用于数据可视化 它可以函数的方式操作各个绘图命令 xff08 类似Matlab软件 xff0c Matplotlib名字的含义就是Matlab风格的绘图库 xff09

  • PPT模板、素材下载网站（纯干货，建议收藏）

    清平乐博主精心收集PPT模板 xff0c 纯干货 xff01 一 OfficePlus 网址 xff1a https www officeplus cn 特点 xff1a 下载全部免费 xff1b 质量高 微软Office官方在线模板网站

  • Impala时间函数总结

    Impala 使用impala 您可以使用传统的SQL知识以极快的速度处理存储在HDFS中的数据 Impala是基于hive并使用内存进行计算 在查询过程中 并未进行MR转换 而是采用与商用并行关系数据库类似的分布式查询引擎 直接与HDFS

  • 【数仓设计】企业数仓为什么要进行分层？（六大好处）

    一 数据仓库要不要分层 数据仓库既然是数据存储计算的地方 那么为什么需要分层呢 同样也是数据规模 业务场景决定 可以说很多公司数据仓库建设刚起步时 大部分的数据都是经过粗暴的数据接入 进行ETL后就直接对接业务 生成报表或者导入业务系统直接

  • 快速搭建samba 简单samba服务

    基于RedHat service smb restart etc init d smb start 1 安装samba包 yum install samba 2 修改相关配置文件 vim etc samba smb conf 3 添加相关s

  • 程序员=加班？？掌握时间才能掌握人生

    总是有些人一生中有无数作为 xff0c 而更多的人耗费一生的时间最终换来了不过四个字 死因不详 序言 近几年 xff0c 读了比较多的书 xff0c 涉猎也比较广泛 xff0c 经管 xff0c 哲学 xff0c 心理学 xff0c 成功学

  • Presto集群Web UI界面详解

    Presto Web UI 可以用来检查和监控Presto集群 xff0c 以及运行的查询 他所提供的关于查询的详细信息可以更好的理解以及调整整个集群和单个查询 Presto Web UI所展示的信息都来自于Presto系统表 当你进入Pr

热门标签