PromQL学习以及Node Exporter常用查询语句
一、PromQL学习
1.1 表达式数据类型
Instant vector - 一组时间序列，其中包含每个时间序列的一个样本，它们共享相同的时间戳
Range vector - 一组时间序列，其中包含每个时间序列随时间变化的一系列数据点
Scalar - 一个简单的数值浮点值
String - 一个简单的字符串值;
1.1.1 Instant vector selectors
例如：
http_requests_total
{}表示过滤
http_requests_total{job="prometheus",group="canary"}
支持以下操作
=: 完全相等
!=: 不相等
=~:正则匹配字符串或子串
!~: 正则不匹配字符串或子串
vector selectors必须指定一个名称或至少一个与空字符串不匹配的标签匹配器。下面的表达式是非法的。
{job=~".*"} # Bad!
应该改为
{job=~".+"} # Good!
{job=~".*",method="get"} # Good!
__name__ 标签
http_requests_total 等价于 {__name__="http_requests_total"}
以下可以查找job开头的所有指标
{__name__=~"job:.*"}
1.1.2 区间vector selectors
时间单位
s - seconds m - minutes h - hours
d - days w - weeks y - years
以下表示最后5分钟内匹配标签的指标
http_requests_total{job="prometheus"}[5m]
offset modifier
偏移修改器允许更改查询中的单个瞬间和范围向量的时间偏移量
以下表示与当前时间相隔5分钟的指标
http_requests_total offset 5m
1.2 符合运算
1.2.1 操作符
+
-
*
/ 除
% 取模
^ 幂
1.2.2 比较符
==
!=
>
<
>=
<=
1.2.3 逻辑运算符
and 交集
or 并集
unless 补集
1.2.4 集合匹配
常见1对1，和多对一/一对多
一对一匹配
method_code:http_errors:rate5m{code="500"} / ignoring(code) method:http_requests:rate5m
一对多和多对一
method_code:http_errors:rate5m / ignoring(code) group_left method:http_requests:rate5m
1.2.5 聚合操作
sum
min
max
avg
stddev 计算总体标准差除以维数
stdvar 计算总体标准方差除以维度
count
count_values 计算具有相同值的元素的数量
bottomk 最小k个元素的样本值
topk 最大k个元素的样本值
quantile (calculate φ-quantile (0 ≤ φ ≤ 1) over dimensions) 分位数（分位数（Quantile），亦称分位点，是指将一个随机变量的概率分布范围分为几个等份的数值点，常用的有中位数（即二分位数）、四分位数、百分位数等）
1.2.6 优先级
^
*, /, %
+, -
==, !=, <=, <, >=, >
and, unless
or
然而 ^ 从右开始, 所以 2 ^ 3 ^ 2 = 2 ^ (3 ^ 2)
1.3 内置函数
abs(v instant-vector) 绝对值
absent(v instant-vector) 判断指标数据是否存在，在预警时非常有用
absent(nonexistent{job="myjob"})
# => {job="myjob"}
absent(nonexistent{job="myjob",instance=~".*"})
# => {job="myjob"}
absent(sum(nonexistent{job="myjob"}))
# => {}
ceil(v instant-vector) 大于等于当前的最小整数
changes(v range-vector) 返回给定时间范围内改变值的数量
clamp_max(v instant-vector, max scalar) max的上限
clamp_min(v instant-vector, min scalar) min的下限
day_of_month(v=vector(time()) instant-vector) 一个月中的日，返回值1-31
day_of_week(v=vector(time()) instant-vector) 一礼拜的星期几，0-6，0是礼拜天
days_in_month(v=vector(time()) instant-vector) 一月的天数，28-31
delta(v range-vector)
以下返回现在和2个小时之前cpu的温度差
delta(cpu_temp_celsius{host="zeus"}[2h])
deriv(v range-vector) 计算距离向量中时间序列的二阶导数
使用线性表达式 具体查看 https://en.wikipedia.org/wiki/Simple_linear_regression
exp(v instant-vector) 指数
Exp(+Inf) = +Inf
Exp(NaN) = NaN
floor(v instant-vector) 小于当前的最近整数
histogram_quantile()
直方图（P-浮点，B瞬时矢量）从柱状图B的直方图中计算出（0到1之间）的π-分位数。（参阅直方图和摘要，详细解释了PH-分位数和直方图度量类型的用法。）B中的样本是每个桶中的观测值。每个样本必须有标签LE，其中标签值表示桶的包含上限。（没有这种标签的样本被忽略）。直方图度量类型自动提供与桶桶后缀和适当标签的时间序列。
holt_winters(v range-vector, sf scalar, tf scalar)
根据V的范围产生时间序列的平滑值，平滑因子SF越低，对旧数据的重要性就越大。趋势因 子TF越高，数据的趋势越大。SF和TF必须在0和1之间
hour(v=vector(time()) instant-vector) 小时，0-23
idelta(v range-vector) 计算最后两个之间的区别
increase(v range-vector) 计算向量范围内，时间序列的增长值。increase只能用计数器
irate(v range-vector) 计算每秒的速率。基于最后两个数据点。irate和聚合操作一起时， irate优先，然后聚合
label_join(v instant-vector, dst_label string, separator string, src_label_1 string, src_label_2 string, ...) 标签加入
label_replace(v instant-vector, dst_label string, replacement string, src_label string, regex string) 标签替换
ln(v instant-vector) 自然对数
ln(+Inf) = +Inf
ln(0) = -Inf
ln(x < 0) = NaN
ln(NaN) = NaN
log2(v instant-vector) 二进制对数计算的所有元素
log10(v instant-vector) 十进制对数计算的所有元素
minute(v=vector(time()) instant-vector) 分钟，0-59
month(v=vector(time()) instant-vector) 月，1-12
predict_linear(v range-vector, t scalar)
预测线性（V范围向量，T标量）基于距离向量V，利用简单线性回归预测从现在开始的时间序列T秒的值。
rate(v range-vector) 计算每秒的增加的平均速率。用于计数器
resets(v range-vector)
返回计数器reset的数量，两个样本之间值变小，作为一个计数器reset
round(v instant-vector, to_nearest=1 scalar)在所有的样本值在元素v到最近的整数。to_nearest参数允许指定的最近倍数 ，对采样值进行舍入
scalar(v instant-vector) 返回样本单个元素值，没有返回NaN
sort(v instant-vector) 根据值升序排列
sort_desc() 降序排列
sqrt(v instant-vector) 开方
time() 返回从1970 1月1号到现在的秒数
timestamp(v instant-vector) 返回样本的时间戳
vector(s scalar) 返回标量s作为载体的标签
year(v=vector(time()) instant-vector) 返回年
<aggregation>_over_time()
avg_over_time(range-vector)平均值 ： 所有的点在该指定间隔。
min_over_time(range-vector)： 在所有点的最小值在指定的间隔。
max_over_time(range-vector)将最大的值 ： 在所有点的指定区间。
sum_over_time(range-vector)所有值的总和 ： 在指定的间隔。
count_over_time(range-vector)计数 ： 将所有的值在指定的间隔。
quantile_over_time(scalar, range-vector) 分位数φ (0 ≤ φ ≤ 1) 的值在指定的间隔。
stddev_over_time(range-vector) ： 标准偏差值在指定的间隔。
stdvar_over_time(range-vector)： 标准方差的值在指定的间隔。
注意，即使在整个区间内的值不是相等的间隔，在指定的间隔中的所有值在聚合中都具有相同的权重
二、Node Exporter常用查询语句
收集到 node_exporter 的数据后，我们可以使用 PromQL 进行一些业务查询和监控，下面是一些比较常见的查询。
注意：以下查询均以单个节点作为例子，如果大家想查看所有节点，将 instance=“xxx” 去掉即可。
2.1 CPU使用率
100 - (avg by (instance) (irate(node_cpu{instance="xxx", mode="idle"}[5m])) * 100)
2.2 CPU各mode占比率
avg by (instance, mode) (irate(node_cpu{instance="xxx"}[5m])) * 100
2.3 机器平均负载
node_load1{instance="xxx"} // 1分钟负载
node_load5{instance="xxx"} // 5分钟负载
node_load15{instance="xxx"} // 15分钟负载
2.4 内存使用率
100-(node_memory_MemFree_bytes{instance="192.168.119.69:9796"}+node_memory_Cached_bytes{instance="192.168.119.69:9796"}+node_memory_Buffers_bytes{instance="192.168.119.69:9796"})/node_memory_MemTotal_bytes{instance="192.168.119.69:9796"}*100
2.5 磁盘使用率
100 - node_filesystem_free_bytes{mountpoint = "/",instance="xxx",fstype!~"rootfs|selinuxfs|autofs|rpc_pipefs|tmpfs|udev|none|devpts|sysfs|debugfs|fuse.*"} /
node_filesystem_size_bytes{mountpoint = "/",instance="xxx",fstype!~"rootfs|selinuxfs|autofs|rpc_pipefs|tmpfs|udev|none|devpts|sysfs|debugfs|fuse.*"} * 100
或者你也可以直接使用 {fstype="xxx"} 来指定想查看的磁盘信息
2.6 网络IO
// 上行带宽
sum by (instance) (irate(node_network_receive_bytes_total{instance="xxx",device!~"bond.*?|lo"}[5m])/128)
// 下行带宽
sum by (instance) (irate(node_network_transmit_bytes_total{instance="xxx",device!~"bond.*?|lo"}[5m])/128)
2.7 网卡出入包
// 入包量
sum by (instance) (rate(node_network_receive_bytes_total{instance="xxx",device!="lo"}[5m]))
// 出包量
sum by (instance) (rate(node_network_transmit_bytes_total{instance="xxx",device!="lo"}[5m]))
2.8 IOPS读写
写
irate(node_disk_writes_completed_total{instance=~"^192.168.119.68:9796",device=~"[a-z]*[a-z]"}[5m])
//IOPS读 查询条件
String IOPSRead = "sum without(device) (node_disk_reads_completed_total{instance=~\"^" + instance + "\"})";
node_disk_reads_completed_total/node_disk_read_time_seconds_total
读
irate(node_disk_reads_completed_total{instance=~"^192.168.119.68:9796",device=~"[a-z]*[a-z]"}[5m])
2.9 每秒api请求数
sum by(component) (irate(apiserver_request_total[5m]))
2.10 api平均延时
avg by(component)((sum by(component)(apiserver_request_duration_seconds_sum))/(sum by(component)(apiserver_request_duration_seconds_count)))
2.11 调度器调度次数
sum (scheduler_schedule_attempts_total)
2.12 调度失败的pod
sum (scheduler_schedule_attempts_total{result!="scheduled"})
2.13 集群CPU使用率
1- (avg(irate(node_cpu_seconds_total{mode="idle"}[5m])))
2.14 集群内存使用率
100 * (1 - sum(node_memory_MemAvailable_bytes) / sum(node_memory_MemTotal_bytes))
2.15 集群磁盘使用率
(sum(node_filesystem_size_bytes{device!~"rootfs|HarddiskVolume.+",node=~"^.*$"})
- sum(node_filesystem_free_bytes{device!~"rootfs|HarddiskVolume.+",node=~"^.*$"})
) / sum(node_filesystem_size_bytes{device!~"rootfs|HarddiskVolume.+",node=~"^.*$"}) * 100
2.16 集群总cpu
sum (machine_cpu_cores{node=~"^.*$"})
2.17 集群已经使用的cpu
(1 - (avg(irate(node_cpu_seconds_total{mode="idle",node=~"^.*$"}[5m])))) * sum(machine_cpu_cores{node=~"^.*$"})
2.18 集群总内存
sum (machine_memory_bytes{node=~"^.*$"})
2.19 集群已使用内存
sum(node_memory_MemTotal_bytes{device!~"rootfs|HarddiskVolume.+",node =~"^.*$"}) - sum(node_memory_MemAvailable_bytes{device!~"rootfs|HarddiskVolume.+",node =~"^.*$"})
2.20 集群总磁盘
sum(node_filesystem_size_bytes{device!~"rootfs|HarddiskVolume.+",node=~"^.*$"})
2.21 集群已使用磁盘
sum(node_filesystem_size_bytes{device!~"rootfs|HarddiskVolume.+",node=~"^.*$"})
- sum(node_filesystem_free_bytes{device!~"rootfs|HarddiskVolume.+",node=~"^.*$"})
2.22 集群总pod
sum (kube_node_status_capacity_pods)
不用---> sum(kube_pod_status_phase{namespace=~".*", phase=~".*"})
2.23 集群运行pod
sum(kubelet_running_pod_count)
sum(kube_pod_status_phase{namespace=~".*", phase="Running"})
