Influxdb 1.2版本优化之旅(经验证,适用于influxdb1.4版本)

2023-11-08

一、【常见异常】
1、max series per database exceeded 异常
err = max series per database exceeded:

java.lang.RuntimeException: {"error":"max series per database exceeded:

at org.influxdb.impl.InfluxDBImpl.execute(InfluxDBImpl.java:266)
at org.influxdb.impl.InfluxDBImpl.write(InfluxDBImpl.java:167)
at org.influxdb.impl.InfluxDBImpl.write(InfluxDBImpl.java:157)






数据量太大之后,再每次进行连续查询的时候,会出现此异常,同时也会造成程序也会报类似的异常


修改配置文件:vim /etc/influxdb/influxdb.conf


   # 最大插入series记录数
   max-series-per-database = 10000000
   # 最大插入的tag值
   max-values-per-tag = 10000000


2、err = max number of points reached

[continuous_querier] 2017/02/10 08:02:42 error executing query:  END: err = max number of points reached


二、【参数修改】
[ coordinator]
  write-timeout = "10s"
  max-concurrent-queries = 0
  query-timeout = "0"
  log-queries-after = "10s"
  max-select-point = 0
  max-select-series = 0
  max-select-buckets = 0


max-concurrent-queries

max-concurrent-queries项是配置最大的可执行的命令数,此项值为零则表示无限制。
如果你执行的命令数超过这个配置项的数量,则会报如下错误:
ERR: max concurrent queries reached

query-timeout
query-timeout项用来配置命令的超时时间,如果命令的执行时长超过了此时间,则influxDB会杀掉这条语句并报出如下错误:
ERR: query timeout reached


   如果配置了连续查询,那么最好不要配置query-timeout超时时间,因为随着数据量的增加,连续查询生成的数据所需要的时间更长,配置之后会导致数据生成不成功。


log-queries-after
log-queries-after用来配置执行时长为多少的语句会被记录为慢查询。配置为0则表示不会记录这些语句。
比如,改项配置为“1s”,则执行时长超过1秒的语句会被标记为慢查询,并记录在日志里。


max-select-point( 在point可控的情况下,可以设置此参数 )
max-select-point配置一次可查询出的数据量,因为在influxDB中一条数据看做一个点,因此这个配置叫每次可查询的最大的点数。
配置为0则表示无限制,如果查询出来的数量大于此项配置,则influxDB会杀掉这条语句并报出如下错误:
ERR: max number of points reached
max-select-series
max-select-series用来配置influxDB语句中最多可处理的series的数量,如果你的语句中要处理的series数量大于此配置,则influxDB不会执行这条语句并且会报出如下错误:
ERR: max select series count exceeded: <query_series_count> series
[ http]
log-enabled = false        //默认为true,会生成很多http请求的数据,建议关闭,不然日志文件跟插入数据量成正比,大致1:1的关系
max-row-limit = 10000 //查询页面显示最大记录数


[ continuous_queries]  //连续查询
  log-enabled = true       //开启连续查询的日志,有助于异常发现
  enabled = true    //开启连续查询




[ data]
  enabled = true
  dir = "/disk2/influxdb/data"       ##数据存储的目录


  wal-dir = "/disk2/influxdb/wal"   //wal数据目录
  wal-logging-enabled = true


  # 4294967296(b)=4G 最大缓存数据,先缓存再写入
    cache-max-memory-size = 4294967296



参考地址: http://www.linuxdaxue.com/influxdb-query-management.html



本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Influxdb 1.2版本优化之旅(经验证,适用于influxdb1.4版本) 的相关文章

  • influxdb 数据库安装和简单使用

    1 wget https dl influxdata com influxdb releases influxdb 1 8 4 x86 64 rpm 或者从 influxdb 1 8 4 x86 64 rpm 其它文档类资源 CSDN下载
  • proxmox ve6+influxdb+grafana 集群监控

    pve支持将自身运行状态发送至第三方服务器 0 环境介绍 root 64 pve143 span class token comment pveversion v span proxmox ve 6 2 1 span class token
  • InfluxDB和IotDB介绍与性能对比

    InfluxDB简介 InfluxDB 是用Go语言编写的一个开源分布式时序 事件和指标数据库 xff0c 无需外部依赖 用于存储和分析时间序列数据的开源数据库 适合存储设备性能 日志 物联网传感器等带时间戳的数据 其设计目标是实现分布式和
  • QT操作 influxdb时序数据库(libcur)

    概述 最近在项目中需要用到influxdb 数据库 xff0c 当时使用了libcur库之后 xff0c 插入数据的速度一直不太理想 创建字表的速度 1W的话需要11Min xff0c 对于这样的时间完全达不到合格 经过研究进行了打包处理
  • Influxdb 1.2版本优化之旅(经验证,适用于influxdb1.4版本)

    一 常见异常 1 max series per database exceeded 异常 err max series per database exceeded java lang RuntimeException error max s
  • Grafana ALert功能使用webhook,并预警数据信息

    使用webhook预警的时候如果能够同时获取预警的数据信息是最好不过的 这里我们就来看下怎么获取这些东西 数据源依然选用InfluxDB 具体配置过程可以参考前边两篇文章 现在从webhook配置开始 无参对接 在Grafana的Alert
  • InfluxDB - 基于标签在 where 子句中包含多个值

    我正在尝试根据标签值查询数据 是否可以在 where 子句中包含多个查询 我找不到类似于 SQL 中 IN 运算符的运算符 select from students where rollNumber 1 limit 10 Students
  • 使用 CURL 在 InfluxDB 中插入行

    我有以下由 C 完成的 POST 请求 POST http 192 168 123 27 8086 write db HWDB HTTP 1 1 Content Type text plain charset utf 8 Host 192
  • 带有 Influxdb 的 Grafana 世界地图面板不显示点

    我安装了 Grafana 的世界地图面板 但无法在世界地图面板上显示点 我在看Grafana 世界地图 表数据源和其他链接但没有找到答案 我尝试使用country json 添加截屏我的声誉没有 10 所以我无法添加超过 2 个链接 我也尝
  • 在grafana单一统计中使用influxdb的时间字段

    是否可以使用timegrafana 的单个统计面板中的字段 我知道你不能只查询 influxdb 中的时间字段 但我可以获取我感兴趣的统计数据的时间 如下所示 select time last context id from data co
  • Docker-Compose 上的 InfluxDB 无法读取 SSL 证书文件

    我在尝试使用在 Docker Compose 上运行的 InfluxDB v1 8 配置 SSL 时遇到一些问题 我跟着官方文档 https docs influxdata com influxdb v1 8 administration
  • 如何使用类似 SQL 的接口 INSERT 到 influxDB 中?

    是否有可能INSERT使用 InfluxDB 上类似 SQL 的接口将数据转换为系列 测量值 是的 您可以简单地INSERT线路协议字符串 https docs influxdata com influxdb v1 6 tools shel
  • 计算 InfluxDB 中开始和结束事件之间的持续时间

    我对 InfluxDB 有两个写入点 一个是开始 另一个是结束 我只需要确定这两个事件之间的持续时间 并围绕它进行查询 InfluxDB有difference 聚合方法 但它不适用于时间元字段 提供自定义时间戳值是实现此目的的唯一方法吗 A
  • 更新与 InfluxDB 中的条件匹配的多个字段值

    在InfluxDB测量中 如何更新与查询匹配的点的字段值 这还是吗从 v1 6 开始不容易实现 https github com influxdata influxdb issues 2575 正如 GitHub 票证中的示例所建议的 实现
  • InfluxDB - 仅获取查询中的最后一个值

    是否可以只查询查询结果的最后一个值 或第n个值 例如 在查询中 SELECT value FROM response times WHERE time gt now 1h limit 1000 是否有可能只获取最后一个值 即时间上更早的值
  • 用千分尺查询数据

    我们有这个奇特的监控系统 我们的 spring boot 服务通过千分尺将指标发布到流入数据库 有一个不错的 grafana 前端 但问题是我们现在处于这样一个阶段 我们必须在其他服务中提供其中一些指标来进行推理 整个体系是我的前任建立的
  • 在Influxdb中,如何删除所有测量值?

    I know DROP MEASUREMENT measurement name用于删除单个测量 如何一次删除所有测量值 无法直接删除所有测量值 但下面的查询将获得相同的结果 DROP SERIES FROM
  • influxdb python:找不到 404 页面

    我正在尝试使用我找到的 influxdb python 库here https github com influxdata influxdb python 但我什至无法让教程程序运行 当我运行以下示例代码时 python gt gt gt
  • 如何使用 influxdb non_negative_derivative 获得一致的值?

    将 grafana 与 influxdb 结合使用 我试图显示某个计数器值的每秒速率 如果我使用non negative derivative 1s 函数中 rate 的值似乎根据 grafana 视图的时间宽度而发生巨大变化 我正在使用l
  • 如何按 InfluxDB 中字段的计数进行分组?

    我在 InfluxDB 中有一些数据 这些数据是某些 TCP 连接的连接事件 所以测量是connection events 标签是 连接系统的mac address 以及一些其他元数据 值刚连接 true false 我想做的是这样的 se

随机推荐

  • matlab里面sin函数是角度,matlab中的sin(函数)

    笔记 matlab中的sin 函数 sin Sine of an argument in radians Syntax Y sin X Description The sin function operates element wise o
  • 内存管理技术——离散分配方式

    上一篇讲到 采用固定分区的方式 会产生页内碎片等缺点 因此引入了动态分区方式 但动态分区又产生了外部碎片 导致内存的利用率也不理想 为了进一步提高内存的利用率 所以就产生了离散的分配方式 理论来源于实际问题 这很好的体现在计算机科学中 离散
  • Gateway中判断是否满足过滤条件的代码片段

    SpringBootTest class MybaisplusApplicationTests private String startWith base login base logout base sendVerificationCod
  • Digital Pre-Distortion (数字预失真)以及用途

    Digital Pre Distortion 数字预失真 以及用途 2014 04 04 10 09 29 分类 FPGA 标签 fpga 数字预失真 通信基础 wcdma 功率放大器 举报 字号 订阅 http blog 163 com
  • 主机浏览器访问 VMware中Centos7 中运行的nginx

    VMware中Centos7 中nginx启动之后 通过curl http localhot 能够正常访问 虚拟机外部浏览器访问 确访问不到 原因是端口没设置 执行firewall cmd zone public add port 80 t
  • 大小写转换 蓝桥杯

    问题描述 编写一个程序 输入一个字符串 长度不超过20 然后把这个字符串内的每一个字符进行大小写变换 即将大写字母变成小写 小写字母变成大写 然后把这个新的字符串输出 输入格式 输入一个字符串 而且这个字符串当中只包含英文字母 不包含其他类
  • 从头搭建Android源码编译环境(Ubuntu 18.04 / 20.04 / 22.04)

    在新安装的Ubuntu上 版本20 04LTS 完成搭建Android源码编译环境步骤如下 顺带说一句 当前用的比较多的Ubuntu是18 04和20 04 在实际项目中一直在用 可用性和稳定性都没问题 最新的Ubuntu22 04版本 系
  • javase 基本运算符和三大流程

    范围 2 字节 X 8 1 2 字节 X 8 1 1 主要区别是数据大小范围 1 byte 一个字节 128 127 2 short 两个字节 32768 32767 3 int 四个字节 2147483648 2147483647 4 l
  • UGUI图片跟随文本框长度改变位置

    这次要完成一个功能 需要钻石图标跟随数字的长度改变位置 之前使用了Layout Group排版 在数字改变的时候会出现一点小问题 这次使用锚点去进行跟随 设置文本框的属性 使其从右往左排版 并添加ContentSizeFitter组件 使其
  • 智慧图书馆:自助阅读,安全防盗

    RFID技术在智慧图书馆建设中具有重要作用 可为构建书香校园智慧阅读新生态提供强有力的保障 RFID技术可以用来识别 追踪和保护图书馆的所有资料 通过RFID系统可实现图书借还 上架 查找 馆藏盘点等功能 大大的改进管理方式 提高工作效率
  • “囚徒”李一男回归华为真相揭密

    作者 周遊 时间 2006 09 25 11 44 50 来源 中国计算机报 name google ads frame marginwidth 0 marginheight 0 src http pagead2 googlesyndica
  • 自然语言处理技术之词向量:GloVe单词表示的全局向量(glove.840B.300d、glove.6B)

    目录 一 词向量介绍 二 GloVe学习词向量的词嵌入模型 三 词向量入门 代码下载 四 训练 五 模型概述 六 可视化 七 发布历史 一 词向量介绍 自然语言处理 NLP 中的词向量是将文本中的词汇表示为数值向量的技术 词向量的主要作用是
  • 物理机服务器应该注意的事

    物理机服务器应该注意的事 1 选址 服务器是个非常重要的硬件产品 对机房的也是有一定的要求的 比如温度 安全性 噪音 电源稳定性等等问题都需要解决 但是不是每个人都会选择自己建立一个机房 毕竟各方面加起来的成本都太高 这个时候可以选择一个专
  • @SpringBootApplication 相当于 @Configuration、@EnableAutoConfiguration 、 @ComponentScan 三个的作用

    ComponentScan 如果不设置basePackage的话 默认会扫描包的所有类 所以最好还是写上basePackage 减少加载时间 默认扫描 class路径 比如这个注解在com wuhulala 下面 那么会扫描这个包下的所有类
  • pycharm安装opencv-python失败的手动解决办法

    解决方法 直接将opencv python文件下载到本地 把文件放到对应pycharm项目的Lib site packages路径下 在这里分享window系统的opencv python文件下载链接 链接 https pan baidu
  • ACC测试理论--google软件测试之道

    ACC测试理论 A Attribute 特质 在测试之前 需了解产品的特质是什么 即客户为何需要选择此产品的原因 Chrome的定位是快速 安全 稳定和优雅 特质所拥有的特点如下 简单 如果你不能几分钟内列举出来 说明你还没有足够理解你的产
  • CMake添加gcov代码覆盖测试支持

    CMake添加gcov代码覆盖测试支持 金庆的专栏 在根CMakeList txt中添加ENABLE GCOV选项 OPTION ENABLE GCOV Enable gcov debug Linux builds only OFF IF
  • 基数排序python

    一 基数排序介绍 基数排序 radix sort 属于 分配式排序 distribution sort 又称 桶子法 bucket sort 或bin sort 顾名思义 它是透过键值的部份资讯 将要排序的元素分配至某些 桶 中 藉以达到排
  • Shopify速度优化

    对于很多出海的商家 网站速度的加载快慢一直是大家困扰的问题 首先我们先认识下什么是网站速度和网页速度 网站速度是用户浏览网站时的网站加载速度 从第一页加载到访客点入浏览 最后在购物车页面 结账 这个速度由一些服务来评分 例如 Google
  • Influxdb 1.2版本优化之旅(经验证,适用于influxdb1.4版本)

    一 常见异常 1 max series per database exceeded 异常 err max series per database exceeded java lang RuntimeException error max s