Logstash 文件输入:sincedb_path

2023-12-04

重新启动 Logstash 后,有时会观察到 Logstash 会重复日志事件。想知道什么是正确的申请方式start_position, sincedb_path, sincedb_write_interval配置选项。

  • 当同一位置有多个文件时会发生什么(如下面的示例所示)/home/tom/testData/*.log
  • 当文件旋转发生时会发生什么,例如XXX.log文件被重命名为XXX-<date>.log和一个新的XXX.log文件已创建。在这种情况下,名称不会改变,但索引节点会改变。

如果有人能对此有所了解,我将不胜感激。

input {
           file {
             path => "/home/tom/testData/*.log"
             type => "log"
             start_position => "beginning"
             sincedb_path => "/persistent/loc"        
             sincedb_write_interval => 10
               }
       }

start_position(开始或结束)仅用于logstash尚未看到的文件。使用“开始”的唯一原因是当您尝试加载较旧的文件时。

sincedb_path 只需是logstash 对注册表具有写权限的目录即可。

sincedb_write_interval 定义logstash 写入sincedb 注册表的频率。较大的值会让您面临 Logstash 崩溃的风险。

当您有多个与您的 glob 匹配的文件时,logstash 通过在注册表中包含多个条目来单独跟踪它们。

注册表包含索引节点号,因此 Logstash 知道在这种类型的轮换中要做什么。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Logstash 文件输入:sincedb_path 的相关文章

  • 使用 Logstash,如何根据每行匹配相同的时间戳来组合行?

    MarkLogic 日志文件通过打印具有相同时间戳 精确到毫秒 的行来表示多行 您可以在这段代码中看到这一点 2014 05 09 18 47 33 844 Info Dev Xdbc file store get file xqy url
  • Logstash - Memorize 插件的使用

    尝试使用 记忆 插件 如下所示 if message matching event grok match gt message mymatch datetime memorize field gt datetime if message a
  • Solaris 不支持 Filebeat。如何收集日志?

    我们的服务器托管在 Solaris 操作系统 中 但我们无法安装 Filebeat 将日志转发到所需端口 因为 Solaris 不支持 Filebeat 这里有人可以建议任何方法来解决这个问题 请注意 我们被告知不要在服务器托管计算机上安装
  • Logstash 不读取文件输入

    我在使用 Logstash 时遇到了一个奇怪的问题 我提供一个日志文件作为logstash 的输入 配置如下 input file type gt apache access path gt C Users spanguluri Downl
  • 如果不设置 vm.max_map_count,ElasticSearch 5.0.0-aplha4 将无法启动

    我希望将我的 ES 版本从 2 3 更新到 5 0 0 alpha4 以便能够使用 Ingest 节点并删除 Logstash 但如果我不将 vm max map count 设置为 262144 ES 5 x 版本似乎无法启动 我不想设置
  • Logstash 输出到 AWS EC2 上的 Elasticsearch

    我在配置 Logstash 以输出到 AWS EC2 上的 Elasticsearch 集群时遇到问题 我正在使用 Logstash 版本 1 1 5 和 Elasticsearch 1 19 8 这是我在logstash中的输出配置 ou
  • Logstash grok 测试与 rspec 有不同的行为?

    我正在为 grok 过滤器创建一个测试套件 有些日志由logstash 正确丰富 但不是rspec 测试 为了测试这一点 我启动了一个 Logstash 实例 其中包含 stdin stdout 和 json 用于输入和输出 这是示例日志
  • 如何使用 Kibana 3 创建价值随时间变化的图表?

    我使用 Logstash 来存储包含车辆随时间变化的速度的日志文件 在 Kibana 3 中 如何生成一个显示随时间变化的值的面板 即 x 轴显示时间 y 轴显示相关值 例如车辆速度 我发现的大多数面板都会计算给定时间范围内事件的发生次数并
  • Logstash 创建和访问数组

    我想在用于设备的 Logstash 配置文件中创建一个数组 然后通过我正在创建的新字段访问该数组值 例子 filter array devicetype gt Cisco ASA Cisco 3750 mutate add field gt
  • 测试完成后如何自动终止logstash代理?

    我有一个 Logstash 代理来监视我们的自动测试的日志转储 在每批测试开始时 都会启动一个代理 侦听特定文件夹 并在结束时停止 问题是在最后 我需要以某种方式向 Logstash 代理发出信号 表明测试已完成并杀死自己 我怎样才能做到这
  • Logstash 配置:检查布尔字段是否存在

    使用Logstash 1 4 2 我有一个字段myfield这是我的 JSON 文档中的布尔值 为了检查它是否存在 不关心布尔值 我使用了 if myfield exists else doesn t exist 测试该条件语句的结果是 m
  • 为什么 Elastic Cloud 部署中存在 Logstash 实例?

    我正在调查 Elastic Cloud 托管的 ELK 堆栈 https www elastic co cloud elasticsearch service https www elastic co cloud elasticsearch
  • 在logstash中使用docker GELF驱动程序env/labels

    Docker GELF 日志驱动程序允许env and labels日志选项 gelf 日志记录驱动程序支持 lab els 和 env 选项 它添加了额外的密钥extra字段 以下划线 为前缀 ref https docs docker
  • 将数据从 Dynamodb 发送到 Amazon Elasticsearch 的最佳方式

    我想知道将数据从 dynamoDB 发送到 elasticsearch 的最佳方式是什么 AWS SDK js https github com Stockflare lambda dynamo to elasticsearch blob
  • 将 CloudTrail 日志导入 Logstash

    我正在尝试将日志从 CloudTrail 获取到 ElasticSearch 中 以便我们可以更好地了解 AWS 账户中发生的情况 我已经在我的机器 Ubuntu 14 04 上设置了 Logstash 和 ElasticSearch 并且
  • Logstash 错误 Java::JavaLang::NoClassDefFoundError 无法解决

    我是elasticsearch ES 和logstash 的新手 我已经使用它成功设置了elasticsearch和kibanalink https www youtube com watch v hVgrXi 9L6Y 之后我尝试使用lo
  • 适用于 MYSQL 的 Logstash Jdbc 输入插件

    我在 Windows 中使用 Logstash 我无法安装输入 jdbc 插件 因此我手动下载了 zip 文件 并将插件中的logstash 文件夹放入我的logstash 1 5 2 文件夹中 文件夹结构 D elastic search
  • Logstash 删除事件过滤器

    在我的日志文件中 我有如下条目 2014 06 25 12 36 18 176 10 null INFO s null u null Hello from Serilog running as David Program 2014 06 2
  • 为 Logstash 中的新字段设置 Elasticsearch Analyzer

    通过使用GROK filter 我们可以向Logstash添加新字段 但是 我想知道如何为该特定字段设置分析器 例如 我有一个新的 id 字段 其中有一个字段 例如a b 但是 Elasticsearch 附带的普通分析器会将其分解为a a
  • Logstash if 语句与正则表达式示例

    谁能告诉我什么是if带有正则表达式的语句看起来像在logstash中 我的尝试 if fieldname 0 9 if fieldname 0 9 两者都不起作用 我打算做的是检查 fieldname 是否包含整数 将其他答案合并成一个有凝

随机推荐