目前，我正在使用文件输入插件来检查我的日志存档，但文件输入插件对我来说不是正确的解决方案，因为文件输入插件本质上期望该文件是事件流而不是静态文件。现在，这给我带来了很大的问题，因为我的日志存档有 100,000 多个日志文件，而我的 Logstash 打开了所有这些文件的句柄，这些文件永远不会改变。
我面临以下问题
1) Logstash 因中提到的问题而失败SO https://stackoverflow.com/questions/23683268/logstash-failed-to-open-file-path-permission-denied
2) 由于有这么多打开的文件句柄，日志归档存储变得非常慢。
有谁知道一种方法让logstash知道静态处理文件或者处理文件后不保留文件句柄。
在日志存储中Jira bug https://logstash.jira.com/browse/LOGSTASH-2206，我被告知要编写自己的插件以及一些其他建议，但这对我没有多大帮助。
Logstash文件输入可以处理静态文件。需要添加这个配置
file {
path => "/your/logs/path"
start_position => "beginning"
}
添加后start_position，logstash 从头开始读取文件。请参考here http://logstash.net/docs/1.4.1/inputs/file#start_position了解更多信息。请记住
this option only modifies “first contact” situations where a file is new and not seen before. If a file has already been seen before, this option has no effect.
Otherwise you have set your
sincedb_path to
/dev/null .
对于第一个问题，我在评论里有答案。请尝试添加打开的最大文件数。
对于我的建议，您可以尝试编写一个脚本将日志文件复制到logstash监视器路径并不断将其移出。您必须估计logstash 处理日志文件的时间。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
