程序员经验分享-hwhale

logstash快速安装插件并打离线包

2023-10-28

一、背景


1. 生产环境是不能直接联网的

2. 要给 Logstash 安装上 logstash-input-jdbc 插件用来读取 Mysql 数据到 ES 进行全文检索

二、原生安装

# /usr/share/logstash/bin/logstash-plugin install logstash-input-jdbc
Validating logstash-input-jdbc
Installing logstash-input-jdbc
WARNING: can not set Session#timeout=(0) no session context

能看到输出的任一更新都需要非常久 - 一两个小时没反应，几乎不能完成任务。


三、改镜像源安装


办法：给 Ruby 加上国内的镜像站：https://gems.ruby-china.org/，替代https://rubygems.org。

可以直接跳到第5步操作。

1. 可选
发现 Elastic 官网 ping 不通，给加上。

# echo "54.235.82.130   artifacts.elastic.co" >> /etc/hosts

2. 安装Gem并更新

# yum install -y gem
# gem -v
2.0.14.1
# gem update --system
# gem -v
2.6.13

3. 检查并修改镜像源

# gem sources -l
*** CURRENT SOURCES ***
 
https://rubygems.org/
# gem sources --add https://gems.ruby-china.org/ --remove https://rubygems.org/
https://gems.ruby-china.org/ added to sources
https://rubygems.org/ removed from sources

4. 安装 bundle 并更改镜像源

# gem install bundler
# bundle config mirror.https://rubygems.org https://gems.ruby-china.org

上面的步骤方便以后安装更多插件的时候设置默认镜像源。
5. 修改 logstash的 gem 镜像源

# head /usr/share/logstash/Gemfile
 
# This is a Logstash generated Gemfile.
# If you modify this file manually all comments and formatting will be lost.
 
source "https://rubygems.org"
gem "logstash-core", :path => "./logstash-core"
......

更改默认的 https://rubygems.org 为https://gems.ruby-china.org
Gemfile.jruby-1.9.lock文件不用改，会自动更新。

6. 安装 logstash-input-jdbc

# /usr/share/logstash/bin/logstash-plugin install logstash-input-jdbc
Validating logstash-input-jdbc
Installing logstash-input-jdbc
Installation successful

终于正常的验证安装好了，保存在/usr/share/logstash/vendor/bundle/jruby/1.9/gems/logstash-input-jdbc-4.2.2。

四、打离线包

这里安装好了，那么就可以打个离线的 zip 包，方便生产环境直接安装。离线包将包含所有依赖的包。

# cd /usr/share/logstash/bin
# ./logstash-plugin prepare-offline-pack --overwrite --output logstash-input-jdbc-4.2.2.zip logstash-input-jdbc    
Offline package created at: logstash-input-jdbc-4.2.2.zip
 
You can install it with this command `bin/logstash-plugin install file:///usr/share/logstash/bin/logstash-input-jdbc-4.2.2.zip`

OK，zip 包搞定，传到生产上。

五、离线包安装

# ./logstash-plugin install file:///tmp/logstash-input-jdbc-4.2.2

# ./logstash-plugin list

参考链接：https://blog.csdn.net/evandeng2009/article/details/78036054

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

ELK

logstash快速安装插件并打离线包 的相关文章

  • 部署elk集群6

    文章目录 一 集群环境 二 部署es 1 192 168 4 115 2 192 168 4 116 3 192 168 4 118 4 启动测试 5 加入开启自启动 6 故障 三 部署logstash 1 官方地址 2 解压安装 3 创建

  • docker-compose编排ELK，kibana报错Unable to revive connection: http://172.16.23.126:9200/

    问题描述 使用docker compose方式编排ELK环境 启动elasticsearch没有问题 浏览器访问内网es环境http 172 16 23 126 9200 cluster health pretty正常 但是kibana启动

  • ELK技术栈实践（一）

    通常 日志被分散的储存不同的设备上 如果你管理数十上百台服务器 你还在使用依次登录每台机器的传统方法查阅日志 这样是不是感觉很繁琐和效率低下 当务之急我们使用集中化的日志管理 例如 开源的syslog 将所有服务器上的日志收集汇总 集中化管

  • ELK 企业级日志分析系统（理论加实战部署详解）

    ELK 企业级日志分析系统 理论加实战部署详解 文章目录 一 ELK 概述 1 1 ELK 的工作原理 二 部署详解 一 ELK Elasticsearch 集群部署 在Node1 Node2节点上操作 二 ELK Logstash 部署

  • ELK系列(三)、安装Logstash插件及打包离线安装包

    Logstash有input output filter codec 四种插件类型 支持的种类也很丰富 功能特别强大 选对正确的插件可以节省很多的资源占用和开发效率 生产环境一般都无法连接到公网 所以本篇就带大家如何在线安装 以及打包离线安

  • ELK 企业级日志分析系统 ELFK

    一 概述 ELK平台是一套完整的日志集中处理解决方案 将 ElasticSearch Logstash 和 Kiabana 三个开源工具配合使用 完成更强大的用户对日志的查询 排序 统计需求 使用ELK日志文件系统的原因 日志主要包括系统日

  • 【ELK】Elasticsearch入门04 -- 基础语法 查询语法(全文检索、多字段匹配、词条匹配、模糊检索、结果过滤)

    ELK Elasticsearch入门04 基础语法 查询语法 全文检索 多字段匹配 词条匹配 模糊检索 结果过滤 查询所有数据 GET 索引名 search query match all GET test search query ma

  • ELK系列(四)、Logstash读取nginx日志写入ES中

    前面讲了ELK的部署以及Logstash的插件的安装方式 本篇就介绍一下如何使用Logstash读取nginx的日志 并写入ES中 通过Kibana分析 ELK系列 一 安装ElasticSearch Logstash Kibana Fil

  • Docker搭建ELK日志采集服务及Kibana可视化图表展示

    架构 ES docker network create elk mkdir p opt ELK es data chmod 777 opt ELK es docker run d name elasticsearch net elk p 9

  • node settings must not contain any index level settings

    本人安装的ES是7 6 1版本 报错意思为 节点设置不能包含任何索引级别设置 也就是说报错是因为 在elasticsearce yml文件中对索引进行了配置 应该是新版本不支持这样配置 删除相应的索引配置即可 index refresh i

  • ELK 日志分析搭建

    目录 一 ELK概述 1 1 概述 1 1 1 Elasticsearch概述 1 1 2 Logstash概述 1 1 3 kibana概述 1 2 ELK解决处理的事务 1 3 ELK优点 二 ELK 搭建操作 2 1 实验配置环境 2

  • ELK日志分析系统原理与部署

    文章目录 一 ELK日志分析系统简介 1 1ELK日志分析系统组成 1 2日志处理步骤 二 三款软件各自概念 2 1Elasticsearch介绍 2 2Logstash介绍 2 3Kibana介绍 三 ELK日志分析系统部署 3 1实验环

  • ELK日志收集分析服务

    任务要求 搭建ELK集群 收集日志信息并展示 任务拆解 认识ELK 部署elasticsearch集群并了解其基本概念 安装elasticsearch head实现图形化操作 安装logstash收集日志 安装kibana日志展示 安装fi

  • Centos7安装elasticsearch及kibana并进行安全设置

    Centos7安装elasticsearch及kibana并进行安全设置 每天多学一点点 话不多说 这就开始吧 文章目录 Centos7安装elasticsearch及kibana并进行安全设置 1 前言 2 环境要求 3 安装elasti

  • ELK配置记录（filebeat+kafka+Logstash+Elasticsearch+Kibana）

    一 简介 elk日志平台 日志收集 分析和展示的解决方案 满足用户对 志的查询 排序 统计需求 elk架构 filebeat 采集 kafka Logstash 管道 Elasticsearch 存储 搜索 Kibana 日志应用 各组件功

  • [分布式] zookeeper集群与kafka集群

    目录 一 Zookeeper 概述 1 1 Zookeeper定义 1 2 Zookeeper 工作机制 1 3 Zookeeper 特点 1 4 Zookeeper 数据结构 1 5 Zookeeper 应用场景 1 6 Zookeepe

  • 大数据笔记--ELK（第一篇）

    一 ELK介绍 1 什么是ELK ELK 是elastic公司提供的一套完整的日志收集以及展示的解决方案 是三个产品的首字母缩写 分别是ElasticSearch Logstash 和 Kibana 1 1 E ELASTICSEARCH

  • Beats — Filebeat 基础操作

    ElasticStack Beats 定义 一 ElasticStack 的组成 二 Beats 组件 FileBeat 日志采集 二 Filebeat 工作原理 三 启动命令 四 部署和运行 1 output console 通过终端获取

  • Kibana 服务器尚未准备好甚至启动

    我有1个主节点 master 和1个数据节点 node 1 我使用centos7作为操作系统 主控 9200 root localhost kibana curl localhost 9200 name master cluster nam

  • 超出elasticsearch中字段的最大长度 - kibana中的错误

    发现 prod logs 索引的 CSnZmwB xkQcDCOrP1V 文档的 message 字段的长度已超过 1000000 允许分析突出显示的最大值 可以通过更改 index highlight max analyzed offse

随机推荐

  • Spring Boot学习笔记

    文章目录 Spring Boot Spring Boot 整合 JSP Spring Boot HTML Thymeleaf 常用语法 Spring Boot 数据校验 Spring Boot 整合 JDBC Spring Boot 整合

  • Python中创建Dataframe的方法

    介绍4种在Python中创建Dataframe的方法 1 由数组 list组成的字典创建DataFrame import pandas as pd import numpy as np In 1 data pd DataFrame name

  • 【图卷积神经网络】1-入门篇：为什么使用图神经网络(上)

    在本节中 将涵盖以下主要内容 为什么使用图 为什么学习图 为什么使用图神经网络 为什么使用图 首先需要回答的问题是 为什么对图感兴趣 图论是对图进行数学研究的学科 它已经成为理解复杂系统和关系的基本工具 图是一种将节点 也称为顶点 和连接这

  • 03.1-常见端口及攻击汇总

    常用端口号及攻击方向汇总 文件共享服务端口 端口号 端口说明 攻击方向 21 22 69 Ftp Tftp 文件传输协议 允许匿名的上传 下载 爆破和嗅探操作 2049 Nfs 服务 配置不当 139 Samba 爆破 未授权访问 远程代码

  • 利用Qt的pro文件中DEFINES实现条件宏

    想利用宏定义实现不同的代码功能 但不想每次都去代码里注释或者不注释相关的宏定义变量 在这种情况下 就可以在pro里面利用DEFINES字段实现相关宏的定义 例如pro里面加上 DEFINES MYTEST 在代码里就可以使用 ifdef M

  • 服务发现框架选型，Consul还是Zookeeper还是etcd

    背景 本文并不介绍服务发现的基本原理 除了一致性算法之外 其他并没有太多高深的算法 网上的资料很容易让大家明白上面是服务发现 想直接查看结论的同学 请直接跳到文末 目前 市面上有非常多的服务发现工具 Open Source Service

  • LLVM Cookbook

    链接 https blog csdn net qq 23599965 article details 88344459 https github com zy445566 llvm guide zh 万花筒 用LLVM实现语言 备注 万花筒

  • 【Linux】性能优化-linux命令nicstat 网络性能监控

    文章目录 1 概述 1 概述 Unix 里一个受欢迎的命令行工具就是 nicstat 它可以显示每个网络接口的流量概要 包括网络接口的使用度 nicstat 5 Time Int rKB s wKB s rPk s wPk s rAvs w

  • Git_回退到上一次commit与pull

    git 回退到上个版本 rollback 回滚 git reset HEAD git 回退到上一版本

  • Cocos2d-x3.2 Sprite精灵类的创建与设置

    3 0版本以后 sharedXXX方法改成了getInstance方法 Director getInstance gt getVisibleSize 1 2 3 4 5 6 7

  • CSS网页页面图像灰色滤镜写法示例

    阿酷TONY 原创 2022 12 1 长沙 grayscale 函数是一个内置函数 用于对图像应用滤镜以设置图像的灰度 用法 grayscale amount 参数 此函数接受包含灰度值的单个参数量 灰度值根据数量和百分比设置 值0 表示

  • numpy手写NLP模型（四）———— RNN

    numpy手写NLP模型 四 RNN 1 模型介绍 2 模型 2 1 模型的输入 2 2 模型的前向传播 2 3 模型的反向传播 3 模型的代码实现 1 模型介绍 首先介绍一下RNN RNN全程为循环神经网络 主要用来解决一些序列化具有顺序

  • 【OPPO提前批】第二轮简历筛选马上开启！7.28日截止投递

    网易校招 社招 社招网易招聘 网易招聘 网易继续大量岗位在招 想看新机会的速来 base广州 杭州 北京 上海等地 在招 测试 开发 算法 前端 后端 Go Java 华为od审批 华为od审批 只能说od面试机试都是小问题 最厉害的还是审

  • [563]安装Keras（TensorFlow做后端）

    在前文TensorFlow练习1中我提到过一个使用TensorFlow做后端的高级库 这个库叫Keras 它是一个抽象层次比较高的神经网络Python库 在TensorFlow练习1中我是手动定义神经网络 有了这货几行代码就可搞定 最开始K

  • 这些node开源工具你值得拥有(上)

    前言 文章的灵感来源于 社群中某大佬分享一个自己耗时数月维护的github项目 awesome nodejs 或许你跟我一样会有一个疑惑 github上其实已经有个同类型的awesome nodejs库且还高达41k 重新维护一个新的意义何

  • 如何高效的代码审查？这里有四点建议

    代码审查可以帮助你成长 学会接受和提供反馈 扫码关注 Java学研大本营 加入读者群 分享更多精彩 今天让我们讨论一下代码审查 为什么它很重要 以及你应该如何学习成为一个更好的审查者并提供可操作的反馈 为什么代码审查很重要 我在一家初创公司

  • vue实现多选点击、点击谁谁变色，一键重置颜色如何实现？

  • 使用burp suite抓取火狐浏览器的数据包

    老版火狐记得断网安装并取消其自动更新 火狐中转发代理的设置 之后在burp中 proxy intercept intercept is on 就能抓包了 如果需要查看返回包的内容 Action Do intercept Response t

  • EXP-00091: Exporting questionable statistics 问题处理方法

    1 环境 操作系统 HP UX SCUP15 B 11 31 数据库 oracle 10 2 0 5 2 问题说明 在我们对Oracle做EXP的过程中 可能会经常遇到EXP 00091 Exporting questionable sta

  • logstash快速安装插件并打离线包

    一 背景 1 生产环境是不能直接联网的 2 要给 Logstash 安装上 logstash input jdbc 插件用来读取 Mysql 数据到 ES 进行全文检索 二 原生安装 usr share logstash bin logst

热门标签