超实用的ELK日志分析系统

2023-05-16

文章目录

前言：
一、ELK日志分析系统简介
- （一）、日志服务器
- （二）、ELK日志分析系统
- 补充：
- （三）、日志处理步骤
- （四）、Elasticsearch 介绍
- （五）、Logstash介绍
- （六）、Kibana介绍
二、部署ELK日志分析系统步骤

前言：

日志分析是运维工程师解决系统故障，发现问题的主要手段。日志主要包括系统日志应用程序日志和安全日志

系统运维和开发人员可以通过日志了解服务器软硬件信息检查配过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误
通常，日志被分散的储存在不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志，既繁琐又效率低下。为此，我们可以使用集中化的日志管理，例如：开源的 syslog，将所有服务器上的日志收集汇总
集中化管理日志后，日志的统计和检承又成为一件比较麻烦的事情，一般我们使用 grep、awk 和 wc 等 Linux 命令能实现检索和统计，但是对于更高要求的查询、排序和统计等，再加上庞大的机器数量，使用这样的方法依然难免有点力不从心
开源实时日志分析 ELK 平台能够完美的解决我们上述的问题，ELK 由 ElasticSearch、Logstash 和 Kiabana 这三个开源工具组成。

一、ELK日志分析系统简介

（一）、日志服务器

1、提高安全性
2、集中存放日志
3、缺陷

对日志的分析困难

（二）、ELK日志分析系统

Elasticsearch
Logstash
Kibana

补充：

EFK 的构成：

Elasticsearch
Logstash（仅做数据格式处理的工作）
Filebeat （搜集文件数据）
Kafka
Kibana
Redis

（三）、日志处理步骤

1、将日志进行集中化管理
2、将日志格式化（Logstash）并输出到 Elasticsearch
3、对格式化后的数据进行索引和存储（ Elasticsearch）
4、前端数据的展示（Kibana）

（四）、Elasticsearch 介绍

1、概述

提供了一个分布式多用户能力的全文搜索（索引）引擎，开源
分布式即数据不会放在一个地方
正是 ES 这些优秀的机制，所以会被百度等龙头企业所选择

2、核心概念

接近实时：指索引和数据处理的能力
集群：一个内部组件 ES 的架构（特性）
节点：有集群必定有节点
索引：
- 索引（库）→ 索引类型（表）→ 索引的具体文档（记录）
- 索引根据以上这个方式来进行数据（位置）定位
分片：例如，一个40G的文件，分为两份20G的文件，存放至两个节点上，读取这个40G的文件时，会效率更快
副本：核心是为了容灾，不过也可以处理任务
分片加上副本的使用：例如，四台主机同时处理一项任务，理论上效率可以提高四倍

（五）、Logstash介绍

1、Logstash介绍

一款强大的数据处理工具
可实现数据传输、格式处理、格式化输出
数据输入、数据加工(如过滤,改写等)以及数据输出

2、LogStash主要组件
Logstash由三个组件构造成，分别是input、filter以及output
我们可以吧Logstash三个组件的工作流程理解为：input收集数据，filter处理数据，output输出数据

（六）、Kibana介绍

1、Kibana介绍

一个针对Elasticsearch的开源分析及可视化平台
搜索、查看存储在Elasticsearch索引中的数据
通过各种图表进行高级数据分析及展示

2、Kibana主要功能

Elasticsearch无缝之集成
整合数据，复杂数据分析
让更多团队成员受益
接口灵活，分享更容易
配置简单，可视化多数据源
简单数据导出

二、部署ELK日志分析系统步骤

案例拓扑：
在这里插入图片描述
需求描述：

配置ELK日志分析集群
使用Logstash收集日志
使用Kibana查看分析日志

部署步骤：
配置和安装ELK日志分析系统，安装集群方式，2个elasticsearch节点，并监控apache服务器日志

主机	操作系统	主机名	IP地址	主要软件
服务器	Centos7.4	node1	192.168.200.10	Elasticsearch Kibana
服务器	Centos7.4	node2	192.168.200.20	Elasticsearch
服务器	Centos7.4	apache	192.168.200.30	Logstash Apache

所有主机均需要关闭防火墙

[root@localhost ~]#systemctl stop firewalld.service 
[root@localhost ~]#systemctl disable firewalld.service 
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@localhost ~]#setenforce 0

【配置elasticsearch环境】
###登录192.168.200.10 更改主机名配置域名解析查看Java环境 ###

[root@node1 ~]# hostnamectl set-hostname node1
[root@node1 ~]# su

[root@node1 ~]#  vim /etc/hosts
192.168.200.10   node1
192.168.200.20   node2

[root@node1 ~]# java -version
java version "1.8.0_91"
Java(TM) SE Runtime Environment (build 1.8.0_91-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.91-b14, mixed mode)

##JDK（java环境所需要）#

将jdk-8u91-linux-x64.tar.gz压缩包上传到/opt目录下进行解压
tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local/

vim /etc/profile
#添加在最后一行
export JAVA_HOME=/usr/local/jdk1.8.0_91
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

source /etc/profile

在这里插入图片描述

###登录192.168.200.20 node2 更改主机名配置域名解析查看Java环境 ###

[root@node2 ~]# hostnamectl set-hostname node2
[root@node2 ~]# su

[root@node2 ~]#  vim /etc/hosts
192.168.200.10   node1
192.168.200.20   node2

[root@node2 ~]# java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)

【部署elasticsearch软件】

####登录192.168.200.10 node1 ####
1、安装elasticsearch—rpm包

上传elasticsearch-5.5.0.rpm到/opt目录下
[root@node1 ~]# cd /opt
[root@node1 opt]# rpm -ivh elasticsearch-5.5.0.rpm

2、加载系统服务

[root@node1 opt]# systemctl daemon-reload    
[root@node1 opt]# systemctl enable elasticsearch.service

在这里插入图片描述

3、更改elasticsearch主配置文件

[root@node1 opt]# cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
[root@node1 opt]#  vim /etc/elasticsearch/elasticsearch.yml
17/ cluster.name: my-elk-cluster               #集群名字
23/ node.name: node1                           #节点名字
33/ path.data: /data/elk_data                  #数据存放路径
37/ path.logs: /var/log/elasticsearch/         #日志存放路径
43/ bootstrap.memory_lock: false               #不在启动的时候锁定内存（前端缓存。与IOPS-性能测试方式，每秒读写次数相关）
55/ network.host: 0.0.0.0                      #提供服务绑定的IP地址，0.0.0.0代表所有地址
59/ http.port: 9200                            #侦听端口为9200
68/ discovery.zen.ping.unicast.hosts: ["node1", "node2"]      #集群发现通过单播实现
		     
[root@node1 opt]#  grep -v "^#" /etc/elasticsearch/elasticsearch.yml   #查看信息
cluster.name: my-elk-cluster
node.name: node1
path.data: /data/elk_data
path.logs: /var/log/elasticsearch/
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"]

在这里插入图片描述

4、创建数据存放路径并授权

[root@node1 opt]# mkdir -p /data/elk_data
[root@node1 opt]# chown elasticsearch:elasticsearch /data/elk_data/

5、启动elasticsearch是否成功开启

[root@node1 elasticsearch]# systemctl start elasticsearch.service
[root@node1 elasticsearch]# netstat -antp | grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      64463/java

6、查看节点信息，用Windows的浏览器打开 http://192.168.200.10:9200 有文件打开下面是节点的信息

{
  "name" : "node1",
  "cluster_name" : "my-elk-cluster",
  "cluster_uuid" : "kWji5N02SvmMjKRzvKoMrw",
  "version" : {
    "number" : "5.5.0",
    "build_hash" : "260387d",
    "build_date" : "2017-06-30T23:16:05.735Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.0"
  },
  "tagline" : "You Know, for Search"
}

####登录192.168.200.20####
1、安装elasticsearch—rpm包
上传elasticsearch-5.5.0.rpm到/opt目录下

[root@node2 ~]# cd /opt
[root@node2 opt]# rpm -ivh elasticsearch-5.5.0.rpm

2、加载系统服务

[root@node2 opt]# systemctl daemon-reload    
[root@node2 opt]# systemctl enable elasticsearch.service

3、更改elasticsearch主配置文件

[root@node2 opt]# cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
[root@node2 opt]#  vim /etc/elasticsearch/elasticsearch.yml

17/ cluster.name: my-elk-cluster            #集群名字
23/ node.name: node2                        #节点名字
33/ path.data: /data/elk_data               #数据存放路径
37/ path.logs: /var/log/elasticsearch/      #数据存放路径
43/ bootstrap.memory_lock: false            #不在启动的时候锁定内存
55/ network.host: 0.0.0.0                   #提供服务绑定的IP地址，0.0.0.0代表所有地址
59/ http.port: 9200                         #侦听端口为9200
68/ discovery.zen.ping.unicast.hosts: ["node1", "node2"]        #集群发现通过单播实现

[root@node2 opt]#  grep -v "^#" /etc/elasticsearch/elasticsearch.yml
cluster.name: my-elk-cluster
node.name: node2
path.data: /data/elk_data
path.logs: /var/log/elasticsearch/
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"]

4、创建数据存放路径并授权

[root@node2 opt]# mkdir -p /data/elk_data
[root@node2 opt]# chown elasticsearch:elasticsearch /data/elk_data/

5、启动elasticsearch是否成功开启

[root@node2 elasticsearch]# systemctl start elasticsearch.service
[root@node2 elasticsearch]# netstat -antp | grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      64463/java

6、查看节点信息用windows的浏览器打开 http://192.168.200.20:9200 有文件打开下面是节点的信息

{
  "name" : "node2",
  "cluster_name" : "my-elk-cluster",
  "cluster_uuid" : "kWji5N02SvmMjKRzvKoMrw",
  "version" : {
    "number" : "5.5.0",
    "build_hash" : "260387d",
    "build_date" : "2017-06-30T23:16:05.735Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.0"
  },
  "tagline" : "You Know, for Search"
}

【集群检查健康和状态】
在windows 浏览器打开 http://192.168.200.10:9200/_cluster/health?pretty ###检查群集健康情况

{
  "cluster_name" : "my-elk-cluster",
  "status" : "green",
  "timed_out" : false,
  "number_of_nodes" : 2,
  "number_of_data_nodes" : 2,
  "active_primary_shards" : 0,
  "active_shards" : 0,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 0,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 0,
  "active_shards_percent_as_number" : 100.0
}

在window 打开 http://192.168.200.10:9200/_cluster/state?pretty ###检查群集状态信息

{
  "cluster_name" : "my-elk-cluster",
  "version" : 3,
  "state_uuid" : "zuaMTDpvSda623YUbT9cug",
  "master_node" : "57eKWdF6Q8u5Te0EI70OfA",
  "blocks" : { },
  "nodes" : {
    "copPtNelTvKnHfAd51GXMw" : {
      "name" : "node2",
      "ephemeral_id" : "kU5iJbKASEScfPSLBuEbpw",
      "transport_address" : "192.168.100.42:9300",
      "attributes" : { }
    },
    "57eKWdF6Q8u5Te0EI70OfA" : {
      "name" : "node1",
      "ephemeral_id" : "I4r9U6oMQRKOBCgxL747-A",
      "transport_address" : "192.168.100.41:9300",
      "attributes" : { }
    }
  },
  "metadata" : {
    "cluster_uuid" : "kWji5N02SvmMjKRzvKoMrw",
    "templates" : { },
    "indices" : { },
    "index-graveyard" : {
      "tombstones" : [ ]
    }
  },
  "routing_table" : {
    "indices" : { }
  },
  "routing_nodes" : {
    "unassigned" : [ ],
    "nodes" : {
      "57eKWdF6Q8u5Te0EI70OfA" : [ ],
      "copPtNelTvKnHfAd51GXMw" : [ ]
    }
  }
}

【安装elasticsearch-head插件】
上述查看集群的方式，及其不方便，我们可以通过安装elasticsearch-head插件后，来管理集群

####登录192.168.200.10 node1主机####

上传node-v8.2.1.tar.gz到/opt
yum install gcc gcc-c++ make -y

###编译安装node组件依赖包##耗时比较长

[root@localhost opt]# cd /opt
[root@node1 opt]# tar xzvf node-v8.2.1.tar.gz
[root@node1 opt]# cd node-v8.2.1/
[root@node1 node-v8.2.1]# ./configure 
[root@node1 node-v8.2.1]# make -j3
[root@node1 node-v8.2.1]# make install

####安装phantomjs####前端框架

上传软件包到/usr/local/src/
[root@localhost node-v8.2.1]# cd /usr/local/src/
[root@localhost src]# tar xjvf phantomjs-2.1.1-linux-x86_64.tar.bz2
[root@localhost src]# cd phantomjs-2.1.1-linux-x86_64/bin
[root@localhost bin]# cp phantomjs /usr/local/bin

###安装elasticsearch-head###数据可视化工具

#上传压缩包到/usr/local/src/目录下
[root@localhost bin]# cd /usr/local/src/
[root@localhost src]# tar xzvf elasticsearch-head.tar.gz
[root@localhost src]# cd elasticsearch-head/
[root@localhost elasticsearch-head]# npm install

#####修改主配置文件###

[root@localhost ~]# cd ~
[root@localhost ~]# vim /etc/elasticsearch/elasticsearch.yml   #下面配置文件，插末尾##
http.cors.enabled: true                  #开启跨域访问支持，默认为false
http.cors.allow-origin: "*"              #跨域访问允许的域名地址
[root@localhost ~]# systemctl restart elasticsearch

####启动elasticsearch-head 启动服务器####

[root@localhost ~]# cd /usr/local/src/elasticsearch-head/
[root@localhost elasticsearch-head]# npm run start &        #切换到后台运行
[1] 114729
[root@localhost elasticsearch-head]# 
> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
> grunt server

Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100

[root@localhost elasticsearch-head]# netstat -lnupt | grep 9100
tcp        0      0 0.0.0.0:9100            0.0.0.0:*               LISTEN      114739/grunt        
[root@localhost elasticsearch-head]# netstat -lnupt | grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      114626/java

####登录192.168.200.20 node2主机####

上传node-v8.2.1.tar.gz到/opt

###编译安装node组件依赖包##耗时比较长

yum install gcc gcc-c++ make -y
[root@localhost opt]# cd /opt
[root@node2 opt]# tar xzvf node-v8.2.1.tar.gz
[root@node2 opt]# cd node-v8.2.1/
[root@node2 node-v8.2.1]# ./configure 
[root@node2 node-v8.2.1]# make -j3
[root@node2 node-v8.2.1]# make install

####安装phantomjs####

上传软件包到/usr/local/src/
[root@node2 node-v8.2.1]# cd /usr/local/src/
[root@node2 src]# tar xjvf phantomjs-2.1.1-linux-x86_64.tar.bz2
[root@node2 src]# cd phantomjs-2.1.1-linux-x86_64/bin
[root@node2 bin]# cp phantomjs /usr/local/bin

###安装elasticsearch-head###

[root@node2 bin]# cd /usr/local/src/
[root@node2 src]# tar xzvf elasticsearch-head.tar.gz
[root@node2 src]# cd elasticsearch-head/
[root@node2 elasticsearch-head]# npm install

#####修改主配置文件###

[root@node2 ~]# cd ~
[root@node2 ~]# vim /etc/elasticsearch/elasticsearch.yml    #下面配置文件，插末尾##
http.cors.enabled: true                                    #开启跨域访问支持，默认为false
http.cors.allow-origin: "*"                                #跨域访问允许的域名地址
[root@localhost ~]# systemctl restart elasticsearch

####启动elasticsearch-head 启动服务器####

[root@node2 ~]# cd /usr/local/src/elasticsearch-head/
[root@node2 elasticsearch-head]# npm run start &      ####切换到后台运行
[1] 114729
[root@localhost elasticsearch-head]# 
> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
> grunt server

Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100

[root@node2 elasticsearch-head]# netstat -lnupt |grep 9100
tcp        0      0 0.0.0.0:9100            0.0.0.0:*               LISTEN      114739/grunt        
[root@node2 elasticsearch-head]# netstat -lnupt |grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      114626/java

####真机上打开浏览器输入http://192.168.200.10:9100/ 可以看见群集很健康是绿色#####

在Elasticsearch 后面的栏目中输入http://192.168.200.10:9200

然后点连接会发现：集群健康值: green (0 of 0)
在这里插入图片描述

####真机上打开浏览器输入http://192.168.200.20:9100/ 可以看见群集很健康是绿色#####

在Elasticsearch 后面的栏目中输入http://192.168.200.20:9200

然后点连接会发现：集群健康值: green (0 of 0)
在这里插入图片描述

####登录192.168.200.10 node1主机##### 索引为index-demo,类型为test,可以看到成功创建

[root@node1 ~]# curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
{
  "_index" : "index-demo",
  "_type" : "test",
  "_id" : "1",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 2,
    "failed" : 0
  },
  "created" : true
}

####在windows 打开浏览器输入http://192.168.200.10:9100/ 查看索引信息###

node1信息动作
node2信息动作

在这里插入图片描述

在这里插入图片描述
●上面图可以看见索引默认被分片5个，并且有一个副本

点击数据浏览------会发现在node1上创建的索引为index-demo,类型为test, 相关的信息
在这里插入图片描述

【安装logstash并做一些日志搜集输出到elasticsearch中】
登录主机192.168.200.30
关闭防火墙关闭核心防护

1、更改主机名

hostnamectl set-hostname apache
su

2、安装Apahce服务（httpd）

[root@apache ~]# yum -y install httpd
[root@apache ~]# systemctl start httpd

3、安装Java环境

[root@apache ~]# java -version        ###如果没有装 安装yum -y install java
openjdk version "1.8.0_181"
OpenJDK Runtime Environment (build 1.8.0_181-b13)
OpenJDK 64-Bit Server VM (build 25.181-b13, mixed mode)

4、安装logstash
上传logstash-5.5.1.rpm到/opt目录下

[root@apache ~]# cd /opt
[root@apache opt]# rpm -ivh logstash-5.5.1.rpm                                                  

##安装logstash
[root@apache opt]# systemctl start logstash.service                                              

##启动logstash
[root@apache opt]# systemctl enable logstash.service
[root@apache opt]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin/        ##建立logstash软连接

5、logstash（Apache）与 elasticsearch（node）功能是否正常，做对接测试####

Logstash 这个命令测试
字段描述解释：
-f  通过这个选项可以指定logstash的配置文件，根据配置文件配置logstash
-e  后面跟着字符串 该字符串可以被当做logstash的配置（如果是” ”,则默认使用stdin做为输入、stdout作为输出）
-t  测试配置文件是否正确，然后退出

6、输入采用标准输入输出采用标准输出—登录192.168.200.30 在Apache服务器上

[root@apache opt]# logstash -e 'input { stdin{} } output { stdout{} }'
。。。。。。。。。。省略。。。。。。。。
9:22:43.575 [[main]-pipeline-manager] INFO  logstash.pipeline - Pipeline main started
The stdin plugin is now waiting for input:
19:22:43.659 [Api Webserver] INFO  logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
www.baidu.com                 ####需要输入www.baidu.com
2018-10-12T02:10:11.313Z apache www.baidu.com
www.sina.com.cn                                     ####需要输入www.sina.com.cn
2018-10-12T02:10:29.778Z apache www.sina.com.cn

在这里插入图片描述

7、使用 rubydebug 显示详细输出，codec为一种编解码器

[root@apache opt]# logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'
。。。。。。。。省略。。。。。。。。。
19:25:32.542 [[main]-pipeline-manager] INFO  logstash.pipeline - Starting pipeline {"id"=>"main", "pipeline.workers"=>2, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>5, "pipeline.max_inflight"=>250}
19:25:32.608 [[main]-pipeline-manager] INFO  logstash.pipeline - Pipeline main started
The stdin plugin is now waiting for input:
19:25:32.674 [Api Webserver] INFO  logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
www.baidu.com
{
    "@timestamp" => 2021-03-03T11:25:59.165Z,
      "@version" => "1",
          "host" => "apache",
       "message" => "www.baidu.com"
}

####使用logstash将信息写入elasticsearch中#### 输入输出对接

[root@apache opt]# logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.200.10:9200"] } }'     #ip为node1的ip
。。。。。。。。省略。。。。。。。
The stdin plugin is now waiting for input:
10:40:06.558 [Api Webserver] INFO  logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
www.baidu.com                    ###输入内容
www.sina.com.cn                  ###输入内容
www.google.com.cn                ###输入内容

在这里插入图片描述

8、登录windows
打开浏览器输入http://192.168.200.10:9100/ 查看索引信息###
多出 logstash-2021.03.03
在这里插入图片描述

点击数据浏览查看响应的内容
在这里插入图片描述

【登录192.168.200.30 Apache主机做对接配置】
###logstash配置文件###
Logstash配置文件主要由三部分组成：input、output、filter（根据需要）

[root@apache opt]# chmod o+r /var/log/messages
[root@apache opt]# ll /var/log/messages
-rw----r--. 1 root root 567367 3月   3 19:53 /var/log/messages

#配置文件中定义的是收集系统日志（system）

[root@apache opt]# vim /etc/logstash/conf.d/system.conf 
input {
       file{
        path => "/var/log/messages"
        type => "system"
        start_position => "beginning"
        }
      }
output {
        elasticsearch {
          hosts => ["192.168.200.10:9200"]
          index => "system-%{+YYYY.MM.dd}"
          }
        }

[root@apache opt]# systemctl restart logstash.service

登录windows
打开浏览器输入http://192.168.200.10:9100/ 查看索引信息###

多出 system-2021.03.03
在这里插入图片描述

###登录192.168.200.10 node1主机###

##在node1主机安装kibana##

上传kibana-5.5.1-x86_64.rpm 到/usr/local/src目录
[root@node1 ~]# cd /usr/local/src/
[root@node1 src]# rpm -ivh kibana-5.5.1-x86_64.rpm
[root@node1 src]# cd /etc/kibana/
[root@node1 kibana]# cp kibana.yml kibana.yml.bak
[root@node1 kibana]# vim kibana.yml
2/ server.port: 5601                #### kibana打开的端口
7/ server.host: "0.0.0.0"           ####kibana侦听的地址
21/ elasticsearch.url: "http://192.168.200.10:9200"             ###和elasticsearch建立联系
30/ kibana.index: ".kibana"              ####在elasticsearch中添加.kibana索引
[root@node1 kibana]# systemctl start kibana.service    ###启动kibana服务
[root@node1 kibana]# systemctl enable kibana.service   ###开机启动kibana服务

####登录windows###

使用浏览器输入192.168.200.10:5601
首次登录创建一个索引 名字：system-*  ##这是对接系统日志文件
Index name or pattern   ###下面输入system-*

在这里插入图片描述

然后点最下面的出面的create 按钮创建
在这里插入图片描述

然后点最左上角的Discover按钮会发现system-*信息
在这里插入图片描述

然后点下面的host旁边的add 会发现右面的图只有 Time 和host 选项了这个比较友好
在这里插入图片描述

#####对接Apache主机的Apache 日志文件（访问的、错误的）#####

[root@apache opt]# cd /etc/logstash/conf.d/
[root@apache conf.d]# touch apache_log.conf
[root@apache conf.d]# vim apache_log.conf
input {
       file{
        path => "/etc/httpd/logs/access_log"
        type => "access"
        start_position => "beginning"
        }
       file{
        path => "/etc/httpd/logs/error_log"
        type => "error"
        start_position => "beginning"
        }
        
      }
output {
        if [type] == "access" {
        elasticsearch {
          hosts => ["192.168.200.10:9200"]
          index => "apache_access-%{+YYYY.MM.dd}"
          }
        }
        if [type] == "error" {
        elasticsearch {
          hosts => ["192.168.200.10:9200"]
          index => "apache_error-%{+YYYY.MM.dd}"
          }
        }
        }

[root@apache conf.d]# /usr/share/logstash/bin/logstash -f apache_log.conf

####登录192.168.200.10 node1主机###
打开浏览器输入http://192.168.200.10:9100/ 查看索引信息###
能发现出现了 apache_error 和 .kibana
在这里插入图片描述

打开浏览器输入http://192.168.200.10:5601

点击左下角有个management选项 —index patterns—create index pattern
----分别创建 apache_error-* 和 apache_access-* 的索引

在这里插入图片描述

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

ELK

日志分析系统