通常,日志被分散的储存不同的设备上。如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。开源实时日志分析ELK平台能够完美的解决日志收集和日志检索、分析的问题,ELK就是指ElasticSearch、Logstash和Kiabana三个开源工具。
因为ELK是可以跨平台部署,因此非常适用于多平台部署的应用。
二 环境准备
1. 安装JDK1.8环境
2. 下载ELK软件包
logstash: https://artifacts.elastic.co/downloads/logstash/logstash-5.5.0.zip
elasticsearch:https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.0.zip
kibana: https://artifacts.elastic.co/downloads/kibana/kibana-5.5.0-windows-x86.zip
分别解压下载的软件,elasticsearch,logstash,kibana 可以放在一个统一文件夹下
三 部署
1.配置logstash
在logstash文件夹的下bin目录创建配置文件logstash.conf ,内容如下:
input {
# 以文件作为来源
file {
# 日志文件路径
path => "F:\test\dp.log"
}
}
filter {
#定义数据的格式,正则解析日志(根据实际需要对日志日志过滤、收集)
grok {
match => { "message" => "%{IPV4:clientIP}|%{GREEDYDATA:request}|%{NUMBER:duration}"}
}
#根据需要对数据的类型转换
mutate { convert => { "duration" => "integer" }}
}
# 定义输出
output {
elasticsearch {
hosts => ["localhost:9200"] #Elasticsearch 默认端口
}
}
在bin目录下创建run.bat,写入一下脚本:
logstash.bat -f logstash.conf
执行run.bat启动logstash。
2. 配置Elasticsearch
elasticsearch.bat即可启动。
启动后浏览器访问 127.0.0.1:9200 ,出现以下的json表示成功。
3.配置kibana
Kibana启动时从文件kibana.yml读取属性。默认设置配置Kibana运行localhost:5601。要更改主机或端口号,或者连接到在其他机器上运行的Elasticsearch,需要更新kibana.yml文件。
kibana.bat启动Kibana。
2022-05-26 14:33:02
180.33MB
elk
1