ELK 日志分析系统 ----------- 部署 logstash 数据处理工具、Kibana 数据分析和可视化平台

Logstash简介

• Logstash 是一款强大的数据处理工具，它可以实现数据传输，格式处理，格式化输出，还有强大的插件功能，常用于日志处理

Logstash优点

• 可伸缩性
  1）节拍应该在一组Logstash节点之间进行负载平衡。
  2）建议至少使用两个Logstash节点以实现高可用性。
  3）每个Logstash节点只部署一个Beats输入是很常见的，但每个Logstash节点也可以部署多个Beats输入，以便为不同的数据源公开独立的端点。

• 弹性
  Logstash持久队列提供跨节点故障的保护。对于Logstash中的磁盘级弹性，确保磁盘冗余非常重要。对于内部部署，建议您配置RAID。在云或容器化环境中运行时，建议您使用具有反映数据SLA的复制策略的永久磁盘。

• 可过滤
  1）对事件字段执行常规转换。您可以重命名，删除，替换和修改事件中的字段。
  2）可扩展插件生态系统，提供超过200个插件，以及创建和贡献自己的灵活性

Logstash缺点

• Logstash耗资源较大，运行占用CPU和内存高。另外没有消息队列缓存，存在数据丢失隐患。

Kibana简介

• 一个针对 Elasticsearch 的开源分析及可视化平台
• 搜索、查看存储在 Elasticsearch 索引中的数据
• 通过各种图表进行高级数据分析展示

Kibana主要功能

• Elasticsearch 无缝之集成
• 整合数据，复杂数据分析
• 让更多团队成员收益
• 接口灵活，分享更容易
• 配置简单，可视化多数据源
• 简单数据导出

部署 ELK 日志分析系统

部署 Elasticsearch ，可在此参考

部署规划

• 关闭防火墙、核心防护
• 更改主机名为 ：apache

开始搭建

安装 logstash 数据处理工具

• 登录到主机 20.0.0.103

1、安装apache服务
yum -y install httpd
systemctl start httpd
netstat -anpt | grep httpd2、安装Java环境
java -version                ####查看当前java版本，如果没有，则要安装 yum -y install java3、安装logstash
上传 logstash-5.5.1.rpm 到家目录下
rpm -ivh logstash-5.5.1.rpm
systemctl start logstash.service
systemctl enable logstash.service
ln -s /usr/share/logstash/bin/logstash /usr/local/bin                  ####建立logstash软连接4、做对接配置
chmod o+r /var/log/messages          ####给其他用户只读权限
ll /var/log/messagesvi /etc/logstash/conf.d/system.conf           ####建立一个系统日志配置文件的采集文件input {
    file{
    path => "/var/log/messages"type => "system"start_position => "beginning"                        }}output {
    elasticsearch{
    hosts => ["20.0.0.101:9200"]index => "system-%{+YYY.MM.dd}"}}logstash -f system.conf              ###重启配置文件    5、在真机上测试
网页输入：  20.0.0.101：9100      查看索引信息多出 system-2020.10.29

安装 Kibana 数据分析和可视化平台

• 登录到主机 20.0.0.103

1、上传 kibana-5.5.1-x86_64.rpm 到家目录并安装
rpm -ivh kibana-5.5.1-x86_64.rpm
cd /etc/kibana/
cp -p kibana.yml kibana.yml.bak2、修改配置文件
vi kibana.yml2行 ：server port: 5601
7行 ：server.host: "0.0.0.0"
21行 ：elasticsearch.url: "http://20.0.0.101:9200"
30行 ：kibana.index: ".kibana"3、启动服务
systemctl start kibana.service
systemctl enable kibana.service4、修改主配置文件
vi /etc/logstash/conf.d/apache_log.conf           ###建立apache_log.conf 文件input {
    file{
    path => "/etc/httpd/logs/access_log"type => "access"start_position => "beginning"}file{
    path => "/etc/httpd/logs/error_log"type => "error"start_position => "beginning"}
}
output {
    if [type] == "access" {
    elasticsearch {
    hosts => ["20.0.0.101:9200"]index => "apache_access-%{+YYY.MM.dd}"}}if [type] == "error" {
    elasticsearch {
    hosts => ["20.0.0.101:9200"]index => "apache_error-%{+YYY.MM.dd}"}}
}5、网页输入：  20.0.0.103:80   产生access日志信息6、启动配置文件
logstash -f apache_log.conf7、网页输入：  20.0.0.101:9100   查看是否产生apache_access、apache_error两个索引

8、网页输入：   20.0.0.103:5601    登录 kibana
可以输入索引进行查找（下面出现红色提示表示找不到）
左侧选项栏：discover （更直观的显示数据日志信息）

————————————————————————————————————————

ELK 部署 到此结束，感谢浏览