Win7搭建ELKB平台分析nginx日志 有更新!

  |   0 评论   |   2,122 浏览

前言

生产环境上应用在多台机器上分布式部署,分布式在提高性能的同时也带来了很多问题,其中一个问题就是日志分散导致定位问题变得繁琐困难。尤其项目采用微服务架构、容器化部署时,这个问题变得更加明显。今天小编以nginx日志为例,通过搭建ELKB平台,实现nginx日志归集,日志分析。

ELKB简述

E:Elasticsearch 是一个基于Lucene的分布式搜索和分析引擎,具有高可伸缩、高可靠和易管理等特点。支持对大容量的数据进行接近实时的存储、搜索和分析操作。

L:Logstash 是开源的服务器端数据处理管道,能够同时从多个来源采集数据,过滤转换数据,然后存储到用户指定的位置供以后使用。

K:Kibana是一个数据分析和可视化平台。一般与 Elasticsearch 配合使用,对其中数据进行搜索、分析和图表方式展示;

B:Beats 集合了多种单一用途数据采集器,分别是:Filebeat(搜集日志文件);Metricbeat(搜集指标数据);Packetbeat(搜集网络数据);Winlogbeat(搜集 Windows 事件日志数据);Auditbeat(搜集审计数据);Heartbeat(搜集运行监控数据)。这些采集器安装后可用作轻量型代理,从成百上千或成千上万台机器向 Logstash 或 Elasticsearch 发送数据。

系统架构图

搭建ELKB

软件版本及下载地址
elasticsearch-6.4.2 》》》使用文档
logstash-6.4.2
kibana-6.4.2-windows-x86_64
filebeat-6.4.2-windows-x86_64

安装Elasticsearch

解压缩elasticsearch-6.4.2.zip,进入bin目录通过命令行执行下面命令:

elasticsearch.bat

浏览器访问http://localhost:9200/,见如下信息代表安装成功。

安装Kibana

解压缩kibana-6.4.2-windows-x86_64.zip,进入bin目录通过命令行执行下面命令:

kibana.bat

浏览器访问http://localhost:5601,见如下信息代表安装成功。

安装Logstash

解压缩logstash-6.4.2.zip,进入bin目录创建logstash.conf文件,内容如下:

input { stdin { } }
output {
  elasticsearch { hosts => ["localhost:9200"] }
  stdout { codec => rubydebug }
}

通过命令行窗口启动:

logstash -f logstash.conf

安装Filebeat

解压缩filebeat-6.4.2-windows-x86_64.zip,修改filebeat.yml文件。
1.enabled设为true

  # Change to true to enable this input configuration.
  enabled: true

2.将默认输出到es修改成输出到logstash

#-------------------------- Elasticsearch output ------------------------------
#output.elasticsearch:
  # Array of hosts to connect to.
  #hosts: ["localhost:9200"]

  # Optional protocol and basic auth credentials.
  #protocol: "https"
  #username: "elastic"
  #password: "changeme"

#----------------------------- Logstash output --------------------------------
output.logstash:
  # The Logstash hosts
  hosts: ["localhost:5044"]

3.配置nginx日志地址,我将nginx日志存放在d:\elatisc\log\nginx\access.log,请按实际调整。

  # Paths that should be crawled and fetched. Glob based paths.
  paths:
     - d:\elatisc\log\nginx\access.log

调整logstash的配置文件logstash.conf,将接收命令行输入改成Filebeat输入,然后重启Logstash。

input {
   beats {
     port => 5044
   }
}
output {
  elasticsearch { hosts => ["localhost:9200"] }
  stdout { codec => rubydebug }
}

启动Filebeat

filebeat.exe -e -c filebeat.yml


Logstash命令行窗口输入nginx日志,表示Filebeat安装成功。

nginx分析

nginx日志格式说明

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

参数明细表:

参数 说明
$remote_addr 客户端的ip地址(代理服务器,显示代理服务ip)
$remote_user 用于记录远程客户端的用户名称(一般为“-”)
$time_local用于记录访问时间和时区
$request用于记录请求的url以及请求方法
$status响应状态码,例如:200成功、404页面找不到等。
$body_bytes_sent给客户端发送的文件主体内容字节数
$http_referer可以记录用户是从哪个链接访问过来的
$http_user_agent用户所使用的代理(一般为浏览器)
$http_x_forwarded_for可以记录客户端IP,通过代理服务器来记录客户端的ip地址

修改Logstash配置logstash.conf

# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.

input {
#  stdin { }
#  file {
#    path => "D:/elatisc/log/nginx/access.log"
#    start_position => "beginning"
#    sincedb_path => "XXXX"
#  }
   beats {
     port => 5044
   }

}

filter {
    grok {
        match => { "message" => "%{IPORHOST:remote_ip} - %{DATA:user_name} \[%{HTTPDATE:access_time}\] \"%{WORD:http_method} %{DATA:request_url} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:body_sent_bytes} \"%{DATA:referrer}\" \"%{DATA:user_agent}\" \"%{DATA:forwarded_for}\"" }
    }
#    date {
#        match => [ "timestamp" , "dd/MMM/YYYY:HH:mm:ss Z" ]
#    }
#    geoip {
#        source => "clientip"
#    }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "nginx-access-log-%{+YYYY.MM.dd}"
    #user => "elastic"
    #password => "changeme"
  }
  stdout { codec => rubydebug }
}

input配置是从Filebeat接收数据(前文Filebeat配置了读取nginx日志),filter将单行nginx日志进行信息提取,output配置成将数据输出到Elasticsearch索引名nginx-access-log-YYYY.MM.dd(YYYY.MM.dd代表当天日期)为持久化,同时传输时打印到Logstash控制台。

运行效果:

至此,nginx日志就成功导入到Elasticsearch,而且从Kibana上时间轴可以看到新增的nginx日志也不断写入到Elasticsearch。

ELK实现方案
上面是通过ELKB实现nginx日志采集分析,Filebeat是可选工具,不借助Filebeat只需要调整logstash.conf

# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.

input {
#  stdin { }
  file {
    path => "D:/elatisc/log/nginx/access.log"
    start_position => "beginning"
  }

}

filter {
    grok {
        match => { "message" => "%{IPORHOST:remote_ip} - %{DATA:user_name} \[%{HTTPDATE:access_time}\] \"%{WORD:http_method} %{DATA:request_url} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:body_sent_bytes} \"%{DATA:referrer}\" \"%{DATA:user_agent}\" \"%{DATA:forwarded_for}\"" }
    }
#    date {
#        match => [ "timestamp" , "dd/MMM/YYYY:HH:mm:ss Z" ]
#    }
#    geoip {
#        source => "clientip"
#    }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "nginx-access-log-%{+YYYY.MM.dd}"
    #user => "elastic"
    #password => "changeme"
  }
  stdout { codec => rubydebug }
}

统计某个IP访问量
Kibana除了可以直观看到数据写入Elasticsearch情况,还可以对Elasticsearch数据进行分析,可视化展示。下面以分析某个IP访问量说明。



总结

本文只能算做抛转引玉,简单介绍了如何在windows平台搭建ELKB日志归集系统,对nginx日志进行分析。ELKB很多功能还覆盖到,后续小编会进一步学习,把更多功能介绍给大家。

评论

发表评论

validate