logstsh架構(gòu)
搜集—》過(guò)濾—》處理
Grok:匹配需要收集的字段信息
Date：處理日期類(lèi)型
Geoip:添加地理位置信息
Useragent:提取請(qǐng)求用戶信息
2、logstash安裝
[root@localhost logstash]# tar -zxvf logstash-6.3.1.tar.gz
mkdir config
[root@localhost logstash]# vi test.conf
input {
stdin { }
}
output {
stdout {codec=>”rubydebug”}
}
[root@localhost logstash-6.3.1]# ./bin/logstash -f config/test.conf
3、logstsh操作
[root@localhost logstash-6.3.1]# vi test.conf
input {
stdin {codec=>line}
}
output {
stdout {codec=>json}
}
[root@localhost logstash-6.3.1]# echo “foo
bar”./bin/logstash -f config/test.conf
logstsh input插件
stdin
輸入插件：可以管道輸入，也可以從終端交互輸入
通用配置：
codec：類(lèi)型為codec
type：類(lèi)型為string自定義該事件類(lèi)型，可用于后續(xù)判斷
tags：類(lèi)型為array，自定義事件的tag，可用于后續(xù)判斷
add_field：類(lèi)型為hash，為該事件添加字段
input{
stdin{
codec => “plain”
tags => [“test”]
type => “std”
add_field => {“key”=>”value”}
}
}
output{
stdout{
codec => “rubydebug”
}
}
[root@localhost logstash-6.3.1]# echo “test”|./bin/logstash -f config/test.conf
{
“@version” => “1”,
“key” => “value”,
“message” => “test”,
“type” => “std”,
“tags” => [
[0] “test”
],
“host” => “localhost”,
“@timestamp” => 2019-03-24T12:20:16.334Z
}
file
從文件讀取數(shù)據(jù)，如常見(jiàn)的日志文件
配置：
path => [“/var/log/**/*.log”,”/var/log/message”] 文件位置
exclude => “*.gz” 不讀取哪些文件
sincedb_path => “/var/log/message” 記錄sincedb文件路徑
start_position => “beginning” 或者”end” 是否從頭讀取文件
stat_interval => 1000 單位秒，定時(shí)檢查文件是否有更新，默認(rèn)1S
input {
file {
path => [“/home/elk/logstsh/config/Nginx_logs”]
start_position => “beginning”
type => “web”
}
}
output {
stdout {
codec => “rubydebug”
}
}
{
“path” => “/home/elk/logstsh/config/nginx_logs”,
“message” => “79.136.114.202 – – [04/Jun/2015:07:06:35 +0000] ”GET /downloads/product_1 HTTP/1.1” 404 334 ”-” ”Debian APT-HTTP/1.3 (0.8.16~exp12ubuntu10.22)””,
“@timestamp” => 2019-03-24T12:47:20.900Z,
“host” => “localhost”,
“type” => “web”,
“@version” => “1”
}
Elasticsearch
logstsh filter
Filter是logstsh功能強(qiáng)大的原因，它可以對(duì)數(shù)據(jù)進(jìn)行豐富的處理，比如解析數(shù)據(jù)、刪除字段、類(lèi)型轉(zhuǎn)換等
date：日期解析
grok：正則匹配解析
dissect：分割符解析
mutate：對(duì)字段作處理，比如重命名、刪除、替換等
json：按照json解析字段內(nèi)容到指定字段中
geoip：增加地理位置數(shù)據(jù)
ruby：利用ruby代碼來(lái)動(dòng)態(tài)修改logstsh Event
./logstash -f ../../config/test.conf
{“logdate”:”Jan 01 2018 12:02:08”}
Grok
正則匹配
%{IPORHOST:clientip} %{USER:ident} %{USER:auth} [%{HTTPDATE:timestamp}] “%{word:verb} %{DATA:request} HTTP/%{NUMBER:httpversion}” %{NUMBER:response:int} (?:-|%{NUMBER:bytes:int}) %{QS:referrer} %{QS:agent}
93.180.71.3 – – [17/May/2015:08:05:32 +0000] “GET /downloads/product_1 HTTP/1.1” 304 0 “-” “Debian APT-HTTP/1.3 (0.8.16~exp12ubuntu10.21)”
93.180.71.3 – – [17/May/2015:08:05:23 +0000] “GET /downloads/product_1 HTTP/1.1” 304 0 “-” “Debian APT-HTTP/1.3 (0.8.16~exp12ubuntu10.21)”
Logstsh ouput
stdout
file :
file {
path => “/var/log/web.log”
codec => line {format => “%{message}”}
}
elasticsearch :
elasticsearch {
hosts => [“http://192.168.14.10:9200”]
index => “logstash-%{type}-%{+YYYY.MM.dd}”
}
