開始之前先了解一下什么是ELK
ELK:大型分布式日志分析系統ELK elasticsearch(存儲日志)+logstash(收集日志)+kibana(展示數據)
Elasticsearch:
Elasticsearch (ES)是一個基于Lucene構建的開源、分布式、RESTful 接口全文搜索引擎。Elasticsearch 還是一個分布式文檔數據庫,其中每個字段均是被索引的數據且可被搜索,它能夠擴展至數以百計的服務器存儲以及處理PB級的數據。它可以在很短的時間內在儲、搜索和分析大量的數據。它通常作為具有復雜搜索場景情況下的核心發動機。橫向可擴展性:只需要增加臺服務器,做一點兒配置,啟動一下Elasticsearch就可以并入集群。
分片機制提供更好的分布性:同一個索引分成多個分片(sharding), 這點類似于HDFS的塊機制;分而治之的方式可提升處理效率。
高可用:提供復制( replica) 機制,一個分片可以設置多個復制,使得某臺服務器在宕機的情況下,集群仍舊可以照常運行,并會把服務器宕機丟失的數據信息復制恢復到其他可用節點上。
口使用簡單:只需一條命令就可以下載文件,然后很快就能搭建一個站內搜索引擎。
Elasticsearch應用場景
大型電商商品搜索系統、網盤搜索引擎等。logstash
官網:https://www.elastic.co/guide/en/logstash/current/index.html
logstash就是一根具備實時數據傳輸能力的管道,負責將數據信息從管道的輸入端傳輸到管道的輸出端;與此同時這根管道還可以讓你根據自己的需求在中間加上濾網,Logstash提供里很多功能強大的濾網以滿足你的各種應用場景。
Logstash常用于日志關系系統中做日志采集設備;