elk日志收集展示

【elasticsearch7.6安裝】
系統準備:
操作系統:centos 7 x64
JAVA軟件版本:java8(官方文檔)
Elasticsearch版本:6.6.2

安裝JDK并設置環境變量:
rpm -ivh jdk-8u192-linux-x64.rpm

vi /etc/profile
export JAVA_HOME=/usr/java/latest

vi .bash_profile
export PATH=$JAVA_HOME/bin:$PATH

查看java版本:
java -version

安裝elasticsearch:
tar zxvf elasticsearch-6.6.2.tar.gz
修改配置文件:
config\elasticsearch.yml
cluster.name 集群名稱
node.name 節點名稱
path.data
path.logs
network.host 0：0：0：0 所有外網IP可訪問
http.port http請求端口號，默認為9200
修改配置文件
config\jvm.options
-Xms1g
-Xmx1g

啟動elasticsearch
bin\elasticsearch
Caused by: java.lang.RuntimeException: can not run elasticsearch as root
elasticsearch不允許使用root用戶啟動。

useradd elk

chown -R elk:elk elasticsearch-6.6.2
chown -R elk:elk elk
./elasticsearch

vi /etc/security/limits.conf

• soft nofile 65536
• hard nofile 65536
  vi /etc/sysctl.conf
  vm.max_map_count=262144

訪問elasticsearch
http://192.168.1.129:9200
新建啟動腳本
vi startup.sh
nohup /usr/local/elasticsearch-6.6.2/bin/elasticsearch >> /usr/local/elasticsearch-6.6.2/output.log 2>&1 &
chmod a+x startup.sh
關閉elasticsearch:
jps
kill -9 進程號

【安裝kibana】
tar zxvf kibana-6.6.2-linux-x86_64.tar.gz
Kibana是一個開源的分析與可視化平臺，設計出來用于和Elasticsearch一起使用的。
你可以用kibana搜索、查看、交互存放在Elasticsearch索引里的數據，
使用各種不同的圖表、表格、地圖等kibana能夠很輕易地展示高級數據分析與可視化。

配置文件config\bibana.yml
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://localhost:9200"]

訪問:
http://127.0.0.1:5601

vi startup.sh
nohup /usr/local/kibana-6.6.2-linux-x86_64/bin/kibana >> /usr/local/kibana-6.6.2-linux-x86_64/output.log 2>&1 &

【kibana面板使用】
GET /kibana_sample_data_logs/_settings

【logstash安裝及配置】
tar logstash-6.6.2.tar.gz

使用logstash收集nginx日志并在kibana展示，修改配置文件config\logstash.conf
input {
file {
path => "/usr/local/nginx/logs/access.log"
type => "nginxaccess"
start_position => "beginning"
}
}

filter {
grok {
match => { "message" => "%{HTTPD_COMBINEDLOG}" }
}
}

output {
#輸出到elasticsearch:
elasticsearch {
hosts => ["127.0.0.1:9200"]
index => "nginx-%{+YYYY.MM.dd}"
}
}
啟動腳本:
startup.sh
#!/bin/bash
nohup /usr/local/logstash-6.6.2/bin/logstash -f /usr/local/logstash-6.6.2/config/logstash.conf >> /usr/local/logstash-6.6.2/output.log 2>&1 &