CentOS Filebeat集群部署方案

在CentOS上部署Filebeat集群涉及多個步驟，包括安裝、配置、啟動以及監控等。以下是一個詳細的部署方案：

1. 安裝前的準備工作

• 更新系統：確保系統是最新的。

  sudo yum update -y
  

• 安裝必要的軟件包：例如 yum-utils。

  sudo yum install -y yum-utils
  

2. 下載Filebeat

從Elastic官方網站下載適用于CentOS的Filebeat軟件包。例如，下載Filebeat 7.x.x版本。

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.x.x-linux-x86_64.tar.gz

3. 解壓Filebeat

解壓下載的Filebeat軟件包到指定目錄。

tar -zxvf filebeat-7.x.x-linux-x86_64.tar.gz -C /opt/

4. 配置Filebeat

進入解壓后的Filebeat目錄，編輯 filebeat.yml 配置文件。

cd /opt/filebeat
vim filebeat.yml

基本配置示例：

filebeat.inputs:
- type: log
  enabled: true
  paths:
  - /var/log/*.log

output.elasticsearch:
  hosts:
  - "elasticsearch-host:9200"
  index: "filebeat-%{yyyy.MM.dd}"

setup.kibana:
  host: "kibana-host:5601"

5. 啟動Filebeat

使用以下命令啟動Filebeat，并設置為系統服務以便開機自啟動。

nohup ./filebeat -e -c filebeat.yml &

創建Systemd服務文件以便管理Filebeat服務。

sudo nano /lib/systemd/system/filebeat.service

添加以下內容：

[Unit]
Description=Filebeat
Wants=network-online.target
After=network-online.target

[Service]
User=root
Group=root
ExecStart=/opt/filebeat/filebeat -e -c /opt/filebeat/filebeat.yml

[Install]
WantedBy=multi-user.target

重新加載Systemd配置并啟動Filebeat服務。

sudo systemctl daemon-reload
sudo systemctl enable filebeat
sudo systemctl start filebeat

6. 驗證部署

訪問Kibana界面確認Filebeat是否成功將日志數據發送到Elasticsearch。

7. 高可用集群配置

為了實現Filebeat的高可用性，需要在多個節點上部署Filebeat實例，并配置集群模式。

在Kubernetes中部署Filebeat集群：

1. 創建DaemonSet：在Kubernetes集群中創建一個DaemonSet，確保每個節點上都運行一個Filebeat實例。
2. 配置Discovery：在 filebeat.yml 中配置 discovery.zen.minimum_master_nodes 以確保集群中的Filebeat實例能夠相互發現和協作。

8. 監控和日志記錄

配置監控工具（如Prometheus和Grafana）來監控Filebeat集群的健康狀況。同時，確保Filebeat的日志記錄功能開啟，以便于故障排查和性能分析。

9. 備份和恢復

定期備份Filebeat配置和狀態信息，以便在需要時進行快速恢復。

10. 安全性和權限

確保Filebeat進程以正確的用戶身份運行，并且只有必要的端口對外暴露，以減少安全風險。

以上步驟提供了一個基本的Filebeat部署流程，具體版本可能會有所不同，請根據實際情況進行調整。