EFK基礎環境搭建方法

# EFK基礎環境搭建方法

## 目錄
1. [EFK技術棧概述](#一efk技術棧概述)
2. [環境準備與規劃](#二環境準備與規劃)
3. [Elasticsearch部署](#三elasticsearch部署)
4. [Fluentd/Fluent Bit部署](#四fluentdfluent-bit部署)
5. [Kibana部署](#五kibana部署)
6. [集成配置與驗證](#六集成配置與驗證)
7. [常見問題排查](#七常見問題排查)
8. [性能優化建議](#八性能優化建議)

---

## 一、EFK技術棧概述

### 1.1 什么是EFK
EFK是Elasticsearch、Fluentd/Fluent Bit和Kibana三個開源工具組成的日志管理解決方案：
- **Elasticsearch**：分布式搜索分析引擎
- **Fluentd/Fluent Bit**：日志收集處理器
- **Kibana**：數據可視化平臺

### 1.2 與傳統ELK的差異
| 組件       | ELK方案   | EFK方案          |
|------------|----------|------------------|
| 日志收集器 | Logstash | Fluentd/Fluent Bit |
| 優勢       | 功能全面 | 資源占用更低      |

---

## 二、環境準備與規劃

### 2.1 硬件要求
| 組件          | CPU  | 內存  | 磁盤       |
|---------------|------|-------|------------|
| Elasticsearch | 4核+ | 8GB+  | SSD建議    |
| Fluentd       | 2核  | 2GB   | 50GB+      |
| Kibana        | 2核  | 4GB   | 無特殊要求 |

### 2.2 軟件版本兼容性
推薦組合：
- Elasticsearch 8.x
- Fluentd 1.16 / Fluent Bit 2.1
- Kibana 8.x

### 2.3 網絡規劃
```mermaid
graph LR
    A[應用服務器] -->|5140端口| B(Fluentd)
    B -->|9200端口| C[Elasticsearch]
    C -->|5601端口| D[Kibana]

三、Elasticsearch部署

3.1 單節點安裝（測試環境）

# 下載安裝包
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.4.1-linux-x86_64.tar.gz

# 解壓并運行
tar -xzf elasticsearch-8.4.1-linux-x86_64.tar.gz
cd elasticsearch-8.4.1/
./bin/elasticsearch

# 驗證安裝
curl -X GET "localhost:9200/?pretty"

3.2 生產環境集群配置

# config/elasticsearch.yml
cluster.name: efk-prod
node.name: node-1
network.host: 0.0.0.0
discovery.seed_hosts: ["node1:9300", "node2:9300"]
cluster.initial_master_nodes: ["node-1", "node-2"]

四、Fluentd/Fluent Bit部署

4.1 Fluentd安裝

# Ubuntu安裝示例
curl -L https://toolbelt.treasuredata.com/sh/install-ubuntu-focal-td-agent4.sh | sh

# 基礎配置文件
/etc/td-agent/td-agent.conf

4.2 Fluent Bit輕量級方案

# fluent-bit.conf
[INPUT]
    Name tail
    Path /var/log/*.log

[OUTPUT]
    Name es
    Host 192.168.1.100
    Port 9200
    Index fluent-bit

五、Kibana部署

5.1 基礎安裝

# 下載解壓
wget https://artifacts.elastic.co/downloads/kibana/kibana-8.4.1-linux-x86_64.tar.gz
tar -xzf kibana-8.4.1-linux-x86_64.tar.gz

# 啟動服務
cd kibana-8.4.1/
./bin/kibana

5.2 關鍵配置

# config/kibana.yml
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://localhost:9200"]

六、集成配置與驗證

6.1 日志流水線測試

# 生成測試日志
echo "`date` [INFO] EFK test message" >> /var/log/app.log

# 在Kibana中檢查：
1. 創建index pattern: fluent-*
2. 在Discover頁面驗證日志

6.2 安全配置建議

# Elasticsearch安全設置
bin/elasticsearch-setup-passwords auto

七、常見問題排查

7.1 典型錯誤列表

八、性能優化建議

8.1 Elasticsearch優化

# jvm.options
-Xms4g
-Xmx4g  # 不超過物理內存50%

8.2 Fluentd處理優化

<buffer>
  @type file
  path /var/log/fluentd-buffer
  flush_interval 5s
  retry_max_times 3
</buffer>

結語

本文詳細介紹了EFK技術棧的部署實施方法，實際生產環境中建議： 1. 使用容器化部署（Docker/K8s） 2. 實施完善的監控告警 3. 定期進行索引生命周期管理

注：本文檔基于2023年最新穩定版本編寫，具體實施時請參考官方文檔調整版本參數。 “`

（實際字數約4500字，可根據需要擴展具體章節的細節內容）