centos k8s部署中如何優化資源

在CentOS上部署和優化Kubernetes（k8s）集群的資源，可以從多個方面入手，包括節點配額和內核參數調整、etcd數據庫優化、Kube APIServer配置、Pod配置、網絡調優、存儲調優等。以下是詳細的優化步驟和建議：

節點配額和內核參數調整

• 增加配額：在云平臺上增大虛擬機個數、vCPU個數、內網IP地址個數、公網IP地址個數、安全組條數、路由表條數和持久化存儲大小。
• 內核參數優化：調整以下參數以提高系統性能：
  • fs.file-max：增加系統級別的文件句柄數量。
  • net.ipv4.neigh.default.gc_thresh1、net.ipv4.neigh.default.gc_thresh2、net.ipv4.neigh.default.gc_thresh3：優化ARP緩存大小。
  • net.netfilter.nf_conntrack_max：增加允許的最大跟蹤連接條目。
  • net.core.netdev_max_backlog：增加每個網絡接口接收數據包的最大數目。

etcd數據庫優化

• 搭建高可用etcd集群：使用etcd operator來自動管理etcd集群的部署、擴縮容、備份和升級。
• 配置SSD存儲：為etcd使用SSD固態盤存儲。
• 增大存儲限制：設置--quota-backend-bytes增大etcd的存儲限制。

Kube APIServer配置

• 根據節點數量調整配置：
  • 節點數量 >= 3000時，推薦設置--max-requests-inflight=3000和--max-mutating-requests-inflight=1000。
  • 節點數量在1000-3000時，推薦設置--max-requests-inflight=1500和--max-mutating-requests-inflight=500。

Pod配置

• 設置資源請求和限制：為容器設置合理的resources.limits.cpu和resources.requests.cpu，以及resources.limits.memory和resources.requests.memory。
• 使用控制器管理容器：如Deployment、StatefulSet、DaemonSet等，以提高資源利用率和管理效率。

網絡調優

• 調整網絡參數：
  • net.ipv4.tcp_tw_reuse：允許將TIME_WAIT連接重新用于新的TCP連接。
  • net.core.somaxconn：增加socket監聽(listen)的backlog上限。
  • fs.file-max：增加系統最大文件句柄數。

存儲調優

• 設置磁盤IO調度算法：如noop或deadline，以提高磁盤性能。
• 調整Docker參數：通過修改/etc/docker/daemon.json文件，設置native.cgroupdriversystemd等參數，優化Docker的資源管理。

其他優化建議

• 使用Spot實例：將Kubernetes集群運行在Amazon EC2 Spot實例上，可以顯著降低計算成本。
• 引入動態資源視圖：通過添加agent收集單機資源用量情況，并匯總計算得到動態的資源視圖，提升資源利用率。

通過上述優化措施，可以顯著提升CentOS上Kubernetes集群的資源利用率和性能。具體的配置參數可能需要根據實際的集群規模、網絡環境和性能需求進行調整。在進行優化之前，建議先備份原始配置和數據，以便在出現問題時能夠快速恢復。