centos k8s最佳實踐分享

在CentOS上部署和配置Kubernetes（k8s）集群是一個復雜但非常有價值的過程。以下是一些關鍵的最佳實踐，可以幫助你確保集群的穩定性和高效性。

1. 環境準備

• 關閉防火墻：在所有節點上關閉防火墻，以允許Kubernetes組件之間的通信。

  systemctl stop firewalld
  systemctl disable firewalld
  

• 關閉SELinux：將SELinux設置為permissive模式，以減少對Kubernetes操作的限制。

  sed -i 's/enforcing/disabled/' /etc/selinux/config
  setenforce 0
  

• 關閉Swap：禁用Swap分區，以提高系統性能。

  swapoff -a
  sed -i 's/.*swap.etc/fstab swapoff -a' /etc/fstab
  

• 設置主機名：為每個節點設置唯一的主機名。

  hostnamectl set-hostname <hostname>
  

• 配置網絡：確保所有節點的IP地址設置為靜態IP，并在master節點上配置iptables規則。

  cat /etc/sysctl.d/k8s.conf
  net.bridge.bridge-nf-call-ip6tables = 1
  net.bridge.bridge-nf-call-iptables = 1
  net.ipv4.ip_forward = 1
  sysctl --system
  

2. 安裝Docker

在所有節點上安裝Docker，并確保版本兼容。

yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
yum install docker-ce docker-ce-cli containerd.io
systemctl start docker
systemctl enable docker

3. 安裝Kubernetes組件

在master節點上安裝kubeadm、kubelet和kubectl。

yum install -y kubeadm kubelet kubectl --nogpgcheck
systemctl enable kubelet
systemctl start kubelet

4. 初始化Master節點

在master節點上初始化Kubernetes集群。

kubeadm init --apiserver-advertise-address <master-ip> --image-repository registry.aliyuncs.com/google_containers --kubernetes-version v1.22.15 --service-cidr 10.96.0.0/12 --pod-network-cidr 10.244.0.0/16 --ignore-preflight-errors all

5. 配置kubectl

將kubectl配置文件復制到本地，以便在本地管理集群。

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

6. 加入Worker節點

在所有worker節點上運行kubeadm join命令，加入集群。

kubeadm join <master-ip>:6443 --token <token> --discovery-token-ca-cert-hash sha256:<hash>

7. 部署CNI網絡插件

部署Calico或其他CNI網絡插件，以支持Pod之間的通信。

kubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml

8. 監控和日志

• 監控集群狀態：使用kubectl get nodes、kubectl get pods --all-namespaces等命令監控集群狀態。
• 查看事件日志：使用kubectl get events查看集群事件日志。
• 檢查Pod日志：使用kubectl logs <pod-name> -c <container-name>查看Pod日志。

9. 故障排查

• 審視集群狀態：檢查節點狀態，確?；窘M件正常運行。
• 追蹤事件日志：通過事件日志了解集群中的重要事件和錯誤。
• 聚焦Pod狀態：檢查Pod狀態，排查容器或應用程序相關的問題。
• 檢查網絡連通性：確保服務、Pod和節點之間的網絡通信正常。
• 審視存儲配置：檢查存儲卷聲明、存儲類和持久卷的狀態。
• 研究容器日志：深入容器的日志，提供關于應用程序故障的重要線索。

10. 內核參數優化

優化內核參數以提高系統性能和穩定性。

net.ipv4.tcp_keepalive_time 600
net.ipv4.tcp_keepalive_intvl 30
net.ipv4.tcp_keepalive_probes 10
net.ipv6.conf.all.disable_ipv6 1
net.ipv4.neigh.default.gc_stale_time 120
net.ipv4.conf.all.rp_filter 0
net.ipv4.ip_local_port_range 45001 65000
net.ipv4.ip_forward 1
net.ipv4.tcp_max_tw_buckets 6000
net.ipv4.tcp_syncookies 1
net.ipv4.tcp_synack_retries 2
net.bridge.bridge-nf-call-ip6tables 1
net.bridge.bridge-nf-call-iptables 1
net.netfilter.nf_conntrack_max 2310720

通過遵循這些最佳實踐，你可以確保在CentOS上部署的Kubernetes集群更加穩定、高效和安全。