日日操夜夜添-日日操影院-日日草夜夜操-日日干干-精品一区二区三区波多野结衣-精品一区二区三区高清免费不卡

一、前言

二、基礎環境部署

• 1）前期準備（所有節點）

• 2）安裝容器 docker（所有節點）

• 3）配置 k8s yum 源（所有節點）

• 4）將 sandbox_image 鏡像源設置為阿里云 google_containers 鏡像源（所有節點）

• 5）配置 containerd cgroup 驅動程序 systemd（所有節點）

• 6）開始安裝 kubeadm，kubelet 和 kubectl（master 節點）

• 7）使用 kubeadm 初始化集群（master 節點）

• 8）安裝 Pod 網絡插件（CNI：Container Network Interface）(master)

• 9）node 節點加入 k8s 集群

• 10）配置 IPVS

• 11）集群高可用配置

• 12）部署 Nginx+Keepalived 高可用負載均衡器

• 三、k8s 管理平臺 dashboard 環境部署

  • 1）dashboard 部署

  • 2）創建登錄用戶

  • 3）配置 hosts 登錄 dashboard web

  • 四、k8s 鏡像倉庫 harbor 環境部署

    • 1）安裝 helm

    • 2）配置 hosts

    • 3）創建 stl 證書

    • 4）安裝 ingress

    • 5）安裝 nfs

    • 6）創建 nfs provisioner 和持久化存儲 SC

    • 7）部署 Harbor（Https 方式）

      
      

      一、前言

      官網：https://kubernetes.io/
      官方文檔：https://kubernetes.io/zh-cn/docs/home/

      二、基礎環境部署

      1）前期準備（所有節點）

      1、修改主機名和配置 hosts

      先部署 1master 和 2node 節點，后面再加一個 master 節點

      # 在192.168.0.113執行hostnamectl set-hostname  k8s-master-168-0-113# 在192.168.0.114執行hostnamectl set-hostname k8s-node1-168-0-114# 在192.168.0.115執行hostnamectl set-hostname k8s-node2-168-0-115

      登錄后復制

      配置 hosts

      cat >> /etc/hosts<<EOF192.168.0.113 k8s-master-168-0-113192.168.0.114 k8s-node1-168-0-114192.168.0.115 k8s-node2-168-0-115EOF

      登錄后復制

      2、配置 ssh 互信

      # 直接一直回車就行ssh-keygenssh-copy-id -i ~/.ssh/id_rsa.pub root@k8s-master-168-0-113ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8s-node1-168-0-114ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8s-node2-168-0-115

      登錄后復制

      3、時間同步

      yum install chrony -ysystemctl start chronydsystemctl enable chronydchronyc sources

      登錄后復制登錄后復制

      4、關閉防火墻

      systemctl stop firewalldsystemctl disable firewalld

      登錄后復制登錄后復制

      5、關閉 swap

      # 臨時關閉；關閉swap主要是為了性能考慮swapoff -a# 可以通過這個命令查看swap是否關閉了free# 永久關閉sed -ri 's/.*swap.*/#&/' /etc/fstab

      登錄后復制登錄后復制

      6、禁用 SELinux

      # 臨時關閉setenforce 0# 永久禁用sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config

      登錄后復制登錄后復制

      7、允許 iptables 檢查橋接流量（可選，所有節點）

      若要顯式加載此模塊，請運行 sudo modprobe br_netfilter，通過運行 lsmod | grep br_netfilter 來驗證 br_netfilter 模塊是否已加載，

      sudo modprobe br_netfilterlsmod | grep br_netfilter

      登錄后復制登錄后復制

      為了讓 Linux 節點的 iptables 能夠正確查看橋接流量，請確認 sysctl 配置中的 net.bridge.bridge-nf-call-iptables 設置為 1。例如：

      cat <<EOF | sudo tee /etc/modules-load.d/k8s.confoverlaybr_netfilterEOFsudo modprobe overlaysudo modprobe br_netfilter# 設置所需的 sysctl 參數，參數在重新啟動后保持不變cat <<EOF | sudo tee /etc/sysctl.d/k8s.confnet.bridge.bridge-nf-call-iptables  = 1net.bridge.bridge-nf-call-ip6tables = 1net.ipv4.ip_forward                 = 1EOF# 應用 sysctl 參數而不重新啟動sudo sysctl --system

      登錄后復制登錄后復制

      2）安裝容器 docker（所有節點）

      提示：v1.24 之前的 Kubernetes 版本包括與 Docker Engine 的直接集成，使用名為 dockershim 的組件。這種特殊的直接整合不再是 Kubernetes 的一部分 （這次刪除被作為 v1.20 發行版本的一部分宣布）。你可以閱讀檢查 Dockershim 棄用是否會影響你 以了解此刪除可能會如何影響你。要了解如何使用 dockershim 進行遷移，請參閱從 dockershim 遷移。

      # 配置yum源cd /etc/yum.repos.d ; mkdir bak; mv CentOS-Linux-* bak/# centos7wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo# centos8wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-8.repo# 安裝yum-config-manager配置工具yum -y install yum-utils# 設置yum源yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo# 安裝docker-ce版本yum install -y docker-ce# 啟動systemctl start docker# 開機自啟systemctl enable docker# 查看版本號docker --version# 查看版本具體信息docker version# Docker鏡像源設置# 修改文件 /etc/docker/daemon.json，沒有這個文件就創建# 添加以下內容后，重啟docker服務：cat >/etc/docker/daemon.json<<EOF{   "registry-mirrors": ["http://hub-mirror.c.163.com"]}EOF# 加載systemctl reload docker# 查看systemctl status docker containerd

      登錄后復制登錄后復制

      【溫馨提示】dockerd 實際真實調用的還是 containerd 的 api 接口，containerd 是 dockerd 和 runC 之間的一個中間交流組件。所以啟動 docker 服務的時候，也會啟動 containerd 服務的。

      3）配置 k8s yum 源（所有節點）

      cat > /etc/yum.repos.d/kubernetes.repo << EOF[k8s]name=k8senabled=1gpgcheck=0baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/EOF

      登錄后復制登錄后復制

      4）將 sandbox_image 鏡像源設置為阿里云 google_containers 鏡像源（所有節點）

      # 導出默認配置，config.toml這個文件默認是不存在的containerd config default > /etc/containerd/config.tomlgrep sandbox_image  /etc/containerd/config.tomlsed -i "s#k8s.gcr.io/pause#registry.aliyuncs.com/google_containers/pause#g"       /etc/containerd/config.tomlgrep sandbox_image  /etc/containerd/config.toml

      登錄后復制登錄后復制

      5）配置 containerd cgroup 驅動程序 systemd（所有節點）

      kubernets 自ｖ 1.24.0 后，就不再使用 docker.shim，替換采用 containerd 作為容器運行時端點。因此需要安裝 containerd（在 docker 的基礎下安裝），上面安裝 docker 的時候就自動安裝了 containerd 了。這里的 docker 只是作為客戶端而已。容器引擎還是 containerd。

      sed -i 's#SystemdCgroup = false#SystemdCgroup = true#g' /etc/containerd/config.toml# 應用所有更改后,重新啟動containerdsystemctl restart containerd

      登錄后復制登錄后復制

      6）開始安裝 kubeadm，kubelet 和 kubectl（master 節點）

      # 不指定版本就是最新版本，當前最新版就是1.24.1yum install -y kubelet-1.24.1  kubeadm-1.24.1  kubectl-1.24.1 --disableexcludes=kubernetes# disableexcludes=kubernetes：禁掉除了這個kubernetes之外的別的倉庫# 設置為開機自啟并現在立刻啟動服務 --now：立刻啟動服務systemctl enable --now kubelet# 查看狀態，這里需要等待一段時間再查看服務狀態，啟動會有點慢systemctl status kubelet

      登錄后復制

      查看日志，發現有報錯，報錯如下：

      kubelet.service: Main process exited, code=exited, status=1/FAILURE kubelet.service: Failed with result 'exit-code'.

      【解釋】重新安裝（或第一次安裝）k8s，未經過 kubeadm init 或者 kubeadm join 后，kubelet 會不斷重啟，這個是正常現象……，執行 init 或 join 后問題會自動解決，對此官網有如下描述，也就是此時不用理會 kubelet.service。

      查看版本

      kubectl versionyum info kubeadm

      登錄后復制

      7）使用 kubeadm 初始化集群（master 節點）

      最好提前把鏡像下載好，這樣安裝快

      docker pull registry.aliyuncs.com/google_containers/kube-apiserver:v1.24.1docker pull registry.aliyuncs.com/google_containers/kube-controller-manager:v1.24.1docker pull registry.aliyuncs.com/google_containers/kube-scheduler:v1.24.1docker pull registry.aliyuncs.com/google_containers/kube-proxy:v1.24.1docker pull registry.aliyuncs.com/google_containers/pause:3.7docker pull registry.aliyuncs.com/google_containers/etcd:3.5.3-0docker pull registry.aliyuncs.com/google_containers/coredns:v1.8.6

      登錄后復制

      集群初始化

      kubeadm init \  --apiserver-advertise-address=192.168.0.113 \  --image-repository registry.aliyuncs.com/google_containers \  --control-plane-endpoint=cluster-endpoint \  --kubernetes-version v1.24.1 \  --service-cidr=10.1.0.0/16 \  --pod-network-cidr=10.244.0.0/16 \  --v=5# –image-repository string：    這個用于指定從什么位置來拉取鏡像（1.13版本才有的），默認值是k8s.gcr.io，我們將其指定為國內鏡像地址：registry.aliyuncs.com/google_containers# –kubernetes-version string：  指定kubenets版本號，默認值是stable-1，會導致從https://dl.k8s.io/release/stable-1.txt下載最新的版本號，我們可以將其指定為固定版本（v1.22.1）來跳過網絡請求。# –apiserver-advertise-address  指明用 Master 的哪個 interface 與 Cluster 的其他節點通信。如果 Master 有多個 interface，建議明確指定，如果不指定，kubeadm 會自動選擇有默認網關的 interface。這里的ip為master節點ip，記得更換。# –pod-network-cidr             指定 Pod 網絡的范圍。Kubernetes 支持多種網絡方案，而且不同網絡方案對  –pod-network-cidr有自己的要求，這里設置為10.244.0.0/16 是因為我們將使用 flannel 網絡方案，必須設置成這個 CIDR。# --control-plane-endpoint     cluster-endpoint 是映射到該 IP 的自定義 DNS 名稱，這里配置hosts映射：192.168.0.113   cluster-endpoint。 這將允許你將 --control-plane-endpoint=cluster-endpoint 傳遞給 kubeadm init，并將相同的 DNS 名稱傳遞給 kubeadm join。 稍后你可以修改 cluster-endpoint 以指向高可用性方案中的負載均衡器的地址。

      登錄后復制

      【溫馨提示】kubeadm 不支持將沒有 --control-plane-endpoint 參數的單個控制平面集群轉換為高可用性集群。

      重置再初始化

      kubeadm resetrm -fr ~/.kube/  /etc/kubernetes/* var/lib/etcd/*kubeadm init \  --apiserver-advertise-address=192.168.0.113  \  --image-repository registry.aliyuncs.com/google_containers \  --control-plane-endpoint=cluster-endpoint \  --kubernetes-version v1.24.1 \  --service-cidr=10.1.0.0/16 \  --pod-network-cidr=10.244.0.0/16 \  --v=5# –image-repository string：    這個用于指定從什么位置來拉取鏡像（1.13版本才有的），默認值是k8s.gcr.io，我們將其指定為國內鏡像地址：registry.aliyuncs.com/google_containers# –kubernetes-version string：  指定kubenets版本號，默認值是stable-1，會導致從https://dl.k8s.io/release/stable-1.txt下載最新的版本號，我們可以將其指定為固定版本（v1.22.1）來跳過網絡請求。# –apiserver-advertise-address  指明用 Master 的哪個 interface 與 Cluster 的其他節點通信。如果 Master 有多個 interface，建議明確指定，如果不指定，kubeadm 會自動選擇有默認網關的 interface。這里的ip為master節點ip，記得更換。# –pod-network-cidr             指定 Pod 網絡的范圍。Kubernetes 支持多種網絡方案，而且不同網絡方案對  –pod-network-cidr有自己的要求，這里設置為10.244.0.0/16 是因為我們將使用 flannel 網絡方案，必須設置成這個 CIDR。# --control-plane-endpoint     cluster-endpoint 是映射到該 IP 的自定義 DNS 名稱，這里配置hosts映射：192.168.0.113   cluster-endpoint。 這將允許你將 --control-plane-endpoint=cluster-endpoint 傳遞給 kubeadm init，并將相同的 DNS 名稱傳遞給 kubeadm join。 稍后你可以修改 cluster-endpoint 以指向高可用性方案中的負載均衡器的地址。

      登錄后復制

      配置環境變量

      mkdir -p $HOME/.kubesudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/configsudo chown $(id -u):$(id -g) $HOME/.kube/config# 臨時生效（退出當前窗口重連環境變量失效）export KUBECONFIG=/etc/kubernetes/admin.conf# 永久生效（推薦）echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profilesource  ~/.bash_profile

      登錄后復制

      發現節點還是有問題，查看日志 /var/log/messages

      "Container runtime network not ready" networkReady="NetworkReady=false reason:NetworkPluginNotReady message:Network plugin returns error: cni plugin not initialized"

      
      接下來就是安裝 Pod 網絡插件

      8）安裝 Pod 網絡插件（CNI：Container Network Interface）(master)

      你必須部署一個基于 Pod 網絡插件的 容器網絡接口 (CNI)，以便你的 Pod 可以相互通信。

      # 最好提前下載鏡像（所有節點）docker pull quay.io/coreos/flannel:v0.14.0kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

      登錄后復制

      如果上面安裝失敗，則下載我百度里的，離線安裝

      鏈接：https://pan.baidu.com/s/1HB9xuO3bssAW7v5HzpXkeQ
      提取碼：8888

      再查看 node 節點，就已經正常了
      

      9）node 節點加入 k8s 集群

      先安裝 kubelet

      yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes# 設置為開機自啟并現在立刻啟動服務 --now：立刻啟動服務systemctl enable --now kubeletsystemctl status kubelet

      登錄后復制

      如果沒有令牌，可以通過在控制平面節點上運行以下命令來獲取令牌：

      kubeadm token list

      登錄后復制

      默認情況下，令牌會在24小時后過期。如果要在當前令牌過期后將節點加入集群， 則可以通過在控制平面節點上運行以下命令來創建新令牌：

      kubeadm token create# 再查看kubeadm token list

      登錄后復制

      如果你沒有 –discovery-token-ca-cert-hash 的值，則可以通過在控制平面節點上執行以下命令鏈來獲取它：

      openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'

      登錄后復制

      如果執行 kubeadm init 時沒有記錄下加入集群的命令，可以通過以下命令重新創建（推薦）一般不用上面的分別獲取 token 和 ca-cert-hash 方式，執行以下命令一氣呵成：

      kubeadm token create --print-join-command

      登錄后復制

      這里需要等待一段時間，再查看節點節點狀態，因為需要安裝 kube-proxy 和 flannel。另外，搜索公眾號技術社區后臺回復“Linux”，獲取一份驚喜禮包。

      kubectl get pods -Akubectl get nodes

      登錄后復制

      10）配置 IPVS

      【問題】集群內無法 ping 通 ClusterIP（或 ServiceName）

      1、加載 ip_vs 相關內核模塊

      modprobe -- ip_vsmodprobe -- ip_vs_shmodprobe -- ip_vs_rrmodprobe -- ip_vs_wrr

      登錄后復制

      所有節點驗證開啟了 ipvs：

      lsmod |grep ip_vs

      登錄后復制

      2、安裝 ipvsadm 工具

      yum install ipset ipvsadm -y

      登錄后復制

      3、編輯 kube-proxy 配置文件，mode 修改成 ipvs

      kubectl edit  configmap -n kube-system  kube-proxy

      登錄后復制

      4、重啟 kube-proxy

      # 先查看kubectl get pod -n kube-system | grep kube-proxy# 再delete讓它自拉起kubectl get pod -n kube-system | grep kube-proxy |awk '{system("kubectl delete pod "$1" -n kube-system")}'# 再查看kubectl get pod -n kube-system | grep kube-proxy

      登錄后復制

      5、查看 ipvs 轉發規則

      ipvsadm -Ln

      登錄后復制

      11）集群高可用配置

      配置高可用（HA）Kubernetes 集群實現的兩種方案：

      • 使用堆疊（stacked）控制平面節點，其中 etcd 節點與控制平面節點共存（本章使用），架構圖如下：
        • 使用外部 etcd 節點，其中 etcd 在與控制平面不同的節點上運行，架構圖如下：

          這里新增一臺機器作為另外一個 master 節點：192.168.0.116 配置跟上面 master 節點一樣。只是不需要最后一步初始化了。

          1、修改主機名和配置 hosts

          所有節點都統一如下配置：

          # 在192.168.0.113執行hostnamectl set-hostname  k8s-master-168-0-113# 在192.168.0.114執行hostnamectl set-hostname k8s-node1-168-0-114# 在192.168.0.115執行hostnamectl set-hostname k8s-node2-168-0-115# 在192.168.0.116執行hostnamectl set-hostname k8s-master2-168-0-116

          登錄后復制

          配置 hosts

          cat >> /etc/hosts<<EOF192.168.0.113 k8s-master-168-0-113 cluster-endpoint192.168.0.114 k8s-node1-168-0-114192.168.0.115 k8s-node2-168-0-115192.168.0.116 k8s-master2-168-0-116EOF

          登錄后復制

          2、配置 ssh 互信

          # 直接一直回車就行ssh-keygenssh-copy-id -i ~/.ssh/id_rsa.pub root@k8s-master-168-0-113ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8s-node1-168-0-114ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8s-node2-168-0-115ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8s-master2-168-0-116

          登錄后復制

          3、時間同步

          yum install chrony -ysystemctl start chronydsystemctl enable chronydchronyc sources

          登錄后復制登錄后復制

          7、關閉防火墻

          systemctl stop firewalldsystemctl disable firewalld

          登錄后復制登錄后復制

          4、關閉 swap

          # 臨時關閉；關閉swap主要是為了性能考慮swapoff -a# 可以通過這個命令查看swap是否關閉了free# 永久關閉sed -ri 's/.*swap.*/#&/' /etc/fstab

          登錄后復制登錄后復制

          5、禁用 SELinux

          # 臨時關閉setenforce 0# 永久禁用sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config

          登錄后復制登錄后復制

          6、允許 iptables 檢查橋接流量（可選，所有節點）

          若要顯式加載此模塊，請運行 sudo modprobe br_netfilter，通過運行 lsmod | grep br_netfilter 來驗證 br_netfilter 模塊是否已加載，

          sudo modprobe br_netfilterlsmod | grep br_netfilter

          登錄后復制登錄后復制

          為了讓 Linux 節點的 iptables 能夠正確查看橋接流量，請確認 sysctl 配置中的 net.bridge.bridge-nf-call-iptables 設置為 1。例如：

          cat <<EOF | sudo tee /etc/modules-load.d/k8s.confoverlaybr_netfilterEOFsudo modprobe overlaysudo modprobe br_netfilter# 設置所需的 sysctl 參數，參數在重新啟動后保持不變cat <<EOF | sudo tee /etc/sysctl.d/k8s.confnet.bridge.bridge-nf-call-iptables  = 1net.bridge.bridge-nf-call-ip6tables = 1net.ipv4.ip_forward                 = 1EOF# 應用 sysctl 參數而不重新啟動sudo sysctl --system

          登錄后復制登錄后復制

          7、安裝容器 docker（所有節點）

          提示：v1.24 之前的 Kubernetes 版本包括與 Docker Engine 的直接集成，使用名為 dockershim 的組件。這種特殊的直接整合不再是 Kubernetes 的一部分 （這次刪除被作為 v1.20 發行版本的一部分宣布）。你可以閱讀檢查 Dockershim 棄用是否會影響你 以了解此刪除可能會如何影響你。要了解如何使用 dockershim 進行遷移，請參閱從 dockershim 遷移。

          # 配置yum源cd /etc/yum.repos.d ; mkdir bak; mv CentOS-Linux-* bak/# centos7wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo# centos8wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-8.repo# 安裝yum-config-manager配置工具yum -y install yum-utils# 設置yum源yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo# 安裝docker-ce版本yum install -y docker-ce# 啟動systemctl start docker# 開機自啟systemctl enable docker# 查看版本號docker --version# 查看版本具體信息docker version# Docker鏡像源設置# 修改文件 /etc/docker/daemon.json，沒有這個文件就創建# 添加以下內容后，重啟docker服務：cat >/etc/docker/daemon.json<<EOF{   "registry-mirrors": ["http://hub-mirror.c.163.com"]}EOF# 加載systemctl reload docker# 查看systemctl status docker containerd

          登錄后復制登錄后復制

          【溫馨提示】dockerd 實際真實調用的還是 containerd 的 api 接口，containerd 是 dockerd 和 runC 之間的一個中間交流組件。所以啟動 docker 服務的時候，也會啟動 containerd 服務的。

          8、配置 k8s yum 源（所有節點）

          cat > /etc/yum.repos.d/kubernetes.repo << EOF[k8s]name=k8senabled=1gpgcheck=0baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/EOF

          登錄后復制登錄后復制

          9、將 sandbox_image 鏡像源設置為阿里云 google_containers 鏡像源（所有節點）

          # 導出默認配置，config.toml這個文件默認是不存在的containerd config default > /etc/containerd/config.tomlgrep sandbox_image  /etc/containerd/config.tomlsed -i "s#k8s.gcr.io/pause#registry.aliyuncs.com/google_containers/pause#g"       /etc/containerd/config.tomlgrep sandbox_image  /etc/containerd/config.toml

          登錄后復制登錄后復制

          10、配置 containerd cgroup 驅動程序 systemd

          kubernets 自ｖ 1.24.0 后，就不再使用 docker.shim，替換采用 containerd 作為容器運行時端點。因此需要安裝 containerd（在 docker 的基礎下安裝），上面安裝 docker 的時候就自動安裝了 containerd 了。這里的 docker 只是作為客戶端而已。容器引擎還是 containerd。

          sed -i 's#SystemdCgroup = false#SystemdCgroup = true#g' /etc/containerd/config.toml# 應用所有更改后,重新啟動containerdsystemctl restart containerd

          登錄后復制登錄后復制

          11、開始安裝 kubeadm，kubelet 和 kubectl（master 節點）

          # 不指定版本就是最新版本，當前最新版就是1.24.1yum install -y kubelet-1.24.1  kubeadm-1.24.1  kubectl-1.24.1 --disableexcludes=kubernetes# disableexcludes=kubernetes：禁掉除了這個kubernetes之外的別的倉庫# 設置為開機自啟并現在立刻啟動服務 --now：立刻啟動服務systemctl enable --now kubelet# 查看狀態，這里需要等待一段時間再查看服務狀態，啟動會有點慢systemctl status kubelet# 查看版本kubectl versionyum info kubeadm

          登錄后復制

          12、加入 k8s 集群

          # 證如果過期了，可以使用下面命令生成新證書上傳，這里會打印出certificate key，后面會用到kubeadm init phase upload-certs --upload-certs# 你還可以在 【init】期間指定自定義的 --certificate-key，以后可以由 join 使用。 要生成這樣的密鑰，可以使用以下命令（這里不執行，就用上面那個自命令就可以了）：kubeadm certs certificate-keykubeadm token create --print-join-commandkubeadm join cluster-endpoint:6443 --token wswrfw.fc81au4yvy6ovmhh --discovery-token-ca-cert-hash sha256:43a3924c25104d4393462105639f6a02b8ce284728775ef9f9c30eed8e0abc0f --control-plane --certificate-key 8d2709697403b74e35d05a420bd2c19fd8c11914eb45f2ff22937b245bed5b68# --control-plane 標志通知 kubeadm join 創建一個新的控制平面。加入master必須加這個標記# --certificate-key ... 將導致從集群中的 kubeadm-certs Secret 下載控制平面證書并使用給定的密鑰進行解密。這里的值就是上面這個命令（kubeadm init phase upload-certs --upload-certs）打印出的key。

          登錄后復制

          
          根據提示執行如下命令：

          mkdir -p $HOME/.kubesudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/configsudo chown $(id -u):$(id -g) $HOME/.kube/config

          登錄后復制

          查看

          kubectl get nodeskubectl get pods -A -owide

          登錄后復制

          
          雖然現在已經有兩個 master 了，但是對外還是只能有一個入口的，所以還得要一個負載均衡器，如果一個 master 掛了，會自動切到另外一個 master 節點。

          12）部署 Nginx+Keepalived 高可用負載均衡器

          1、安裝 Nginx 和 Keepalived

          # 在兩個master節點上執行yum install nginx keepalived -y

          登錄后復制

          2、Nginx 配置

          在兩個 master 節點配置

          cat > /etc/nginx/nginx.conf << "EOF"user nginx;worker_processes auto;error_log /var/log/nginx/error.log;pid /run/nginx.pid;include /usr/share/nginx/modules/*.conf;events {    worker_connections 1024;}# 四層負載均衡，為兩臺Master apiserver組件提供負載均衡stream {    log_format  main  '$remote_addr $upstream_addr - [$time_local] $status $upstream_bytes_sent';    access_log  /var/log/nginx/k8s-access.log  main;    upstream k8s-apiserver {    # Master APISERVER IP:PORT       server 192.168.0.113:6443;    # Master2 APISERVER IP:PORT       server 192.168.0.116:6443;    }    server {       listen 16443;       proxy_pass k8s-apiserver;    }}http {    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '                      '$status $body_bytes_sent "$http_referer" '                      '"$http_user_agent" "$http_x_forwarded_for"';    access_log  /var/log/nginx/access.log  main;    sendfile            on;    tcp_nopush          on;    tcp_nodelay         on;    keepalive_timeout   65;    types_hash_max_size 2048;    include             /etc/nginx/mime.types;    default_type        application/octet-stream;    server {        listen       80 default_server;        server_name  _;        location / {        }    }}EOF

          登錄后復制

          【溫馨提示】如果只保證高可用，不配置 k8s-apiserver 負載均衡的話，可以不裝 nginx，但是最好還是配置一下 k8s-apiserver 負載均衡。

          3、Keepalived 配置（master）

          cat > /etc/keepalived/keepalived.conf << EOFglobal_defs {   notification_email {     acassen@firewall.loc     failover@firewall.loc     sysadmin@firewall.loc   }   notification_email_from fage@qq.com   smtp_server 127.0.0.1   smtp_connect_timeout 30   router_id NGINX_MASTER}vrrp_script check_nginx {    script "/etc/keepalived/check_nginx.sh"}vrrp_instance VI_1 {    state MASTER    interface ens33    virtual_router_id 51 # VRRP 路由 ID實例，每個實例是唯一的    priority 100    # 優先級，備服務器設置 90    advert_int 1    # 指定VRRP 心跳包通告間隔時間，默認1秒    authentication {        auth_type PASS        auth_pass 1111    }    # 虛擬IP    virtual_ipaddress {        192.168.0.120/24    }    track_script {        check_nginx    }}EOF

          登錄后復制

          • vrrp_script：指定檢查 nginx 工作狀態腳本（根據 nginx 狀態判斷是否故障轉移）
          • virtual_ipaddress：虛擬 IP（VIP）

            檢查 nginx 狀態腳本：

            cat > /etc/keepalived/check_nginx.sh  << "EOF"#!/bin/bashcount=$(ps -ef |grep nginx |egrep -cv "grep|$$")if [ "$count" -eq 0 ];then    exit 1else    exit 0fiEOFchmod +x /etc/keepalived/check_nginx.sh

            登錄后復制登錄后復制

            4、Keepalived 配置（backup）

            cat > /etc/keepalived/keepalived.conf << EOFglobal_defs {   notification_email {     acassen@firewall.loc     failover@firewall.loc     sysadmin@firewall.loc   }   notification_email_from fage@qq.com   smtp_server 127.0.0.1   smtp_connect_timeout 30   router_id NGINX_BACKUP}vrrp_script check_nginx {    script "/etc/keepalived/check_nginx.sh"}vrrp_instance VI_1 {    state BACKUP    interface ens33    virtual_router_id 51 # VRRP 路由 ID實例，每個實例是唯一的    priority 90    advert_int 1    authentication {        auth_type PASS        auth_pass 1111    }    virtual_ipaddress {        192.168.0.120/24    }    track_script {        check_nginx    }}EOF

            登錄后復制

            檢查 nginx 狀態腳本：

            cat > /etc/keepalived/check_nginx.sh  << "EOF"#!/bin/bashcount=$(ps -ef |grep nginx |egrep -cv "grep|$$")if [ "$count" -eq 0 ];then    exit 1else    exit 0fiEOFchmod +x /etc/keepalived/check_nginx.sh

            登錄后復制登錄后復制

            5、啟動并設置開機啟動

            systemctl daemon-reloadsystemctl restart nginx && systemctl enable nginx && systemctl status nginxsystemctl restart keepalived && systemctl enable keepalived && systemctl status keepalived

            登錄后復制

            查看 VIP

            ip a

            登錄后復制

            6、修改 hosts（所有節點）

            將 cluster-endpoint 之前執行的 ip 修改執行現在的 VIP

            192.168.0.113 k8s-master-168-0-113192.168.0.114 k8s-node1-168-0-114192.168.0.115 k8s-node2-168-0-115192.168.0.116 k8s-master2-168-0-116192.168.0.120 cluster-endpoint

            登錄后復制

            7、測試驗證

            查看版本（負載均衡測試驗證）

            curl -k https://cluster-endpoint:16443/version

            登錄后復制

            
            高可用測試驗證，將 k8s-master-168-0-113 節點關機

            shutdown -h nowcurl -k https://cluster-endpoint:16443/versionkubectl get nodes -Akubectl get pods -A

            登錄后復制

            【溫馨提示】堆疊集群存在耦合失敗的風險。如果一個節點發生故障，則 etcd 成員和控制平面實例都將丟失， 并且冗余會受到影響。你可以通過添加更多控制平面節點來降低此風險。

            三、k8s 管理平臺 dashboard 環境部署

            1）dashboard 部署

            GitHub 地址：https://github.com/kubernetes/dashboard

            kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.6.0/aio/deploy/recommended.yamlkubectl get pods -n kubernetes-dashboard

            登錄后復制

            但是這個只能內部訪問，所以要外部訪問，要么部署 ingress，要么就是設置 service NodePort 類型。這里選擇 service 暴露端口。另外，搜索公眾號編程技術圈后臺回復“1024”，獲取一份驚喜禮包。

            wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.6.0/aio/deploy/recommended.yaml

            登錄后復制

            修改后的內容如下：

            # Copyright 2017 The Kubernetes Authors.## Licensed under the Apache License, Version 2.0 (the "License");# you may not use this file except in compliance with the License.# You may obtain a copy of the License at##     http://www.apache.org/licenses/LICENSE-2.0## Unless required by applicable law or agreed to in writing, software# distributed under the License is distributed on an "AS IS" BASIS,# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.# See the License for the specific language governing permissions and# limitations under the License.apiVersion: v1kind: Namespacemetadata:  name: kubernetes-dashboard---apiVersion: v1kind: ServiceAccountmetadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard  namespace: kubernetes-dashboard---kind: ServiceapiVersion: v1metadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard  namespace: kubernetes-dashboardspec:  type: NodePort  ports:    - port: 443      targetPort: 8443      nodePort: 31443  selector:    k8s-app: kubernetes-dashboard---apiVersion: v1kind: Secretmetadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard-certs  namespace: kubernetes-dashboardtype: Opaque---apiVersion: v1kind: Secretmetadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard-csrf  namespace: kubernetes-dashboardtype: Opaquedata:  csrf: ""---apiVersion: v1kind: Secretmetadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard-key-holder  namespace: kubernetes-dashboardtype: Opaque---kind: ConfigMapapiVersion: v1metadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard-settings  namespace: kubernetes-dashboard---kind: RoleapiVersion: rbac.authorization.k8s.io/v1metadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard  namespace: kubernetes-dashboardrules:  # Allow Dashboard to get, update and delete Dashboard exclusive secrets.  - apiGroups: [""]    resources: ["secrets"]    resourceNames: ["kubernetes-dashboard-key-holder", "kubernetes-dashboard-certs", "kubernetes-dashboard-csrf"]    verbs: ["get", "update", "delete"]    # Allow Dashboard to get and update 'kubernetes-dashboard-settings' config map.  - apiGroups: [""]    resources: ["configmaps"]    resourceNames: ["kubernetes-dashboard-settings"]    verbs: ["get", "update"]    # Allow Dashboard to get metrics.  - apiGroups: [""]    resources: ["services"]    resourceNames: ["heapster", "dashboard-metrics-scraper"]    verbs: ["proxy"]  - apiGroups: [""]    resources: ["services/proxy"]    resourceNames: ["heapster", "http:heapster:", "https:heapster:", "dashboard-metrics-scraper", "http:dashboard-metrics-scraper"]    verbs: ["get"]---kind: ClusterRoleapiVersion: rbac.authorization.k8s.io/v1metadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboardrules:  # Allow Metrics Scraper to get metrics from the Metrics server  - apiGroups: ["metrics.k8s.io"]    resources: ["pods", "nodes"]    verbs: ["get", "list", "watch"]---apiVersion: rbac.authorization.k8s.io/v1kind: RoleBindingmetadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard  namespace: kubernetes-dashboardroleRef:  apiGroup: rbac.authorization.k8s.io  kind: Role  name: kubernetes-dashboardsubjects:  - kind: ServiceAccount    name: kubernetes-dashboard    namespace: kubernetes-dashboard---apiVersion: rbac.authorization.k8s.io/v1kind: ClusterRoleBindingmetadata:  name: kubernetes-dashboardroleRef:  apiGroup: rbac.authorization.k8s.io  kind: ClusterRole  name: kubernetes-dashboardsubjects:  - kind: ServiceAccount    name: kubernetes-dashboard    namespace: kubernetes-dashboard---kind: DeploymentapiVersion: apps/v1metadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard  namespace: kubernetes-dashboardspec:  replicas: 1  revisionHistoryLimit: 10  selector:    matchLabels:      k8s-app: kubernetes-dashboard  template:    metadata:      labels:        k8s-app: kubernetes-dashboard    spec:      securityContext:        seccompProfile:          type: RuntimeDefault      containers:        - name: kubernetes-dashboard          image: kubernetesui/dashboard:v2.6.0          imagePullPolicy: Always          ports:            - containerPort: 8443              protocol: TCP          args:            - --auto-generate-certificates            - --namespace=kubernetes-dashboard            # Uncomment the following line to manually specify Kubernetes API server Host            # If not specified, Dashboard will attempt to auto discover the API server and connect            # to it. Uncomment only if the default does not work.            # - --apiserver-host=http://my-address:port          volumeMounts:            - name: kubernetes-dashboard-certs              mountPath: /certs              # Create on-disk volume to store exec logs            - mountPath: /tmp              name: tmp-volume          livenessProbe:            httpGet:              scheme: HTTPS              path: /              port: 8443            initialDelaySeconds: 30            timeoutSeconds: 30          securityContext:            allowPrivilegeEscalation: false            readOnlyRootFilesystem: true            runAsUser: 1001            runAsGroup: 2001      volumes:        - name: kubernetes-dashboard-certs          secret:            secretName: kubernetes-dashboard-certs        - name: tmp-volume          emptyDir: {}      serviceAccountName: kubernetes-dashboard      nodeSelector:        "kubernetes.io/os": linux      # Comment the following tolerations if Dashboard must not be deployed on master      tolerations:        - key: node-role.kubernetes.io/master          effect: NoSchedule---kind: ServiceapiVersion: v1metadata:  labels:    k8s-app: dashboard-metrics-scraper  name: dashboard-metrics-scraper  namespace: kubernetes-dashboardspec:  ports:    - port: 8000      targetPort: 8000  selector:    k8s-app: dashboard-metrics-scraper---kind: DeploymentapiVersion: apps/v1metadata:  labels:    k8s-app: dashboard-metrics-scraper  name: dashboard-metrics-scraper  namespace: kubernetes-dashboardspec:  replicas: 1  revisionHistoryLimit: 10  selector:    matchLabels:      k8s-app: dashboard-metrics-scraper  template:    metadata:      labels:        k8s-app: dashboard-metrics-scraper    spec:      securityContext:        seccompProfile:          type: RuntimeDefault      containers:        - name: dashboard-metrics-scraper          image: kubernetesui/metrics-scraper:v1.0.8          ports:            - containerPort: 8000              protocol: TCP          livenessProbe:            httpGet:              scheme: HTTP              path: /              port: 8000            initialDelaySeconds: 30            timeoutSeconds: 30          volumeMounts:          - mountPath: /tmp            name: tmp-volume          securityContext:            allowPrivilegeEscalation: false            readOnlyRootFilesystem: true            runAsUser: 1001            runAsGroup: 2001      serviceAccountName: kubernetes-dashboard      nodeSelector:        "kubernetes.io/os": linux      # Comment the following tolerations if Dashboard must not be deployed on master      tolerations:        - key: node-role.kubernetes.io/master          effect: NoSchedule      volumes:        - name: tmp-volume          emptyDir: {}

            登錄后復制

            
            重新部署

            kubectl delete -f recommended.yamlkubectl apply -f recommended.yamlkubectl get svc,pods -n kubernetes-dashboard

            登錄后復制

            2）創建登錄用戶

            cat >ServiceAccount.yaml<<EOFapiVersion: v1kind: ServiceAccountmetadata:  name: admin-user  namespace: kubernetes-dashboard---apiVersion: rbac.authorization.k8s.io/v1kind: ClusterRoleBindingmetadata:  name: admin-userroleRef:  apiGroup: rbac.authorization.k8s.io  kind: ClusterRole  name: cluster-adminsubjects:- kind: ServiceAccount  name: admin-user  namespace: kubernetes-dashboardEOFkubectl apply -f ServiceAccount.yaml

            登錄后復制

            創建并獲取登錄 token

            kubectl -n kubernetes-dashboard create token admin-user

            登錄后復制

            3）配置 hosts 登錄 dashboard web

            192.168.0.120 cluster-endpoint

            登錄后復制

            登錄：https://cluster-endpoint:31443
            

            輸入上面創建的 token 登錄
            

            四、k8s 鏡像倉庫 harbor 環境部署

            GitHub 地址：https://github.com/helm/helm/releases
            這使用 helm 安裝，所以得先安裝 helm

            1）安裝 helm

            mkdir -p /opt/k8s/helm && cd /opt/k8s/helmwget https://get.helm.sh/helm-v3.9.0-rc.1-linux-amd64.tar.gztar -xf helm-v3.9.0-rc.1-linux-amd64.tar.gzln -s /opt/k8s/helm/linux-amd64/helm /usr/bin/helmhelm versionhelm help

            登錄后復制

            2）配置 hosts

            192.168.0.120 myharbor.com

            登錄后復制

            3）創建 stl 證書

            mkdir /opt/k8s/helm/stl && cd /opt/k8s/helm/stl# 生成 CA 證書私鑰openssl genrsa -out ca.key 4096# 生成 CA 證書openssl req -x509 -new -nodes -sha512 -days 3650 \ -subj "/C=CN/ST=Guangdong/L=Shenzhen/O=harbor/OU=harbor/CN=myharbor.com" \ -key ca.key \ -out ca.crt# 創建域名證書，生成私鑰openssl genrsa -out myharbor.com.key 4096# 生成證書簽名請求 CSRopenssl req -sha512 -new \    -subj "/C=CN/ST=Guangdong/L=Shenzhen/O=harbor/OU=harbor/CN=myharbor.com" \    -key myharbor.com.key \    -out myharbor.com.csr# 生成 x509 v3 擴展cat > v3.ext <<-EOFauthorityKeyIdentifier=keyid,issuerbasicConstraints=CA:FALSEkeyUsage = digitalSignature, nonRepudiation, keyEncipherment, dataEnciphermentextendedKeyUsage = serverAuthsubjectAltName = @alt_names[alt_names]DNS.1=myharbor.comDNS.2=*.myharbor.comDNS.3=hostnameEOF#創建 Harbor 訪問證書openssl x509 -req -sha512 -days 3650 \    -extfile v3.ext \    -CA ca.crt -CAkey ca.key -CAcreateserial \    -in myharbor.com.csr \    -out myharbor.com.crt

            登錄后復制

            4）安裝 ingress

            ingress 官方網站：https://kubernetes.github.io/ingress-nginx/
            ingress 倉庫地址：https://github.com/kubernetes/ingress-nginx
            部署文檔：https://kubernetes.github.io/ingress-nginx/deploy/

            1、通過 helm 部署

            helm upgrade --install ingress-nginx ingress-nginx \  --repo https://kubernetes.github.io/ingress-nginx \  --namespace ingress-nginx --create-namespace

            登錄后復制

            2、通過 YAML 文件安裝（本章使用這個方式安裝 ingress）

            kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v1.2.0/deploy/static/provider/cloud/deploy.yaml

            登錄后復制

            如果下載鏡像失敗，可以用以下方式修改鏡像地址再安裝

            牛逼啊！接私活必備的 N 個開源項目！趕快收藏

            登錄后復制

            # 可以先把鏡像下載，再安裝
            docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/nginx-ingress-controller:v1.2.0
            docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-webhook-certgen:v1.1.1
            
            wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v1.2.0/deploy/static/provider/cloud/deploy.yaml
            # 修改鏡像地址
            sed -i 's@k8s.gcr.io/ingress-nginx/controller:v1.2.0\(.*\)@registry.cn-hangzhou.aliyuncs.com/google_containers/nginx-ingress-controller:v1.2.0@' deploy.yaml
            sed -i 's@k8s.gcr.io/ingress-nginx/kube-webhook-certgen:v1.1.1\(.*\)$@registry.cn-hangzhou.aliyuncs.com/google_containers/kube-webhook-certgen:v1.1.1@' deploy.yaml
            
            ###還需要修改兩地方
            #1、kind: 類型修改成DaemonSet，replicas: 注銷掉，因為DaemonSet模式會每個節點運行一個pod
            #2、在添加一條：hostnetwork：true
            #3、把LoadBalancer修改成NodePort
            #4、在--validating-webhook-key下面添加- --watch-ingress-without-class=true
            #5、設置master節點可調度
            kubectl taint nodes k8s-master-168-0-113 node-role.kubernetes.io/control-plane:NoSchedule-
            kubectl taint nodes k8s-master2-168-0-116 node-role.kubernetes.io/control-plane:NoSchedule-
            
            kubectl apply -f deploy.yaml

            登錄后復制

            5）安裝 nfs

            1、所有節點安裝 nfs

            yum -y install  nfs-utils rpcbind

            登錄后復制

            2、在 master 節點創建共享目錄并授權

            mkdir /opt/nfsdata
            # 授權共享目錄
            chmod 666 /opt/nfsdata

            登錄后復制

            3、配置 exports 文件

            cat > /etc/exports<<EOF
            /opt/nfsdata *(rw,no_root_squash,no_all_squash,sync)
            EOF
            # 配置生效
            exportfs -r

            登錄后復制

            exportfs 命令

            常用選項
            -a 全部掛載或者全部卸載
            -r 重新掛載
            -u 卸載某一個目錄
            -v 顯示共享目錄 以下操作在服務端上

            4、啟動 rpc 和 nfs（客戶端只需要啟動 rpc 服務）（注意順序）

            systemctl start rpcbind
            systemctl start nfs-server
            systemctl enable rpcbind
            systemctl enable nfs-server

            登錄后復制

            查看

            showmount -e
            # VIP
            showmount -e 192.168.0.120

            登錄后復制

            -e 顯示 NFS 服務器的共享列表
            -a 顯示本機掛載的文件資源的情況 NFS 資源的情況
            -v 顯示版本號

            5、客戶端

            # 安裝
            yum -y install  nfs-utils rpcbind
            # 啟動rpc服務
            systemctl start rpcbind
            systemctl enable rpcbind
            # 創建掛載目錄
            mkdir /mnt/nfsdata
            # 掛載
            echo "192.168.0.120:/opt/nfsdata /mnt/nfsdata     nfs    defaults  0 1">> /etc/fstab
            mount -a

            登錄后復制

            6、rsync 數據同步

            【1】rsync 安裝

            # 兩端都得安裝
            yum -y install rsync

            登錄后復制

            【2】配置

            在/etc/rsyncd.conf 中添加

            cat >/etc/rsyncd.conf<<EOF
            uid = root
            gid = root
            #禁錮在源目錄
            use chroot = yes
            #監聽地址
            address = 192.168.0.113
            #監聽地址tcp/udp 873，可通過cat /etc/services | grep rsync查看
            port 873
            #日志文件位置
            log file = /var/log/rsyncd.log
            #存放進程 ID 的文件位置
            pid file = /var/run/rsyncd.pid
            #允許訪問的客戶機地址
            hosts allow = 192.168.0.0/16
            #共享模塊名稱
            [nfsdata]
            #源目錄的實際路徑
            path = /opt/nfsdata
            comment = Document Root of www.kgc.com
            #指定客戶端是否可以上傳文件，默認對所有模塊為 true
            read only = yes
            #同步時不再壓縮的文件類型
            dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z
            #授權賬戶，多個賬號以空格分隔，不加則為匿名，不依賴系統賬號
            auth users = backuper
            #存放賬戶信息的數據文件
            secrets file = /etc/rsyncd_users.db
            EOF

            登錄后復制

            配置 rsyncd_users.db

            cat >/etc/rsyncd_users.db<<EOF
            backuper:123456
            EOF
            #官方要求，最好只是賦權600！
            chmod 600 /etc/rsyncd_users.db

            登錄后復制

            【3】rsyncd.conf 常用參數詳解

            rsyncd.conf 參數

            rsyncd.conf 參數	參數說明
            uid=root	rsync 使用的用戶。
            gid=root	rsync 使用的用戶組（用戶所在的組）
            use chroot=no	如果為 true，daemon 會在客戶端傳輸文件前“chroot to the path”。這是一種安全配置，因為我們大多數都在內網，所以不配也沒關系
            max connections=200	設置最大連接數，默認 0，意思無限制，負值為關閉這個模塊
            timeout=400	默認為 0，表示 no timeout，建議 300-600（5-10 分鐘）
            pid file	rsync daemon 啟動后將其進程 pid 寫入此文件。如果這個文件存在，rsync 不會覆蓋該文件，而是會終止
            lock file	指定 lock 文件用來支持“max connections”參數，使得總連接數不會超過限制
            log file	不設或者設置錯誤，rsync 會使用 rsyslog 輸出相關日志信息
            ignore errors	忽略 I/O 錯誤
            read only=false	指定客戶端是否可以上傳文件，默認對所有模塊為 true
            list=false	是否允許客戶端可以查看可用模塊列表，默認為可以
            hosts allow	指定可以聯系的客戶端主機名或和 ip 地址或地址段，默認情況沒有此參數，即都可以連接
            hosts deny	指定不可以聯系的客戶端主機名或 ip 地址或地址段，默認情況沒有此參數，即都可以連接
            auth users	指定以空格或逗號分隔的用戶可以使用哪些模塊，用戶不需要在本地系統中存在。默認為所有用戶無密碼訪問
            secrets file	指定用戶名和密碼存放的文件，格式；用戶名；密碼，密碼不超過 8 位
            [backup]	這里就是模塊名稱，需用中括號擴起來，起名稱沒有特殊要求，但最好是有意義的名稱，便于以后維護
            path	這個模塊中，daemon 使用的文件系統或目錄，目錄的權限要注意和配置文件中的權限一致，否則會遇到讀寫的問題

            【4】rsync 常用命令參數詳解

            rsync --help
            
            rsync [選項]  原始位置   目標位置
            
            常用選項    說明
            -r    遞歸模式，包含目錄及子目錄中的所有文件
            -l    對于符號鏈接文件仍然復制為符號鏈接文件
            -v    顯示同步過程的詳細信息
            -z    在傳輸文件時進行壓縮goD
            -p    保留文件的權限標記
            -a    歸檔模式，遞歸并保留對象屬性，等同于-rlpt
            -t    保留文件的時間標記
            -g    保留文件的屬組標記（僅超級用戶使用）
            -o    保留文件的屬主標記（僅超級用戶使用）
            -H    保留硬鏈接文件
            -A    保留ACL屬性信息
            -D    保留設備文件及其他特殊文件
            --delete  刪除目標位置有而原始位置沒有的文件
            --checksum  根據對象的校驗和來決定是否跳過文件

            登錄后復制

            【5】啟動服務（數據源機器）

            #rsync監聽端口：873
            #rsync運行模式：C/S
            rsync --daemon --config=/etc/rsyncd.conf
            netstat -tnlp|grep :873

            登錄后復制

            【6】執行命令同步數據

            # 在目的機器上執行
            # rsync -avz 用戶名@源主機地址/源目錄 目的目錄
            rsync -avz root@192.168.0.113:/opt/nfsdata/* /opt/nfsdata/

            登錄后復制

            【7】crontab 定時同步

            # 配置crontab， 每五分鐘同步一次，這種方式不好
            */5 * * * * rsync -avz root@192.168.0.113:/opt/nfsdata/* /opt/nfsdata/

            登錄后復制

            【溫馨提示】crontab 定時同步數據不太好，可以使用rsync+inotify做數據實時同步，這里篇幅有點長了，先不講，如果后面有時間會出一篇單獨文章來講。

            6）創建 nfs provisioner 和持久化存儲 SC

            【溫馨提示】這里跟我之前的文章有點不同，之前的方式也不適用新版本。

            GitHub 地址：https://github.com/kubernetes-sigs/nfs-subdir-external-provisioner

            helm 部署 nfs-subdir-external-provisioner

            1、添加 helm 倉庫

            helm repo add nfs-subdir-external-provisioner https://kubernetes-sigs.github.io/nfs-subdir-external-provisioner/

            登錄后復制

            2、helm 安裝 nfs provisioner

            【溫馨提示】默認鏡像是無法訪問的，這里使用 dockerhub 搜索到的鏡像willdockerhub/nfs-subdir-external-provisioner:v4.0.2，還有就是 StorageClass 不分命名空間，所有在所有命名空間下都可以使用。

            helm install nfs-subdir-external-provisioner nfs-subdir-external-provisioner/nfs-subdir-external-provisioner \
              --namespace=nfs-provisioner \
              --create-namespace \
              --set image.repository=willdockerhub/nfs-subdir-external-provisioner \
              --set image.tag=v4.0.2 \
              --set replicaCount=2 \
              --set storageClass.name=nfs-client \
              --set storageClass.defaultClass=true \
              --set nfs.server=192.168.0.120 \
              --set nfs.path=/opt/nfsdata

            登錄后復制

            【溫馨提示】上面 nfs.server 設置為 VIP，可實現高可用。

            3、查看

            kubectl get pods,deploy,sc -n nfs-provisioner

            登錄后復制

            7）部署 Harbor（Https 方式）

            1、創建 Namespace

            kubectl create ns harbor

            登錄后復制

            2、創建證書秘鑰

            kubectl create secret tls myharbor.com --key myharbor.com.key --cert myharbor.com.crt -n harbor
            kubectl get secret myharbor.com -n harbor

            登錄后復制

            3、添加 Chart 庫

            helm repo add harbor https://helm.goharbor.io

            登錄后復制

            4、通過 helm 安裝 harbor

            helm install myharbor --namespace harbor harbor/harbor \
              --set expose.ingress.hosts.core=myharbor.com \
              --set expose.ingress.hosts.notary=notary.myharbor.com \
              --set-string expose.ingress.annotations.'nginx\.org/client-max-body-size'="1024m" \
              --set expose.tls.secretName=myharbor.com \
              --set persistence.persistentVolumeClaim.registry.storageClass=nfs-client \
              --set persistence.persistentVolumeClaim.jobservice.storageClass=nfs-client \
              --set persistence.persistentVolumeClaim.database.storageClass=nfs-client \
              --set persistence.persistentVolumeClaim.redis.storageClass=nfs-client \
              --set persistence.persistentVolumeClaim.trivy.storageClass=nfs-client \
              --set persistence.persistentVolumeClaim.chartmuseum.storageClass=nfs-client \
              --set persistence.enabled=true \
              --set externalURL=https://myharbor.com \
              --set harborAdminPassword=Harbor12345

            登錄后復制

            這里稍等一段時間在查看資源狀態

            kubectl get ingress,svc,pods,pvc -n harbor

            登錄后復制

            5、ingress 沒有 ADDRESS 問題解決

            【分析】，發現"error: endpoints “default-http-backend” not found"

            cat << EOF > default-http-backend.yaml
            ---
            
            apiVersion: apps/v1
            kind: Deployment
            metadata:
              name: default-http-backend
              labels:
                app: default-http-backend
              namespace: harbor
            spec:
              replicas: 1
              selector:
                matchLabels:
                  app: default-http-backend
              template:
                metadata:
                  labels:
                    app: default-http-backend
                spec:
                  terminationGracePeriodSeconds: 60
                  containers:
                  - name: default-http-backend
                    # Any image is permissible as long as:
                    # 1. It serves a 404 page at /
                    # 2. It serves 200 on a /healthz endpoint
                    image: registry.cn-hangzhou.aliyuncs.com/google_containers/defaultbackend:1.4
            #        image: gcr.io/google_containers/defaultbackend:1.4
                    livenessProbe:
                      httpGet:
                        path: /healthz
                        port: 8080
                        scheme: HTTP
                      initialDelaySeconds: 30
                      timeoutSeconds: 5
                    ports:
                    - containerPort: 8080
                    resources:
                      limits:
                        cpu: 10m
                        memory: 20Mi
                      requests:
                        cpu: 10m
                        memory: 20Mi
            ---
            
            apiVersion: v1
            kind: Service
            metadata:
              name: default-http-backend
              namespace: harbor
              labels:
                app: default-http-backend
            spec:
              ports:
              - port: 80
                targetPort: 8080
              selector:
                app: default-http-backend
            EOF
            kubectl apply -f default-http-backend.yaml

            登錄后復制

            6、卸載重新部署

            # 卸載
            helm uninstall myharbor -n harbor
            kubectl get pvc -n harbor| awk 'NR!=1{print $1}' | xargs kubectl delete pvc -n harbor
            
            # 部署
            helm install myharbor --namespace harbor harbor/harbor \
              --set expose.ingress.hosts.core=myharbor.com \
              --set expose.ingress.hosts.notary=notary.myharbor.com \
              --set-string expose.ingress.annotations.'nginx\.org/client-max-body-size'="1024m" \
              --set expose.tls.secretName=myharbor.com \
              --set persistence.persistentVolumeClaim.registry.storageClass=nfs-client \
              --set persistence.persistentVolumeClaim.jobservice.storageClass=nfs-client \
              --set persistence.persistentVolumeClaim.database.storageClass=nfs-client \
              --set persistence.persistentVolumeClaim.redis.storageClass=nfs-client \
              --set persistence.persistentVolumeClaim.trivy.storageClass=nfs-client \
              --set persistence.persistentVolumeClaim.chartmuseum.storageClass=nfs-client \
              --set persistence.enabled=true \
              --set externalURL=https://myharbor.com \
              --set harborAdminPassword=Harbor12345

            登錄后復制

            5、訪問 harbor

            https://myharbor.com
            賬號/密碼：admin/Harbor12345
            

            6、harbor 常見操作

            【1】創建項目 bigdata

            【2】配置私有倉庫

            在文件/etc/docker/daemon.json添加如下內容：

            "insecure-registries":["https://myharbor.com"]

            登錄后復制

            重啟 docker

            systemctl restart docker

            登錄后復制

            【3】服務器上登錄 harbor

            docker login https://myharbor.com
            #賬號/密碼：admin/Harbor12345

            登錄后復制

            【4】打標簽并把鏡像上傳到 harbor

            docker tag rancher/pause:3.6 myharbor.com/bigdata/pause:3.6
            docker push myharbor.com/bigdata/pause:3.6

            登錄后復制

            7、修改 containerd 配置

            以前使用 docker-engine 的時候，只需要修改/etc/docker/daemon.json 就行，但是新版的 k8s 已經使用 containerd 了，所以這里需要做相關配置，要不然 containerd 會失敗。證書（ca.crt）可以在頁面上下載：
            
            創建域名目錄

            mkdir /etc/containerd/myharbor.com
            cp ca.crt /etc/containerd/myharbor.com/

            登錄后復制

            配置文件：/etc/containerd/config.toml

            [plugins."io.containerd.grpc.v1.cri".registry]
                  config_path = ""
            
                  [plugins."io.containerd.grpc.v1.cri".registry.auths]
            
                  [plugins."io.containerd.grpc.v1.cri".registry.configs]
                    [plugins."io.containerd.grpc.v1.cri".registry.configs."myharbor.com".tls]
                      ca_file = "/etc/containerd/myharbor.com/ca.crt"
                    [plugins."io.containerd.grpc.v1.cri".registry.configs."myharbor.com".auth]
                      username = "admin"
                      password = "Harbor12345"
            
                  [plugins."io.containerd.grpc.v1.cri".registry.headers]
            
                  [plugins."io.containerd.grpc.v1.cri".registry.mirrors]
                    [plugins."io.containerd.grpc.v1.cri".registry.mirrors."myharbor.com"]
                      endpoint = ["https://myharbor.com"]

            登錄后復制

            
            重啟 containerd

            #重新加載配置
            systemctl daemon-reload
            #重啟containerd
            systemctl restart containerd

            登錄后復制

            簡單使用

            # 把docker換成crictl 就行，命令都差不多
            crictl pull myharbor.com/bigdata/mysql:5.7.38

            登錄后復制

            執行 crictl 報如下錯誤的解決辦法

            WARN[0000] image connect using default endpoints: [unix:///var/run/dockershim.sock unix:///run/containerd/containerd.sock unix:///run/crio/crio.sock unix:///var/run/cri-dockerd.sock]. As the default settings are now deprecated, you should set the endpoint instead.
            ERRO[0000] unable to determine image API version: rpc error: code = Unavailable desc = connection error: desc = "transport: Error while dialing dial unix /var/run/dockershim.sock: connect: no such file or directory"

            登錄后復制

            這個報錯是 docker 的報錯，這里沒使用，所以這個錯誤不影響使用，但是還是解決好點，解決方法如下：

            cat <<EOF> /etc/crictl.yaml
            runtime-endpoint: unix:///run/containerd/containerd.sock
            image-endpoint: unix:///run/containerd/containerd.sock
            timeout: 10
            debug: false
            EOF

            登錄后復制

            再次拉取鏡像

            crictl pull myharbor.com/bigdata/mysql:5.7.38

            登錄后復制

            Kubernetes（k8s）最新版最完整版基礎環境部署+master 高可用實現詳細步驟就到這里了，有疑問的小伙伴歡迎給我留言哦~

            以上就是詳解 K8S 高可用部署，超詳細！的詳細內容，更多請關注www.92cms.cn其它相關文章！