0
0

Docker方式部署K8s集群

1.1 集群创建说明

Kubernetes支持多种容器运行时，包括Containerd、Docker和CRI-O。以下是这三种方式的详细说明：

  • Containerd：Containerd是Kubernetes默认使用的容器运行时。它是一个轻量级的容器运行时，专为Kubernetes设计，提供了高效、稳定的容器管理能力。Containerd直接与Kubernetes集群交互，无需额外的桥接层，这使得它在性能和兼容性上都表现出色。
  • Docker：尽管Kubernetes默认情况下已经废弃了对Docker的直接支持，但是通过使用Mirantis维护的cri-dockerd插件，仍然可以实现Kubernetes集群的创建。Docker作为一个全面的容器平台，提供了丰富的功能和强大的社区支持。但是，由于Kubernetes对Docker的直接支持已经停止，因此在使用Docker时可能需要对Kubelet的启动参数进行一些调整，以确保其与Docker容器运行时正确交互。
  • CRI-O：CRI-O是一个专为Kubernetes设计的轻量级容器运行时，它直接实现了Kubernetes的容器运行时接口（CRI）。使用CRI-O创建Kubernetes集群需要安装CRI-O插件，并对Kubelet的启动参数进行配置，以指定CRI-O作为容器运行时。CRI-O专为Kubernetes优化，提供了简单、高效的容器管理功能，是一个很好的选择，特别是对于希望最大化Kubernetes集群性能和资源利用率的用户

注意：

Kubernetes 1.24版本引入了许多新特性和改进，以下是一些重要的更新：

  • 从kubelet中移除dockershim：自1.20版本被弃用之后，dockershim组件终于在1.24的kubelet中被删除。这是确保Kubernetes项目未来发展的必要步骤。从1.24开始，用户需要使用其他受支持的运行时选项，例如containerd或CRI-O。如果选择Docker Engine作为运行时，则需要使用cri-dockerd插件。
  • 关闭测试版API：Kubernetes 1.24版本将一些beta版API标记为废弃，转而使用稳定版API。这是为了确保API的稳定性和向后兼容性。
  • 对发布工件进行签名：为了提高安全性，Kubernetes 1.24版本引入了对发布工件的签名验证。这意味着用户可以验证下载的Kubernetes二进制文件的完整性和来源。
  • OpenAPIv3：Kubernetes 1.24版本引入了对OpenAPIv3的支持，这是一个更现代的API描述规范，提供了更丰富的元数据和更好的API文档生成能力。
  • 正式发布存储容量和卷扩展：Kubernetes 1.24版本正式发布了存储容量和卷扩展的功能，这使得用户可以更灵活地管理存储资源，并支持动态扩展存储卷。
  • NonPreemptingPriority稳定版发布：Kubernetes 1.24版本将NonPreemptingPriority策略升级为稳定版，这使得用户可以在Pod调度时使用更多的优先级控制选项。
  • 存储插件迁移：Kubernetes 1.24版本进一步支持存储插件的迁移，提供了更多的选项和工具来帮助用户迁移到新的存储解决方案。
  • gRPC探针升级为Beta版：Kubernetes 1.24版本将gRPC探针升级为Beta版，这使得用户可以利用gRPC探针进行更高效的健康检查和故障排查。
  • Kubelet证书提供程序升级至beta版：Kubernetes 1.24版本升级了Kubelet证书提供程序到Beta版，这提供了更灵活的证书管理选项，包括自动轮换和更细粒度的权限控制。
  • 上下文日志记录进入alpha阶段：Kubernetes 1.24版本引入了上下文日志记录的alpha阶段，这为用户提供了更多的日志记录选项和灵活性。
  • 避免在向服务分配IP时发生冲突：Kubernetes 1.24版本引入了避免在向服务分配IP时发生冲突的功能，这提高了服务的可用性和稳定性。

1.2 环境规划

kubernetes集群大体上分为两类：一主多从和多主多从。

  • 一主多从：一台Master节点和多台Node节点，搭建简单，但是有单机故障风险，适合用于测试环境
  • 多主多从：多台Master节点和多台Node节点，搭建麻烦，安全性高，适合用于生产环境

img

受资源限制，本次环境一主两从

1.3 Kubernetes基础环境部署

kubernetes有多种部署方式，目前主流的方式有kubeadm、minikube、二进制包

  • minikube：一个用于快速搭建单节点kubernetes的工具
  • kubeadm：一个用于快速搭建kubernetes集群的工具
  • 二进制包 ：从官网下载每个组件的二进制包，依次去安装，此方式对于理解kubernetes组件更加有效
  • K8s-all：主机名为三台都做
    主机名IP地址系统配置k8s-master-01192.168.110.21/24CentOS 7.94颗CPU 8G内存 100G硬盘K8s-node-01192.168.110.22/24CentOS 7.94颗CPU 8G内存 100G硬盘K8s-node-02192.168.110.23/24CentOS 7.94颗CPU 8G内存 100G硬盘

注意：关闭防火墙和SElinux

1.1.1 配置hosts解析和免密钥

  1. [root@K8s-master-01 ~]# cat >> /etc/hosts << EOF
  2. 192.168.110.21 k8s-master-01
  3. 192.168.110.22 K8s-node-01
  4. 192.168.110.23 K8s-node-02
  5. EOF
  6. [root@K8s-master-01 ~]# scp /etc/hosts K8s-node-01:/etc/
  7. [root@K8s-master-01 ~]# scp /etc/hosts K8s-node-02:/etc/
  8. ​
  9. # master节点可以免密钥访问其他节点
  10. [root@k8s-master-01 ~]# ssh-keygen -f ~/.ssh/id_rsa -N '' -q
  11. [root@k8s-master-01 ~]# ssh-copy-id k8s-node-01
  12. [root@k8s-master-01 ~]# ssh-copy-id k8s-node-02

1.1.2 配置NTP时间服务

  1. [root@K8s-master-01 ~]# sed -i '3,6 s/^/# /' /etc/chrony.conf
  2. [root@K8s-master-01 ~]# sed -i '6 a server ntp.aliyun.com iburst' /etc/chrony.conf
  3. [root@K8s-master-01 ~]# systemctl restart chronyd.service
  4. [root@K8s-master-01 ~]# chronyc sources
  5. 210 Number of sources = 1
  6. MS Name/IP address         Stratum Poll Reach LastRx Last sample               
  7. ===============================================================================
  8. ^* 201.107.6.88                  2   6    17    18   +266us[+1386us] +/-   24ms
  9. ​
  10. [root@K8s-node-01 ~]# sed -i '3,6 s/^/# /' /etc/chrony.conf
  11. [root@K8s-node-01 ~]# sed -i '6 a server ntp.aliyun.com iburst' /etc/chrony.conf
  12. [root@K8s-node-01 ~]# systemctl restart chronyd.service
  13. [root@K8s-node-01 ~]# chronyc sources
  14. 210 Number of sources = 1
  15. MS Name/IP address         Stratum Poll Reach LastRx Last sample               
  16. ===============================================================================
  17. ^* 201.107.6.88                  2   6    17    18   +266us[+1386us] +/-   24ms
  18. ​
  19. [root@K8s-node-02 ~]# sed -i '3,6 s/^/# /' /etc/chrony.conf
  20. [root@K8s-node-02 ~]# sed -i '6 a server ntp.aliyun.com iburst' /etc/chrony.conf
  21. [root@K8s-node-02 ~]# systemctl restart chronyd.service
  22. [root@K8s-node-02 ~]# chronyc sources
  23. 210 Number of sources = 1
  24. MS Name/IP address         Stratum Poll Reach LastRx Last sample               
  25. ===============================================================================
  26. ^* 201.107.6.88                  2   6     7     1   -291us[-4455us] +/-   30ms

1.1.3 禁用Swap交换分区

由于容器设计为尽可能高效地使用资源，Kubernetes通常要求在节点上禁用

  1. swap

分区，原因包括：

  • 性能问题：如前所述，使用swap会降低系统性能，这可能会影响容器的性能和稳定性。
  • 资源隔离：禁用swap可以确保容器之间的资源隔离更加清晰，避免一个容器使用过多swap空间而影响其他容器。
  • 调试和监控：禁用swap可以简化系统监控和调试，因为不需要考虑磁盘空间作为内存使用的复杂性。
  1. [root@K8s-master-01 ~]# sed -i 's/.*swap.*/# &/' /etc/fstab
  2. [root@K8s-node-01 ~]# sed -i 's/.*swap.*/# &/' /etc/fstab
  3. [root@K8s-node-02 ~]# sed -i 's/.*swap.*/# &/' /etc/fstab

1.1.4 升级操作系统内核

注意：三台机器同时做

  1. [root@k8s-all ~]# wget -c http://mirrors.coreix.net/elrepo-archive-archive/kernel/el7/x86_64/RPMS/kernel-ml-6.0.3-1.el7.elrepo.x86_64.rpm
  2. [root@k8s-all ~]# wget -c http://mirrors.coreix.net/elrepo-archive-archive/kernel/el7/x86_64/RPMS/kernel-ml-devel-6.0.3-1.el7.elrepo.x86_64.rpm
  • 安装并设置启动顺序
  1. [root@k8s-all ~]# rpm -ivh kernel-ml-6.0.3-1.el7.elrepo.x86_64.rpm
  2. [root@k8s-all ~]# rpm -ivh kernel-ml-devel-6.0.3-1.el7.elrepo.x86_64.rpm
  3. [root@k8s-all ~]# awk -F\' '$1=="menuentry " {print $2}' /etc/grub2.cfg
  4. CentOS Linux (6.0.3-1.el7.elrepo.x86_64) 7 (Core)
  5. CentOS Linux (1.10.0-1160.119.1.el7.x86_64) 7 (Core)
  6. CentOS Linux (1.10.0-1160.71.1.el7.x86_64) 7 (Core)
  7. CentOS Linux (0-rescue-35f6b014eff0419881bbf71f1d9d4943) 7 (Core)
  8. [root@k8s-all ~]# grub2-set-default 0
  • 重启生效
  1. [root@k8s-all ~]# reboot
  2. [root@k8s-all ~]# uname -r
  3. 6.0.3-1.el7.elrepo.x86_64

1.1.5 开启内核路由转发

  1. [root@K8s-all ~]# sysctl -w net.ipv4.ip_forward=1
  2. net.ipv4.ip_forward = 1
  3. [root@K8s-all ~]# modprobe br_netfilter
  4. [root@k8s-all ~]# echo net.ipv4.ip_forward = 1 >> /etc/sysctl.conf 
  5. [root@k8s-all ~]# sysctl -p
  6. net.ipv4.ip_forward = 1

1.1.6 添加网桥过滤及内核转发配置文件

  1. [root@K8s-all ~]# cat > /etc/sysctl.d/k8s.conf << EOF
  2. net.bridge.bridge-nf-call-ip6tables = 1
  3. net.bridge.bridge-nf-call-iptables = 1
  4. vm.swappiness = 0
  5. EOF
  6. [root@K8s-all ~]# modprobe br-netfilter
  7. [root@K8s-all ~]# sysctl -p /etc/sysctl.d/k8s.conf
  8. net.bridge.bridge-nf-call-ip6tables = 1
  9. net.bridge.bridge-nf-call-iptables = 1
  10. vm.swappiness = 0

1.1.7 开启IPVS

  1. [root@K8s-all ~]# yum install ipset ipvsadm -y
  2. [root@K8s-all ~]# cat >> /etc/sysconfig/modules/ipvs.modules <<EOF
  3. #!/bin/bash
  4. ​
  5. ipvs_modules="ip_vs ip_vs_lc ip_vs_wlc ip_vs_rr ip_vs_wrr ip_vs_lblc ip_vs_lblcr ip_vs_dh ip_vs_vip ip_vs_sed ip_vs_ftp nf_conntrack"
  6. ​
  7. for kernel_module in $ipvs_modules; 
  8. do
  9.         /sbin/modinfo -F filename $kernel_module >/dev/null 2>&1
  10.         if [ $? -eq 0 ]; then
  11.                 /sbin/modprobe $kernel_module
  12.         fi
  13. done
  14. ​
  15. chmod 755 /etc/sysconfig/modules/ipvs.modules
  16. EOF
  17. ​
  18. [root@K8s-all ~]# bash /etc/sysconfig/modules/ipvs.modules

1.1.8 配置国内镜像源

  1. [root@K8s-all ~]# cat >> /etc/yum.repos.d/kubernetes.repo <<EOF
  2. [kubernetes]
  3. name=Kubernetes
  4. baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
  5. enabled=1
  6. gpgcheck=0
  7. repo_gpgcheck=0
  8. gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
  9. http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
  10. EOF

1.1.9 安装软件包

  1. [root@K8s-all ~]# yum install kubeadm kubelet kubectl -y
  2. [root@k8s-all ~]# kubeadm version
  3. kubeadm version: &version.Info{Major:"1", Minor:"28", GitVersion:"v1.28.2", GitCommit:"89a4ea3e1e4ddd7f7572286090359983e0387b2f", GitTreeState:"clean", BuildDate:"2023-09-13T09:34:32Z", GoVersion:"go1.20.8", Compiler:"gc", Platform:"linux/amd64"}
  5. #为了实现docker使用的cgroupdriver与kubelet使用的cgroup的一致性，修改如下文件内容
  6. [root@K8s-all ~]# cat <<EOF > /etc/sysconfig/kubelet
  7. KUBELET_EXTRA_ARGS="--cgroup-driver=systemd"
  8. KUBE_PROXY_MODE="ipvs"
  9. EOF
  11. [root@K8s-all ~]# systemctl enable kubelet.service --now

1.1.10 kubectl命令自动补全

  1. [root@K8s-all ~]# yum install -y bash-completion
  2. [root@K8s-all ~]# source /usr/share/bash-completion/bash_completion
  3. [root@K8s-all ~]# source <(kubectl completion bash)
  4. [root@K8s-all ~]# echo "source <(kubectl completion bash)" >> ~/.bashrc
  • 做完基础环境，创建快照，后续会分别使用四种不同方式创建集群。
  1. [[root@K8s-master-01 ~]# kubectl get nodes  #状态为Ready
  2. NAME             STATUS   ROLES           AGE   VERSION
  3. k8s-master-01    Ready    control-plane   12m   v1.28.2
  4. k8s-node-01      Ready    <none>          11m   v1.28.2
  5. k8s-node-02      Ready    <none>          11m   v1.28.2
  6. ​
  7. [root@K8s-master-01 ~]# kubectl get pods -n kube-system   #网络正常，如果没用全部Running就稍等片刻
  8. NAME                                       READY   STATUS    RESTARTS   AGE
  9. calico-kube-controllers-658d97c59c-qcht6   1/1     Running   0          10m
  10. calico-node-gqx2x                          1/1     Running   0          10m
  11. calico-node-rj64n                          1/1     Running   0          10m
  12. calico-node-xkphs                          1/1     Running   0          10m
  13. coredns-66f779496c-rvgqq                   1/1     Running   0          13m
  14. coredns-66f779496c-vvxxk                   1/1     Running   0          13m
  15. etcd-k8s-master-01                         1/1     Running   0          13m
  16. kube-apiserver-k8s-master-01               1/1     Running   0          13m
  17. kube-controller-manager-k8s-master-01      1/1     Running   0          13m
  18. kube-proxy-dw4tq                           1/1     Running   0          11m
  19. kube-proxy-n6x4f                           1/1     Running   0          11m
  20. kube-proxy-pc8tq                           1/1     Running   0          13m
  21. kube-scheduler-k8s-master-01               1/1     Running   0          13m

1.5 Docker方式部署K8s集群

注意：基于

  1. 1.3 Kubernetes基础环境部署

1.5.1 Docker安装部署

1.5.1.1 安装镜像源
  1. [root@K8s-all ~]# wget -O /etc/yum.repos.d/docker-ce.repo https://mirrors.huaweicloud.com/docker-ce/linux/centos/docker-ce.repo
  2. [root@K8s-all ~]# sed -i 's+download.docker.com+mirrors.huaweicloud.com/docker-ce+' /etc/yum.repos.d/docker-ce.repo
  3. [root@K8s-all ~]# sed -i 's/$releasever/7Server/g' /etc/yum.repos.d/docker-ce.repo
1.5.1.2 安装Docker-ce
  1. [root@K8s-all ~]# yum install docker-ce -y
1.5.1.3 配置镜像加速器
  1. sudo mkdir -p /etc/docker
  2. sudo tee /etc/docker/daemon.json <<-'EOF'
  3. {
  4.   "registry-mirrors": ["https://lfhqfxbn.mirror.aliyuncs.com"]
  5. }
  6. EOF
  7. sudo systemctl daemon-reload
  8. sudo systemctl restart docker
  9. ​
  10. [root@K8s-all ~]# docker --version
  11. Docker version 20.10.21, build baeda1f

1.5.2 安装cri-dockererd插件

注意：K8s从1.24版本后不支持docker了所以这里需要用cri-dockererd

下载地址:https://github.com/Mirantis/cri-dockerd/releases/download/

  1. [root@K8s-all ~]# wget -c https://github.com/Mirantis/cri-dockerd/releases/download/v0.1.13/cri-dockerd-0.1.13-1.el7.x86_64.rpm
  2. [root@K8s-all ~]# yum install cri-dockerd-0.1.13-1.el7.x86_64.rpm -y
  3. [root@K8s-all ~]# sed -i 's#^ExecStart=.*#ExecStart=/usr/bin/cri-dockerd --network-plugin=cni --pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:1.9#' /usr/lib/systemd/system/cri-docker.service
  4. [root@K8s-all ~]# systemctl daemon-reload
  5. [root@K8s-all ~]# systemctl restart docker
  6. [root@K8s-all ~]# systemctl enable --now cri-docker.service

1.5.3 初始化Master节点

  1. [root@K8s-master-01 ~]# kubeadm init --kubernetes-version=v1.28.2 --pod-network-cidr=10.224.0.0/16 --apiserver-advertise-address=192.168.110.21 --apiserver-bind-port=6443 --cri-socket unix:///var/run/cri-dockerd.sock --image-repository registry.aliyuncs.com/google_containers
  2. ​
  3. Your Kubernetes control-plane has initialized successfully!
  4. ​
  5. To start using your cluster, you need to run the following as a regular user:
  6. ​
  7.   mkdir -p $HOME/.kube
  8.   sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  9.   sudo chown $(id -u):$(id -g) $HOME/.kube/config
  10. ​
  11. Alternatively, if you are the root user, you can run:
  12. ​
  13.   export KUBECONFIG=/etc/kubernetes/admin.conf
  14. ​
  15. You should now deploy a pod network to the cluster.
  16. Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  17.   https://kubernetes.io/docs/concepts/cluster-administration/addons/
  18. ​
  19. Then you can join any number of worker nodes by running the following on each as root:
  20. ​
  21. kubeadm join 192.168.110.21:6443 --token p6zmgi.oepmiwbmg61704br \
  22.         --discovery-token-ca-cert-hash sha256:4688b4812501fe5b1e7d545ba2d7f4f077cf22ef9a139bf9e7229f2109354898
  23.         
  24. [root@K8s-master-01 ~]# mkdir -p $HOME/.kube
  25. [root@K8s-master-01 ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  26. [root@K8s-master-01 ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/config
  27. [root@K8s-master-01 ~]# export KUBECONFIG=/etc/kubernetes/admin.conf

1.5.4 添加Worker节点

注意：加入集群时需要添加 --cri-socket unix:///var/run/cri-dockerd.sock

  1. [root@K8s-node-01 ~]# kubeadm join 192.168.110.21:6443 --token p6zmgi.oepmiwbmg61704br \
  2. --discovery-token-ca-cert-hash sha256:4688b4812501fe5b1e7d545ba2d7f4f077cf22ef9a139bf9e7229f2109354898 \
  3. --cri-socket unix:///var/run/cri-dockerd.sock
  4. ​
  5. [root@K8s-node-02 ~]# kubeadm join 192.168.110.21:6443 --token p6zmgi.oepmiwbmg61704br \
  6. --discovery-token-ca-cert-hash sha256:4688b4812501fe5b1e7d545ba2d7f4f077cf22ef9a139bf9e7229f2109354898 \
  7. --cri-socket unix:///var/run/cri-dockerd.sock

1.5.5 查看集群

  1. [root@K8s-master-01 ~]# kubectl get nodes
  2. NAME             STATUS     ROLES           AGE    VERSION
  3. k8s-master-01    NotReady   control-plane   6m1s   v1.28.2
  4. k8s-node-01      NotReady   <none>          91s    v1.28.2
  5. k8s-node-02      NotReady   <none>          104s   v1.28.2

1.5.6 安装网络插件

  1. [root@k8s-all ~]# docker pull docker.io/calico/cni:v1.25.0
  2. [root@k8s-all ~]# docker pull docker.io/calico/node:v1.25.0
  3. [root@k8s-all ~]# docker pull docker.io/calico/kube-controllers:v1.25.0
  4. ​
  5. [root@k8s-master-01 ~]# wget -c https://gitee.com/kong-xiangyuxcz/svn/releases/download/V1.25.0/calico.yaml
  6. ​
  7. [root@k8s-master-01 ~]# kubectl apply -f calico.yaml

1.5.7 检查

  1. [root@K8s-master-01 ~]# kubectl get nodes  #状态为Ready
  2. NAME             STATUS   ROLES           AGE   VERSION
  3. k8s-master-01    Ready    control-plane   12m   v1.28.2
  4. k8s-node-01      Ready    <none>          11m   v1.28.2
  5. k8s-node-02      Ready    <none>          11m   v1.28.2
  6. ​
  7. [root@K8s-master-01 ~]# kubectl get pods -n kube-system   #网络正常，如果没用全部Running就稍等片刻
  8. NAME                                       READY   STATUS    RESTARTS   AGE
  9. calico-kube-controllers-658d97c59c-qcht6   1/1     Running   0          10m
  10. calico-node-gqx2x                          1/1     Running   0          10m
  11. calico-node-rj64n                          1/1     Running   0          10m
  12. calico-node-xkphs                          1/1     Running   0          10m
  13. coredns-66f779496c-rvgqq                   1/1     Running   0          13m
  14. coredns-66f779496c-vvxxk                   1/1     Running   0          13m
  15. etcd-k8s-master-01                         1/1     Running   0          13m
  16. kube-apiserver-k8s-master-01               1/1     Running   0          13m
  17. kube-controller-manager-k8s-master-01      1/1     Running   0          13m
  18. kube-proxy-dw4tq                           1/1     Running   0          11m
  19. kube-proxy-n6x4f                           1/1     Running   0          11m
  20. kube-proxy-pc8tq                           1/1     Running   0          13m
  21. kube-scheduler-k8s-master-01               1/1     Running   0          13m
标签： kubernetes 云原生 linux
本文转载自: https://blog.csdn.net/qq_63652578/article/details/141574232
版权归原作者 麻辣头马头 所有， 如有侵权，请联系我们删除。
登录后发布评论

“Docker方式部署K8s集群”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

网络安全法-网络运行安全

使用selenium/drissionpage时如何阻止chrome自动跳转http到https

docker desktop 里部署的Open WebUI 管理员密码忘记了的处理方法

在ubuntu20.04中搭建onsite比赛运行环境

利用开源的低代码表单设计器FcDesigner高效管理和渲染复杂表单结构

Kafka学习笔记

【前端】浏览器输入url到页面呈现发生了什么？

文章导航
没有找到文章内容分段。。。