Kubernetes v1.15.0 集群的安装部署（详细版）

软硬件要求

软硬件	最低配置	推荐配置
CPU 和 内存	Master：至少2核4G、 Node：至少4核16G	Master：4核16G、 Node：根据运行的容器数量进行配置
Linux 操作系统	基于 x86_64 架构的各种Linux 发行版，Kernel 3.10 以上	Red Hat Linux 7 CentOS 7
etcd	3.0 版本及以上	3.3 版本
Docker	18.03 版本及以上	18.09 版本

机器准备

角色	主机名称	内网 IP	配置	系统
Master	KubernetesMaster	192.168.0.123	2 核 4 G	CentOS 7.6.5
Node	KubernetesNode1	192.168.0.122	2 核 4 G	CentOS 7.6.5
Node	KubernetesNode2	192.168.0.121	2 核 4 G	CentOS 7.6.5
注：这里只是做环境测试，故只满足了官方要求的最低 2 核 2 G

部署步骤说明

使用 kubeadm 部署 kubernetes 主要有以下四个步骤：

1. 安装 Docker （所有主机）
2. 安装 Kubeadm（所有主机）
3. 基础环境配置（所有主机）
4. 创建 Kubernetes 集群

---

一. 安装 Docker（所有主机）

安装 Docker 引擎，主要执行以下步骤：

1. 安装 Docker 需要的一些系统工具
2. 设置 Docker 的 yum 仓库源
3. 安装并启动 Docker
4. 调整 Docker 部分参数（主要是配合 Kubernetes 的一些配置）

1. 安装必要的一些系统工具

   yum install -y yum-utils device-mapper-persistent-data lvm2

2. 设置 Docker 的 yum 仓库源

   • 官方源（二选一）：

     sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

   • 阿里云源（二选一）：

     sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo      

3. 安装并启动 Docker

   yum install -y docker-ce
   systemctl start docker && systemctl enable docker 

4. 调整 Docker 部分参数 这里主要做两点调整：

   • 配置国内镜像加速（国内的各种原因，可能导致拉取镜像像蜗牛一样。。。）
   • 修改 cgroup 驱动（Docker 默认使用 cgroupfs，Kubernetes 官方推荐 systemd）

   mkdir -p /etc/docker
   tee /etc/docker/daemon.json <<-'EOF'
   {
    "registry-mirrors": ["https://pcy9sknd.mirror.aliyuncs.com"],
    "exec-opts": ["native.cgroupdriver=systemd"]
   }
   EOF
   systemctl daemon-reload && systemctl restart docker

   注：这里采用的是阿里云的镜像源，当然你也可以选择：中科大、网易、DaoCloud（还有个号称中国官方的源，但实测好像没什么卵用）

---

二. 安装 Kubeadm（所有主机）

安装 Kubeadm 主要有以下三个步骤：

1. 配置 Kubernetes 的 yum 仓库源（这里选用阿里的源，你懂的）
2. 安装 Kubeadm 和相关工具
3. 启动 Kubelet

1. 设置 Kubernetes 的 yum 仓库源

   • 阿里云源（推荐）

     tee /etc/yum.repos.d/kubernetes.repo <<-'EOF'
     [kubernetes]
     name=Kubernetes
     baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
     enabled=1
     gpgcheck=1
     repo_gpgcheck=1
     gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
     https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
     EOF

   • 官方源（不推荐）

     tee /etc/yum.repos.d/kubernetes.repo <<-'EOF'
     [kubernetes]
     name=Kubernetes
     baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64
     enabled=1
     gpgcheck=1
     repo_gpgcheck=1
     gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg
     https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
     exclude=kube*
     EOF

2. 安装 Kubeadm 和相关工具

   yum install -y kubelet kubeadm kubectl --nogpgcheck

3. 启动 Kubelet

   systemctl start kubelet && systemctl enable kubelet

---

三. 基础环境配置（所有主机）

基础环境配置，主要执行以下步骤：

1. 设置各节点时间精确同步
2. 关闭 firewalld/iptables 防火墙
3. 关闭 SElinux 安全模组
4. 关闭 Swap 交换分区
5. 导入 IPVS 模块
6. 修改 Bridge 桥接规则
7. 开启 iptables 的 FORWARD 转发链
8. 配置 Hosts 解析

1. 设置各节点时间精确同步

   systemctl start chronyd.service && systemctl enable chronyd.service

2. 关闭 firewalld 防火墙（允许 master 和 node 的网络通信） 由于 Master 和 Node 存在大量网络交互，需对防火墙进行相关配置

   • 外网环境：在防火墙上配置各组件相互通信的端口
   • 内网环境：直接关闭防火墙，减少防火墙规则的维护工作

   systemctl stop firewalld && systemctl disable firewalld

3. 关闭 SElinux 安全模组（让容器可以读取主机的文件系统）

   setenforce 0 && sed -i "s/SELINUX=enforcing$/SELINUX=disabled/g" /etc/selinux/config

4. 关闭 Swap 交换分区（启用了 Swap，则 Qos 策略可能会失效）

   swapoff -a && sed -i "s/\/dev\/mapper\/centos-swap/\#\/dev\/mapper\/centos-swap/g" /etc/fstab

5. 导入 IPVS 模块（用来为大量服务进行负载均衡）

   cat > /etc/sysconfig/modules/ipvs.modules <<EOF
   #!/bin/bash
   modprobe -- ip_vs
   modprobe -- ip_vs_rr
   modprobe -- ip_vs_wrr
   modprobe -- ip_vs_sh
   modprobe -- nf_conntrack_ipv4
   EOF
   chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

6. 修改 Bridge 桥接规则（部分 Docker 安装时会为我们修改，这里统一进行手动修改）

   cat > /etc/sysctl.d/k8s.conf << EOF
   net.bridge.bridge-nf-call-ip6tables = 1
   net.bridge.bridge-nf-call-iptables = 1
   vm.swappiness=0
   EOF
   sysctl --system

7. 开启 iptables 的 FORWARD 转发链（Docker 1.13 后禁用了 FORWARD 链，这可能会引起 Pod 间无法通信）

   iptables -P FORWARD ACCEPT
   sed -i '/ExecStart/a ExecStartPost=/sbin/iptables -P FORWARD ACCEPT' /usr/lib/systemd/system/docker.service
   systemctl daemon-reload

8. 配置 Hosts 解析（添加 k8s 所有节点的 IP 和对应主机名，否则初始化的时候会出现告警甚至错误）

   tee /etc/hosts <<-'EOF'
   ::1     localhost       localhost.localdomain   localhost6      localhost6.localdomain6
   127.0.0.1       localhost       localhost.localdomain   localhost4      localhost4.localdomain4
   192.168.0.123 kube-master
   192.168.0.122 kube-node1
   192.168.0.121 kube-node2
   EOF

9. 安装一些必要的工具（这些工具在以后的命令中会用到）

   yum install -y ipset ipvsadm bind-utils

---

四. 创建 Kubernetes 集群

创建 Kubernetes 集群主要有两个步骤：

1. 初始化 Master 节点
2. 初始化 Node 节点

1. 初始化 Master 节点

初始化 Master 节点，主要有四个步骤：

1. 执行初始化
2. 复制(分发)配置文件
3. 安装 CNI 网络插件
4. 检查 Master 的 Pod 及 集群状态

1. 执行初始化

   • 自定义配置较少时：推荐使用 配置参数 的方式进行初始化

     kubeadm init --kubernetes-version=v1.15.0 \
     --pod-network-cidr=<network-segment> \
     --image-repository=registry.cn-hangzhou.aliyuncs.com/google_containers

   • 自定义配置较多时，推荐使用 配置文件 的方式进行初始化：

     1. 使用 kubeadm config print init-defaults > kubeadm-init.yaml 获取初始配置文件进行相应的自定义修改
     2. 然后使用 kubeadm init --config kubeadm-init.yaml，通过配置文件进行初始化

     # 修改初始化配置文件
     cat > master-init.yaml << EOF
     apiVersion: kubeadm.k8s.io/v1beta2
     kind: InitConfiguration
     localAPIEndpoint:
      advertiseAddress: 192.168.0.123
      bindPort: 6443
     ---
     apiVersion: kubeadm.k8s.io/v1beta2
     imageRepository: registry.cn-hangzhou.aliyuncs.com/google_containers
     kind: ClusterConfiguration
     kubernetesVersion: v1.15.0
     networking:
      dnsDomain: cluster.local
      podSubnet: <network-segment>
     EOF
     
     # 执行初始化
     kubedam init --master-init.yaml

   注意： 初始化之后会安装网络插件，由于各个网络插件使用的网段不一样， 故需对 命令中的 --pod-network-cidr=<network-segment> 或文件中的 podSubnet: <network-segment> 进行自定义配置， （Calico 的默认网段：192.168.0.0/16，Flannel 的默认网段：10.244.0.0/16） 拉取不到镜像时，使用 kubeadm config images pull 提前拉取镜像 输出以下内容表示成功：

   Your Kubernetes control-plane has initialized successfully!
   
   To start using your cluster, you need to run the following as a regular user:
   
     mkdir -p $HOME/.kube
     sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
     sudo chown $(id -u):$(id -g) $HOME/.kube/config
   
   You should now deploy a pod network to the cluster.
   Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
     https://kubernetes.io/docs/concepts/cluster-administration/addons/
   
   Then you can join any number of worker nodes by running the following on each as root:
   
   kubeadm join 192.168.0.123:6443 --token b0syjo.7q877s663mc1rbni \
       --discovery-token-ca-cert-hash
   sha256:cdbcbb721002cac7a7b347295922eabe65342e111a67d7f7acce50d0d9d8f27f
   // 上面一句是 Node 节点加入集群的命令，记得保存一下

2. 按照提示，复制配置文件到普通用户目录

   • 非 root 用户

     # 拷贝配置文件到 Master 节点
     mkdir -p $HOME/.kube
     sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
     sudo chown $(id -u):$(id -g) $HOME/.kube/config
     
     # 分发配置文件到各 Node 节点（让 Node 节点使用 `kubectl`）
     scp /etc/kubernetes/admin.conf KubernetesNode1:~/.kube/config
     scp /etc/kubernetes/admin.conf KubernetesNode2:~/.kube/config
     # 记得在 Node 上进行授权，sudo chown $(id -u):$(id -g) $HOME/.kube/config

   • root 用户

     # 拷贝配置文件到 Master 节点
     mkdir /root/.kube
     cp -i /etc/kubernetes/admin.conf /root/.kube/config
     
     # 分发配置文件到各 Node 节点（让 Node 节点使用 `kubectl`）
     scp /etc/kubernetes/admin.conf KubernetesNode1:/root/.kube/config
     scp /etc/kubernetes/admin.conf KubernetesNode2:/root/.kube/config

3. 安装 CNI 网络插件

   • Flannel 插件

     kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

     参考：Flannel Github - README.md

   • Calico 插件

     kubectl apply -f https://docs.projectcalico.org/v3.8/manifests/calico.yaml

     参考：Calico 官方文档 - Quickstart for Calico on Kubernetes 更多 CNI 插件可以参考：Kubernetes 官方文档提供的教程 - Installing Addons

4. 检查 Master 的 Pod 及 集群状态

   • 使用 kubectl get pod -n kube-system -o wide，查看 Pod 状态均为 Runing 即可
   • 使用 kubectl get node -o wide，查看 Node 状态为 Ready 表示 Master 初始化完成

---

2. 初始化 Node 节点

初始化 Node 节点就比较简单了，只有两步，即：

1. 执行初始化
2. 检查 Node 的 Pod 及 集群状态

1. 初始化 Node 使用 Master 初始化时的命令进行初始化即可，Node 节点初始化后，就直接加入了集群

   kubeadm join <master-ip>:6443 --token <token> --discovery-token-ca-cert-hash sha256:<sha256>

   注意：没有记录集群 join 命令的可以通过以下方式重新获取

   sudo kubeadm token create --print-join-command --ttl=0

2. 检查 Node 的 Pod 及 集群状态

   • 使用 kubectl get pod -n kube-system -o wide，查看 Pod 状态均为 Runing 即可
   • 使用 kubectl get node -o wide，查看 所有节点 状态均为 Ready 表示 Master 初始化完成

---

五. 重置 Kubernetes 集群

在集群安装失败，或者出现一些无法解决的问题时，可以重置集群，再重新安装 重置 Kubernetes 集群，主要的执行步骤如下：

1. kubeadm 集群重置
2. iptables 规则清理
3. ipvs 规则清理
4. kubernetes 配置文件清理
5. etcd 配置清理
6. cni 网络插件清理

废话不多说，直接撸代码

kubeadm reset
iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
ipvsadm --clear
rm -rf ~/.kube
rm -rf /var/lib/etcd
ifconfig cni0 down
ip link delete cni0
ifconfig flannel.1 down
ip link delete flannel.1
rm -rf /var/lib/cni/

---

参考： https://kubernetes.io/zh/docs/setup/independent/install-kubeadm/ https://k8smeetup.github.io/docs/reference/setup-tools/kubeadm/kubeadm-init/ centos7使用kubeadm安装部署kubernetes 1.14 - Adrian·Ding - 博客园 CentOS7中用kubeadm安装Kubernetes-云栖社区-阿里云