内网环境安装K8S1.20.11版本集群

本文介绍: /上传 cni–plugins–linux–amd64-v1.2.0.tgz、flannel–cni–v1.2.0.tar、flannel–v0.22.2.tar和kube–flannel.yml。#–exp e ri m e n tal-upload–ce rt s 参数可以在后续执行加入节点时自动分发证书文件，K8S V1.16版本开始替换为 —upload–ce rt s。–token–t tl：默认 token的有效期为24小时，如果不想过期，可以加上 —token–t tl=0 这个参数。

第一章.实验要求和环境

—————————— 环境准备 ——————————

docker安装好了后

2.2.安装K8组件

——————– 部署K8S集群 ——————–

//设定kubectl

//所有节点部署网络插件flannel

2.3.安装完成测试

第一章.实验要求和环境

在yum后面加–download only —down load dir=./位置可以下载 yum包

yum install ntp date –y —down lo a donly —down lo add i r=./b a o1 #时间校准

yum install –y container–selinux.no arc h 2:2.119.2-1.911c772.el7_8 lib selinux.x86_64 0:2.5-15.el7 lib selinux–python.x86_64 0:2.5-15.el7 lib selinux–utils.x86_64 0:2.5-15.el7 lib s e manage.x86_64 0:2.5-14.el7 lib s e p ol.x86_64 0:2.5-10.el7 policy core utils.x86_64 0:2.5-34.el7 policy core utils-python.x86_64 0:2.5-34.el7 selinux–policy.no arc h 0:3.13.1-268.el7_9.2 selinux–policy–targeted.no arc h 0:3.13.1-268.el7_9.2 setools–libs.x86_64 0:3.3.8-4.el7 —down lo a donly —downloadd i r=./b ao2 #安装 lvm2的前置依赖包

yum in sta ll –y yum–utils device–mapper–persistent–data lvm2 —downloa donly —downloa dd i r=./bao3 #安装 docker前的环境包

yum insta ll –y conn tr ack–tools.x86_64 0:1.4.4-7.el7 libnet filter_ct helper.x86_64 0:1.0.0-11.el7 libnet fi lte r_cttimeout.x86_64 0:1.0.0-7.el7 libnet fi lte r_queue.x86_64 0:1.0.2-2.el7_2 so cat.x86_64 0:1.7.3.2-2.el7 —downloa donly —d ownloa dd ir=./bao4 #安装 docker前的依赖包

yum insta ll –y docker–ce docker–ce-cli container d.io —d ownloa donly —d ownloaddir=./bao5

#安装 docker的包

（你也可以安装指定包yum insta ll docker–ce-19.03.* dock er–cli-19.03.* -y）

之后在包的目录里安装本地包

yum -y local insta ll *.rpm
# yum -y insta ll *.rpm

这里是完全成功的！

第二章.K8S的安装过程

2.1.初始化到集群安装成功

—————————— 环境 准备 ——————————

//所有节点，关闭防火墙规则，关闭 selinux，关闭swap 交换
 systemctl stop firewalld
systemctl disa ble firewalld
seten force 0
sed -i ‘s/enforcin g/disabled/’ /etc/selinux/config
iptables -F && iptables -t nat -F && iptables -t man gle -F && iptables -X
swap off -a #交换分区必须要关闭
sed –ri ‘s/.*swap.*/#&am p;/’ /etc/fs tab #永久关闭swap 分区，&am p;符号在sed命令中代表上次匹配的结果
#加载 ip_vs 模块
 for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/net fi lter/ipvs|grep -o “^[^.]*”);do echo $i; /sbin/mod info -F filename $i >/dev/null 2>&1 && /sbin/modprobe $i;do ne

//修改主机名
 hostname ctl set–hostname master01
host name ctl set–h ostname node01
h ostname ctl set–h ostname no de02

//所有节点修改 hosts 文件
 vim /etc/hosts
192.168.247.10 mast er01
192.168.247.30 no de01
192.168.247.40 no de02

//调整内核参数
 cat > /etc/sysctl.d/kubernetes.conf << EOF
#开启网桥模式，可将网桥的流量传递给ip tables链
net.bridge.bridge–nf–call–ip6tables=1
net.bridge.bridge–nf–call–ip tables=1
#关闭ipv6协议
 net.ipv6.conf.all.disa ble_ipv6=1
net.ipv4.ip_forward=1
EOF

//生效参数
sysctl —system

dock er安装好了后

mk dir /etc/dock er
cat > /etc/dock er/da emo n.json <<EOF
{
“registry–mirrors“: [“https://6ijb8ubo.mirror.aliyun cs.com“],
“exec–opts“: [“native.cgroup driver=systemd“],
“log–driver“: “json–file“,
“log-opts“: {
“max–size“: “100m”
}
}
EOF
#使用Syste md 管理的Cgroup来进行资源控制与管理，因为相对Cgroup fs而言，Syste md 限制CPU、内存等资源更加简单和成熟稳定。
#日志使用 json–file 格式类型存储，大小为100M，保存在/var/log/containers目录下，方便ELK等日志系统收集和管理日志。

systemctl daemo n–reload
systemctl restart dock er.service
systemctl enable docker.service

docker info | grep “Cgroup Dri ver”
Cgroup Dri ver: systemd

2.2.安装K8组件

//定义 kube rnetes源
cat > /etc/yum.repos.d/kube rnetes.repo << EOF
[kube rnetes]
name=Kubernetes
base url=https://mirrors.aliyun.com/kube rnetes/yum/re pos/kube rnetes-el7-x86_64
enabled=1
gpg check=0
re po_gpg check=0
gpg key=https://mirrors.aliyun.com/kube rnetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm–package–key.gpg
EOF

yum install -y kubelet-1.20.11 kubeadm-1.20.11 kubectl-1.20.11

//开机自启 kubelet
systemctl enable kubelet.service
#K8S通过 kubeadm安装出来以后都是以Pod 方式存在，即底层是以容器方式运行，所以kubelet必须设置开机自启

——————– 部署K8S集群 ——————–

//查看初始化需要的镜像
 kubeadm config images list

//在 master 节点上传 v1.20.11.zip 压缩包至 /opt 目录
 unzip v1.20.11.zip -d /opt/k8s
cd /opt/k8s/v1.20.11
for i in $(ls *.tar); do docker load -i $i; done

//复制镜像和脚本到 no de 节点，并在 node 节点上执行脚本加载镜像文件
 scp -r /opt/k8s root@node01:/opt
scp -r /opt/k8s root@node02:/opt

//初始化 kubeadm
方法一：
kubeadm config print init–defaults > /opt/kubeadm–config.yaml

cd /opt/
vim kubeadm–config.yaml
……
11 localAPIEnd point:
12 advertiseAddress: 192.168.10.19       #指定master节点的IP地址
13 bindPort: 6443
……
34 kubernetesVers ion: v1.20.11               #指定kubernetes版本号
35 networking:
36 dnsDomain: cluster.local
37 podSubnet: 10.244.0.0/16               #指定pod 网段，10.244.0.0/16用于匹配 flannel 默认网段
38 serviceSubnet: 10.96.0.0/16           #指定service 网段
39 scheduler: {}
#末尾再添加以下内容
—
apiVers ion: kubeproxy.config.k8s.io/v1alpha1
ki nd: KubeProxyCon figuration
mode: ipvs                                   #把默认的kube-proxy 调度方式改为 ip vs 模式

kubeadm init –con fig=kubeadm-con fig.yaml —upload-certs | tee kubeadm–init.log
#–experimental-upload-certs 参数可以在后续执行加入节点时自动分发证书文件，K8S V1.16版本开始替换为 —upload-certs
#tee kubeadm–init.log 用以输出日志

//查看 kubeadm–init 日志
less kubeadm–init.log

kubeadm join 192.168.247.10:6443 –token abcde f.0123456789abcde f
—di scovery-token-ca-cert–hash sha256:89d28539b54ef8abc0741641f0be789570c66133591ce784aba46907eda3fe8c

//kubernetes配置文件目录
 ls /etc/kubernetes/

//存放 ca等证书和密码的目录
 ls /etc/kubernetes/p ki

方法二：
kubeadm init
—apiserver–advertise-address=192.168.10.19
—image–repository registry.aliyuncs.com/google_containers
–kubernetes-version=v1.20.11
—serv ice-ci dr=10.96.0.0/16
—pod–network–ci dr=10.244.0.0/16
–token-ttl=0
——————————————————————————————–
初始化集群需使用kubeadm init 命令，可以指定具体参数初始化，也可以指定配置文件初始化。
可选参数：
—api server–advertise-address：api server通告给其他组件的IP地址，一般应该为Master节点的用于集群内部通信的IP地址，0.0.0.0表示节点上所有可用地址
—api server-bind–port：api server的监听端口，默认是6443
–cert-dir：通讯的ssl 证书文件，默认/etc/kubernetes/pki
—control–plane-end point：控制台平面的共享终端，可以是负载均衡的ip地址或者dns 域名，高可用集群时需要添加
—image–repository：拉取镜像的镜像仓库，默认是k8s.gcr.io
–kubernetes-version：指定kubernetes版本
—pod–network–ci dr：pod 资源的网段，需与pod 网络插件的值设置一致。Flannel网络插件的默认为10.244.0.0/16，Calico 插件的默认值为192.168.0.0/16；
—serv ice-ci dr：serv ice资源的网段
—serv ice-dns-domain：serv ice全域名的后缀，默认是cluster.local
–token-ttl：默认token的有效期为24小时，如果不想过期，可以加上 –token-ttl=0 这个参数
———————————————————————————————

方法二初始化后需要修改 kube-proxy 的 con figmap，开启 ipvs
kubectl edit cm kube-proxy -n=kube-system
修改 mode: ipvs

提示：
……
Your Kubernetes control–plane has initialized success fully!

To start using your cluster, you need to run the f ol lowing as a reg ul ar user:

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.co nf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

Alternatively, if you are the root user, you can run:

export KUBECONFIG=/etc/kubernetes/admin.conf

You should now deploy a pod network to the cluster.
Run “kubectl apply -f [podnetwork].yaml” wi th one of the options listed at:
https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the fol lowing on each as root:
//node01、node02访问
kubeadm join 192.168.247.10:6443 –token wfjo7j.baa0aheyw39w3m7h
–discovery-token-ca-cert-hash sha256:77100ff66b20100cbd9f1c289788e43aee69c5b4e24cc2c74c2e5d634a074fdc

//设定kubectl

kubectl需经由API server认证及授权后方能执行相应的管理操作，kubeadm 部署的集群为其生成了一个具有管理员权限的认证配置文件 /etc/kubernetes/admin.conf，它可由 kubectl 通过默认的 “$HOME/.kube/config” 的路径进行加载。

mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config

kubectl get cs
//如果 kubectl get cs 发现集群不健康，更改以下两个文件
vim /etc/kubernetes/manife sts/kube-scheduler.yaml
vim /etc/kubernetes/manife sts/kube-controller–manager.yaml
# 修改如下内容
把–bind–address=127.0.0.1变成–bind–address=192.168.10.19       #修改成k8s的控制节点master01的ip
把httpGet:字段下的hosts由127.0.0.1变成192.168.10.19（有两处）
#- —port=0                   # 搜索 port=0，把这一行注释掉

systemctl re start kubelet

//所有节点部署网络插件 flannel

新方法：

//上传 cni–plugins–linux–amd64-v1.2.0.tgz、flannel-cni-v1.2.0.tar、flannel-v0.22.2.tar和kube-flannel.yml

master01上操作：
docker load -i flannel-v0.22.2.tar
docker load -i flannel-cni-v1.2.0.tar
scp flannel-cni-v1.2.0.tar flannel-v0.22.2.tar node01:/opt #复制到node1节点
scp flannel-cni-v1.2.0.tar flannel-v0.22.2.tar node02:/opt #复制到node2节点

node01/node02上操作：
docker load -i flannel-v0.22.2.tar
docker load -i flannel-cni-v1.2.0.tar

master01操作：
kubectl apply -f kube-flannel.yml
kubectl get pod -n kube-system

###如若显示下述问题，重启所以节点的docker和kubelet服务
[root@master01 opt]# kubectl get pod -n kube-system
NAME READY STATUS RESTARTS AGE
coredns-74ff55c5b-56mhk 0/1 Pending 0 105m
coredns-74ff55c5b-sn db7 0/1 Pending 0 105m
etcd-master01 1/1 Running 0 105m
kube-api server-master01 1/1 Running 0 105m
kube-controller–manager-master01 1/1 Running 0 102m
kube-proxy-gxn5d 1/1 Running 0 105m
kube-scheduler-master01 1/1 Running 0 103m

方法一：
//所有节点上传flannel镜像 flannel.tar 到 /opt 目录，master节点上传 kube-flannel.yml 文件
cd /opt
docker load < flannel.tar

//在 master 节点创建 flannel 资源
kubectl apply -f kube-flannel.yml

方法二：
kubectl apply -f https://raw.githubusercontent.com/core os/flannel/master/Documentation/kube-flannel.yml

kubectl apply -f https://github.com/flannel-io/flannel/releases/latest/download/kube-flannel.yml

//在 node 节点上执行 kubeadm join 命令加入群集
kubeadm join 192.168.247.10:6443 –token rc0kfs.a1sfe3gl4dvopck5
–discovery-token-ca-cert-hash sha256:864fe553c812df2af262b406b707db68b0fd450dc08b34efb73dd5a4771d37a2

kubeadm join 192.168.247.10:6443 –token abcdef.0123456789abcdef
–disc overy-token-ca-cert-hash sha256:89d28539b54ef8abc0741641f0be789570c66133591ce784aba46907eda3fe8c

//在master节点查看节点状态
kubectl get nodes

kubectl get pods -n kube-system
NAME READY STATUS RESTARTS AGE
coredns-bc cdc95cf-c9w6l 1/1 Running 0 71m
coredns-bc cdc95cf-nql5j 1/1 Running 0 71m
etcd-master 1/1 Running 0 71m
kube-api server-master 1/1 Running 0 70m
kube-controller–manager-master 1/1 Running 0 70m
kube-flannel-ds–amd64-kfhwf 1/1 Running 0 2m53s
kube-flannel-ds–amd64-qkdfh 1/1 Running 0 46m
kube-flannel-ds–amd64-vffxv 1/1 Running 0 2m56s
kube-proxy-558p8 1/1 Running 0 2m53s
kube-proxy-nwd7g 1/1 Running 0 2m56s
kube-proxy-qpz8t 1/1 Running 0 71m
kube-scheduler-master 1/1 Running 0 70m

2.3.安装完成测试

//测试 pod 资源创建
kubectl create deployment nginx –image=nginx

kubectl get pods -o w ide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
nginx-554b9c67f9-zr2xs 1/1 Running 0 14m 10.244.1.2 node01 <none> <none>

//暴露端口提供服务
kubectl expose deployment nginx —port=80 —type=NodePort

kubectl get svc
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 3h57m
my app-ky20 NodePort 10.96.56.120 <none> 80:32404/TCP 3s

//测试访问
curl http://node01:32404

//扩展3个副本
kubectl scale deployment nginx —replicas=3
kubectl get pods -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
nginx-554b9c67f9-9kh4s 1/1 Running 0 66s 10.244.1.3 node01 <none> <none>
nginx-554b9c67f9-rv77q 1/1 Running 0 66s 10.244.2.2 node02 <none> <none>
nginx-554b9c67f9-zr2xs 1/1 Running 0 17m 10.244.1.2 node01 <none> <none>