K8S安装记录

2023-06-23 19:59 由辉子t1 发表于 #其他

https://kubernetes.io/zh-cn/docs/setup/production-environment/container-runtimes/

https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/install-kubeadm/

在master和worker节点上安装containerd、kubelet、kubeadm、kubectl

lsmod | grep br_netfilter
lsmod | grep overlay
# 以上两个命令应该有输出，否则需要做如下设置：
# cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
# overlay
# br_netfilter
# EOF
# sudo modprobe overlay
# sudo modprobe br_netfilter

sysctl net.bridge.bridge-nf-call-iptables net.bridge.bridge-nf-call-ip6tables net.ipv4.ip_forward
# 以上命令输出三个值都是1，否则做如下设置
# cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
# net.bridge.bridge-nf-call-iptables  = 1
# net.bridge.bridge-nf-call-ip6tables = 1
# net.ipv4.ip_forward                 = 1
# EOF
# sudo sysctl --system

# 安装containerd并且使用systemd
yum install -y containerd
containerd config default > /etc/containerd/config.toml
sed -i 's/SystemdCgroup = false/SystemdCgroup = true/' /etc/containerd/config.toml
sed -iE 's/sandbox_image.*/sandbox_image = "registry.k8s.io\/pause:3.9"/g' /etc/containerd/config.toml
systemctl daemon-reload
systemctl enable containerd
systemctl restart containerd
cat <<EOF | sudo tee /etc/yum.repos.d/kubernetes.repo

#安装kubelet,kubeadm,kubectl

[kubernetes]
name=Kubernetes
baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-\$basearch
enabled=1
gpgcheck=1
gpgkey=https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
exclude=kubelet kubeadm kubectl
EOF

# 将 SELinux 设置为 permissive 模式（相当于将其禁用）
sudo setenforce 0
sudo sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config

sudo yum install -y kubelet-1.27.3 kubeadm-1.27.3 kubectl-1.27.3 --disableexcludes=kubernetes

sudo systemctl enable --now kubelet

在master节点里使用kubeadm创建集群：

https://kubernetes.io/zh-cn/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/

echo "export POD_SUBNET=10.100.0.1/16">>/etc/profile
source /etc/profile

kubeadm config images pull --kubernetes-version=v1.27.3
# 执行完以上命令之后，使用crictl images可以看到下载的镜像

kubeadm init --kubernetes-version=v1.27.3 --pod-network-cidr=$POD_SUBNET --control-plane-endpoint=${dns/master_ip}

# 配置 kubectl
rm -rf /root/.kube/
mkdir /root/.kube/
cp -i /etc/kubernetes/admin.conf /root/.kube/config
echo "export KUBECONFIG=/etc/kubernetes/admin.conf">>/etc/profile
source /etc/profile

# 允许master节点运行pod：kubectl taint nodes --all node-role.kubernetes.io/control-plane-
# kubeadm init完了之后，还需要安装一个CNI 
# https://kubernetes.io/docs/concepts/cluster-administration/networking/#how-to-implement-the-kubernetes-networking-model
# https://github.com/containernetworking/cni
# https://github.com/projectcalico/calico
# https://docs.tigera.io/calico/latest/getting-started/kubernetes/quickstart

kubectl create -f https://raw.githubusercontent.com/projectcalico/calico/v3.25.1/manifests/tigera-operator.yaml
wget https://raw.githubusercontent.com/projectcalico/calico/v3.25.1/manifests/custom-resources.yaml
sed -i "s#192.168.0.0/16#${POD_SUBNET}#" custom-resources.yaml
kubectl apply -f custom-resources.yaml
# 等待一段时间口即可看到所有pods都处于running状态：

在master节点里创建完成之后，就可以让worker节点加入到master里，在master里执行：kubeadm token create --print-join-command 输出的内容在worker节点里运行，输出如下：

在master节点里运行kubectl get nodes即可看到当前的所有节点

安装图形化管理工具

官方推荐的dashboard：

kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.7.0/aio/deploy/recommended.yaml

kubectl proxy --address='0.0.0.0' --port=8080 --accept-hosts='.*'

安全性限制的很严格，只支持localhost或者是https登录，这种情况需要将master节点挂到一个域名后面并且添加CA证书

然后访问：https://your_domain/api/v1/namespaces/kubernetes-dashboard/services/https:kubernetes-dashboard:/proxy/#/login

另一个比较好用的：https://github.com/eip-work/kuboard-press

sudo docker run -d \
  --restart=unless-stopped \
  --name=kuboard \
  -p 8080:80/tcp \
  -p 10081:10081/tcp \
  -e KUBOARD_ENDPOINT="http://内网IP:8080" \
  -e KUBOARD_AGENT_SERVER_TCP_PORT="10081" \
  -v /root/kuboard-data:/data \
  eipwork/kuboard:v3

创建完成后在浏览器端用masterip:8080即可打开，按照引导步骤将集群导入到UI里面之后就可以看到dashboard

从界面也可以看到所有的namespace：

在k8s里面部署一个服务

可以在界面手动创建一个namespace：test，然后在test里面创建deployment，测试将我们stage里用的airflow的worker部署到k8s里面，需要配置工作容器的信息，挂在efs到容器。

由于我们使用aws里的ecr，拉取镜像的时候需要登录，所以需要在这个新建的namespace里先创建拉取镜像需要的docker-registry类型的secret，可以使用kubectl创建一个secret，名字是ecrsecret：kubectl create secret docker-registry ecrsecret -n test --docker-server=https://${your_accountId}.dkr.ecr.${your_region}.amazonaws.com --docker-username=AWS --docker-password=$(aws ecr get-login --no-include-email --region ${your_region} --registry-ids ${your_account_id}|awk '{print $6}')，输出：secret/ecrsecret created，表示创建成功，创建deployment的时候就可以使用这个secret

全部设置好之后点击保存即可创建deployment，查看pod和airflow的flower，发现成功添加到airflow集群，并且已经开始运行task：

使用Velero备份k8s集群数据到aws的S3

wget https://github.com/vmware-tanzu/velero/releases/download/v1.10.3/velero-v1.10.3-linux-amd64.tar.gz
tar zxvf velero-v1.10.3-linux-amd64.tar.gz
cd velero-v1.10.3-linux-amd64/
cp velero /usr/bin/velero

# 执行完后要等待十几秒才能看到可用备份
velero install \
  --provider aws \
  --image velero/velero:v1.10.3 \
  --plugins velero/velero-plugin-for-aws:v1.6.0 \
  --bucket ${your_store_bucket_name} \
  --prefix ${prefix} \
  --use-volume-snapshots=false \
  --backup-location-config region=us-east-1 \
  --no-secret

#备份
 velero backup create backup$(date "+%Y%m%d%H%M%S")
 aws s3 ls s3://${your_store_bucket_name}/${prefix}
  
 #查看可用的备份
 velero backup get

#如果更改了备份文件的地址，可以使用如下命令添加location
 velero backup-location create location2 \
  --provider aws \
  --bucket ${your_store_bucket_name} \
  --prefix ${backups_prefix} \
  --config region=${your_region}

velero backup-location get

#  然后再次查看可用备份
velero backup get

#恢复
velero restore create --from-backup backupname

热门相关：我的治愈系游戏道君前任无双锦乡里回眸医笑，冷王的神秘嫡妃