转载自https://kairen.github.io/2018/04/05/kubernetes/deploy/manual-v1.10/
此过程我写了ansible安装部署方案,地址(一些文件下载不了的话可以去下面的github里找对应的文件)
本文内容所有url都没改过，以下的添加的内容是我的建议和安装的经验
本文里如果有些范围不知道在哪台主机上执行请看前后命令都可以判断出,不清楚的请下面评论我会更新
以下我转载过来并修改+上我的提醒
管理组件采用staticPod或者daemonSet形式跑的,宿主机os能跑docker应该本篇教程能大多适用
本次安裝的版本：
Kubernetes v1.10.0 (1.10.0和1.10.3亲测成功)
CNI v0.6.0
Etcd v3.1.13
Calico v3.0.4
Docker CE latest version(18.03)
** 不建议用docker 18.05 , docker CE 18.05有bind mount的bug **
节点信息 Ubuntu 16.x与CentOS 7.x
IP
Hostname
CPU
Memory
192.16.35.11
K8S-M1
1
4G
192.16.35.12
K8S-M2
1
4G
192.16.35.13
K8S-M3
1
4G
192.16.35.14
K8S-N1
1
4G
192.16.35.15
K8S-N2
1
4G
192.16.35.16
K8S-N3
1
4G
另外VIP为192.16.35.10,由所有master节点后面的keepalived+haproxy的staticPod来选择VIP的归属保持高可用
所有操作全部用root使用者进行(方便用)，以SRE来说不推荐。
可以下载Vagrantfile 来建立Virtualbox虚拟机集群。不过需要注意机器资源是否足够
事前准备
所有机器彼此网路互通，并且k8s-m1SSH登入其他节点为passwdless。所有防火墙与SELinux 已关闭。如CentOS：1 2 3 4 $ systemctl stop firewalld && systemctl disable firewalld $ setenforce 0 $ vim /etc/selinux/config SELINUX=disabled
所有机器需要设定/etc/hosts解析到所有集群主机。1 2 3 4 5 6 7 ... 192.16.35.11 k8s-m1 192.16.35.12 k8s-m2 192.16.35.13 k8s-m3 192.16.35.14 k8s-n1 192.16.35.15 k8s-n2 192.16.35.16 k8s-n3
所有机器需要安装Docker CE 版本的容器引擎：1 $ curl -fsSL "https://get.docker.com/" | sh
不管是在Ubuntu或CentOS都只需要执行该指令就会自动安装最新版Docker。
CentOS安装完成后，需要再执行以下指令：
1 $ systemctl enable docker && systemctl start docker
所有机器需要设定/etc/sysctl.d/k8s.conf的系统参数。1 2 3 4 5 6 7 $ cat <<EOF > /etc/sysctl.d/k8s.conf net.ipv4.ip_forward = 1 net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 EOF $ sysctl -p /etc/sysctl.d/k8s.conf
Kubernetes v1.8+要求关闭系统Swap，若不关闭则需要修改kubelet设定参数，在所有机器使用以下指令关闭swap并注释掉/etc/fstab中swap的行：1 2 $ swapoff -a && sysctl -w vm.swappiness=0 $ sed -ri '/^[^#]*swap/s@^@#@' /etc/fstab
确保getenforce的值是Disabled,如果不是请重启
1 2 3 4 REPOSITORY TAG IMAGE ID CREATED SIZE quay.io/calico/node v3.0.4 5361c5a52912 8 weeks ago 278MB quay.io/calico/cni v2.0.3 cef0252b1749 2 months ago 69.1MB k8s.gcr.io/pause-amd64 3.1 da86e6ba6ca1 5 months ago 742kB
这三个因为墙的原因会拉取不到,我已经save成文件了(有工具的可以直接pull上面镜像)https://pan.baidu.com/s/1v7uN4ht-7qvA1uk9ZMmuMA
1 2 3 $ wget http://ols7lqkih.bkt.clouddn.com/images.tar.gz $ docker load -i images.tar.gz
1 quay.io/calico/kube-controllers v2.0.2 0754e1c707e7 2 months ago 55.1MB
同样被墙了,拉取不到用我的七牛云地址导入
1 2 $ wget http://ols7lqkih.bkt.clouddn.com/calico-kube-proxy-adm64.tar.gz $ docker load -i calico-kube-proxy-adm64.tar.gz
无越墙工具的,我已把1.10.0的kubectl和kubelet上传到我的七牛云了,使用下面下载
1 2 3 4 5 6 7 8 9 10 11 12 13 14 $ wget http://ols7lqkih.bkt.clouddn.com/kubelet -O /usr/local/bin/kubelet $ chmod +x /usr/local/bin/kubelet $ wget http://ols7lqkih.bkt.clouddn.com/kubectl -O /usr/local/bin/kubectl $ chmod +x /usr/local/bin/kubectl [root@k8s-m1 ~] a3ced404a71f94d2fa9230635ed4e407 kubelet [root@k8s-m1 ~] e1f801301614463e1f13cf28b4443608 kubectl
最新版的kubectl使用以下命令来下载可获得最新版本,如果要最新的自行工具下载
1 curl -LO https://storage.googleapis.com/kubernetes-release/release/$(curl -s https://storage.googleapis.com/kubernetes-release/release/stable.txt)/bin/linux/amd64/kubectl
要下载特定版本，请$(curl -s https://storage.googleapis.com/kubernetes-release/release/stable.txt)将上面命令的部分替换为特定版本。
例如如果不追求最新版本,使用下面的1.10.0地址
1 2 3 4 5 6 7 $ export KUBE_URL="https://storage.googleapis.com/kubernetes-release/release/v1.10.0/bin/linux/amd64" $ wget "${KUBE_URL} /kubelet" -O /usr/local/bin/kubelet $ chmod +x /usr/local/bin/kubelet $ wget "${KUBE_URL} /kubectl" -O /usr/local/bin/kubectl $ chmod +x /usr/local/bin/kubectl
在所有机器下载Kubernetes CNI 二进制执行档：(centos命令报错的话建议直接下载后解压到目录里)1 2 3 4 mkdir -p /opt/cni/bin && cd /opt/cni/binexport CNI_URL="https://github.com/containernetworking/plugins/releases/download" wget -qO- "${CNI_URL} /v0.6.0/cni-plugins-amd64-v0.6.0.tgz" | tar -zx
在k8s-m1需要安裝CFSSL工具，这将会用來建立 TLS Certificates。1 2 3 4 $ export CFSSL_URL="https://pkg.cfssl.org/R1.2" $ wget "${CFSSL_URL} /cfssl_linux-amd64" -O /usr/local/bin/cfssl $ wget "${CFSSL_URL} /cfssljson_linux-amd64" -O /usr/local/bin/cfssljson $ chmod +x /usr/local/bin/cfssl /usr/local/bin/cfssljson
建立集群CA keys 与Certificates 在这个部分，将需要产生多个元件的Certificates，这包含Etcd、Kubernetes 元件等，并且每个集群都会有一个根数位凭证认证机构(Root Certificate Authority)被用在认证API Server 与Kubelet 端的凭证。
PS这边要注意CA JSON档的CN(Common Name)与O(Organization)等内容是会影响Kubernetes元件认证的。
Etcd CA 首先在k8s-m1建立/etc/etcd/ssl文件夹，然后进入目录完成以下操作。
1 2 $ mkdir -p /etc/etcd/ssl && cd /etc/etcd/ssl $ export PKI_URL="https://kairen.github.io/files/manual-v1.10/pki"
下载ca-config.json与etcd-ca-csr.json文件，并从CSR json产生CA keys与Certificate：
1 2 $ wget "${PKI_URL} /ca-config.json" "${PKI_URL} /etcd-ca-csr.json" $ cfssl gencert -initca etcd-ca-csr.json | cfssljson -bare etcd-ca
下载etcd-csr.json文件，并产生Etcd证书：
1 2 3 4 5 6 7 8 $ wget "${PKI_URL} /etcd-csr.json" $ cfssl gencert \ -ca=etcd-ca.pem \ -ca-key=etcd-ca-key.pem \ -config=ca-config.json \ -hostname=127.0.0.1,192.16.35.11,192.16.35.12,192.16.35.13 \ -profile=kubernetes \ etcd-csr.json | cfssljson -bare etcd
-hostname需修改成所有masters节点的IP
完成后删除不必要文件：
1 $ rm -rf ${DIR} /*.json *.csr
确认/etc/etcd/ssl有以下文件：
1 2 $ ls /etc/etcd/ssl etcd-ca-key.pem etcd-ca.pem etcd-key.pem etcd.pem
复制相关文件至其他Etcd节点，这边为所有master节点：
1 2 3 4 5 6 7 $ for NODE in k8s-m2 k8s-m3; do echo "--- $NODE ---" ssh ${NODE} "mkdir -p /etc/etcd/ssl" for FILE in etcd-ca-key.pem etcd-ca.pem etcd-key.pem etcd.pem; do scp /etc/etcd/ssl/${FILE} ${NODE} :/etc/etcd/ssl/${FILE} done done
Kubernetes CA 在k8s-m1建立pki文件夹，然后进入目录完成以下章节操作。
1 2 3 $ mkdir -p /etc/kubernetes/pki && cd /etc/kubernetes/pki $ export PKI_URL="https://kairen.github.io/files/manual-v1.10/pki" $ export KUBE_APISERVER="https://192.16.35.10:6443"
下载ca-config.json与ca-csr.json文件，并产生CA凭证：
1 2 3 4 $ wget "${PKI_URL}/ca-config.json" "${PKI_URL}/ca-csr.json" $ cfssl gencert -initca ca-csr.json | cfssljson -bare ca $ ls ca*.pem ca-key.pem ca.pem
API Server Certificate 下载apiserver-csr.json文件，并产生kube-apiserver凭证：
1 2 3 4 5 6 7 8 9 10 11 $ wget "${PKI_URL}/apiserver-csr.json" $ cfssl gencert \ -ca=ca.pem \ -ca-key=ca-key.pem \ -config=ca-config.json \ -hostname=10.96.0.1,192.16.35.10,127.0.0.1,kubernetes.default \ -profile=kubernetes \ apiserver-csr.json | cfssljson -bare apiserver $ ls apiserver*.pem apiserver-key.pem apiserver.pem
这边-hostname的10.96.0.1是Cluster IP的Kubernetes端点(默认占用第一个ip,用于给集群里的pod要调用Kubernetes的API server);
192.16.35.10为虚拟IP 位址(VIP);kubernetes.default为Kubernets DN。
Front Proxy Certificate 下载front-proxy-ca-csr.json文件，并产生Front Proxy CA金钥，Front Proxy主要是用在API aggregator上:
1 2 3 4 5 6 $ wget "${PKI_URL}/front-proxy-ca-csr.json" $ cfssl gencert \ -initca front-proxy-ca-csr.json | cfssljson -bare front-proxy-ca $ ls front-proxy-ca*.pem front-proxy-ca-key.pem front-proxy-ca.pem
下载front-proxy-client-csr.json档案，并产生front-proxy-client证书：
1 2 3 4 5 6 7 8 9 10 $ wget "${PKI_URL}/front-proxy-client-csr.json" $ cfssl gencert \ -ca=front-proxy-ca.pem \ -ca-key=front-proxy-ca-key.pem \ -config=ca-config.json \ -profile=kubernetes \ front-proxy-client-csr.json | cfssljson -bare front-proxy-client $ ls front-proxy-client*.pem front-proxy-client-key.pem front-proxy-client.pem
Admin Certificate 下载admin-csr.json文件，并产生admin certificate凭证：
1 2 3 4 5 6 7 8 9 10 $ wget "${PKI_URL}/admin-csr.json" $ cfssl gencert \ -ca=ca.pem \ -ca-key=ca-key.pem \ -config=ca-config.json \ -profile=kubernetes \ admin-csr.json | cfssljson -bare admin $ ls admin*.pem admin-key.pem admin.pem
接着通过以下指令产生名称为admin.conf的kubeconfig文件：
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 # admin set cluster $ kubectl config set-cluster kubernetes \ --certificate-authority=ca.pem \ --embed-certs=true \ --server=${KUBE_APISERVER} \ --kubeconfig=../admin.conf # admin set credentials $ kubectl config set-credentials kubernetes-admin \ --client-certificate=admin.pem \ --client-key=admin-key.pem \ --embed-certs=true \ --kubeconfig=../admin.conf # admin set context $ kubectl config set-context kubernetes-admin@kubernetes \ --cluster=kubernetes \ --user=kubernetes-admin \ --kubeconfig=../admin.conf # admin set default context $ kubectl config use-context kubernetes-admin@kubernetes \ --kubeconfig=../admin.conf
Controller Manager Certificate 下载manager-csr.json档案，并产生kube-controller-manager certificate凭证：
1 2 3 4 5 6 7 8 9 10 $ wget "${PKI_URL}/manager-csr.json" $ cfssl gencert \ -ca=ca.pem \ -ca-key=ca-key.pem \ -config=ca-config.json \ -profile=kubernetes \ manager-csr.json | cfssljson -bare controller-manager $ ls controller-manager*.pem controller-manager-key.pem controller-manager.pem
接着通过以下指令产生名称为controller-manager.conf的kubeconfig文件：
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 # controller-manager set cluster $ kubectl config set-cluster kubernetes \ --certificate-authority=ca.pem \ --embed-certs=true \ --server=${KUBE_APISERVER} \ --kubeconfig=../controller-manager.conf # controller-manager set credentials $ kubectl config set-credentials system:kube-controller-manager \ --client-certificate=controller-manager.pem \ --client-key=controller-manager-key.pem \ --embed-certs=true \ --kubeconfig=../controller-manager.conf # controller-manager set context $ kubectl config set-context system:kube-controller-manager@kubernetes \ --cluster=kubernetes \ --user=system:kube-controller-manager \ --kubeconfig=../controller-manager.conf # controller-manager set default context $ kubectl config use-context system:kube-controller-manager@kubernetes \ --kubeconfig=../controller-manager.conf
Scheduler Certificate 下载scheduler-csr.json文件，并产生kube-scheduler certificate凭证：
1 2 3 4 5 6 7 8 9 10 $ wget "${PKI_URL}/scheduler-csr.json" $ cfssl gencert \ -ca=ca.pem \ -ca-key=ca-key.pem \ -config=ca-config.json \ -profile=kubernetes \ scheduler-csr.json | cfssljson -bare scheduler $ ls scheduler*.pem scheduler-key.pem scheduler.pem
接着通过以下指令产生名称为scheduler.conf的kubeconfig文件：
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 # scheduler set cluster $ kubectl config set-cluster kubernetes \ --certificate-authority=ca.pem \ --embed-certs=true \ --server=${KUBE_APISERVER} \ --kubeconfig=../scheduler.conf # scheduler set credentials $ kubectl config set-credentials system:kube-scheduler \ --client-certificate=scheduler.pem \ --client-key=scheduler-key.pem \ --embed-certs=true \ --kubeconfig=../scheduler.conf # scheduler set context $ kubectl config set-context system:kube-scheduler@kubernetes \ --cluster=kubernetes \ --user=system:kube-scheduler \ --kubeconfig=../scheduler.conf # scheduler use default context $ kubectl config use-context system:kube-scheduler@kubernetes \ --kubeconfig=../scheduler.conf
Master Kubelet Certificate 接着在k8s-m1下载kubelet-csr.json档案，并产生凭证：
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 $ wget "${PKI_URL}/kubelet-csr.json" $ for NODE in k8s-m1 k8s-m2 k8s-m3; do echo "--- $NODE ---" cp kubelet-csr.json kubelet-$NODE-csr.json; sed -i "s/\$NODE/$NODE/g" kubelet-$NODE-csr.json; cfssl gencert \ -ca=ca.pem \ -ca-key=ca-key.pem \ -config=ca-config.json \ -hostname=$NODE \ -profile=kubernetes \ kubelet-$NODE-csr.json | cfssljson -bare kubelet-$NODE done $ ls kubelet*.pem kubelet-k8s-m1-key.pem kubelet-k8s-m1.pem kubelet-k8s-m2-key.pem kubelet-k8s-m2.pem kubelet-k8s-m3-key.pem kubelet-k8s-m3.pem
这边需要依据节点修改-hostname与$NODE。
完成后复制kubelet凭证至其他master节点：
1 2 3 4 5 6 7 $ for NODE in k8s-m2 k8s-m3; do echo "--- $NODE ---" ssh ${NODE} "mkdir -p /etc/kubernetes/pki" for FILE in kubelet-$NODE-key.pem kubelet-$NODE.pem ca.pem; do scp /etc/kubernetes/pki/${FILE} ${NODE}:/etc/kubernetes/pki/${FILE} done done
接着在k8s-m1执行以下指令产生名称为kubelet.conf的kubeconfig文件：
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 $ for NODE in k8s-m1 k8s-m2 k8s-m3; do echo "--- $NODE ---" ssh ${NODE} "cd /etc/kubernetes/pki && \ kubectl config set-cluster kubernetes \ --certificate-authority=ca.pem \ --embed-certs=true \ --server=${KUBE_APISERVER} \ --kubeconfig=../kubelet.conf && \ kubectl config set-credentials system:node:${NODE} \ --client-certificate=kubelet-${NODE}.pem \ --client-key=kubelet-${NODE}-key.pem \ --embed-certs=true \ --kubeconfig=../kubelet.conf && \ kubectl config set-context system:node:${NODE}@kubernetes \ --cluster=kubernetes \ --user=system:node:${NODE} \ --kubeconfig=../kubelet.conf && \ kubectl config use-context system:node:${NODE}@kubernetes \ --kubeconfig=../kubelet.conf && \ rm kubelet-${NODE}.pem kubelet-${NODE}-key.pem" done
Service Account Key Service account 不是通过CA 进行认证，因此不要通过CA 来做Service account key 的检查，这边建立一组Private 与Public 密钥提供给Service account key 使用：k8s-m1执行以下指令
1 2 3 4 $ openssl genrsa -out sa.key 2048 $ openssl rsa -in sa.key -pubout -out sa.pub $ ls sa.* sa.key sa.pub
删除不必要文件
1 $ rm -rf *.json *.csr scheduler*.pem controller-manager*.pem admin*.pem kubelet*.pem
复制文件至其他节点 复制凭证文件至其他master节点：
1 2 3 4 5 6 $ for NODE in k8s-m2 k8s-m3; do echo "--- $NODE ---" for FILE in $(ls /etc/kubernetes/pki/); do scp /etc/kubernetes/pki/${FILE} ${NODE}:/etc/kubernetes/pki/${FILE} done done
复制Kubernetes config文件至其他master节点：
1 2 3 4 5 6 $ for NODE in k8s-m2 k8s-m3; do echo "--- $NODE ---" for FILE in admin.conf controller-manager.conf scheduler.conf; do scp /etc/kubernetes/${FILE} ${NODE}:/etc/kubernetes/${FILE} done done
Kubernetes Masters 本部分将说明如何建立与设定Kubernetes Master 角色，过程中会部署以下元件：
kube-apiserver：提供REST APIs，包含授权、认证与状态储存等。
kube-controller-manager：负责维护集群的状态，如自动扩展，滚动更新等。
kube-scheduler：负责资源排程，依据预定的排程策略将Pod分配到对应节点上。
Etcd：储存集群所有状态的Key/Value储存系统。
HAProxy：提供负载平衡器。
Keepalived：提供虚拟网路位址(VIP)。
部署与设定 首先在所有master节点下载部署元件的YAML文件，这边不采用二进制执行档与Systemd来管理这些元件，全部采用Static Pod 来达成。这边将档案下载至/etc/kubernetes/manifests目录：
友情提醒镜像需要工具才能pull
没有工具请把yml文件的image的gcr.io/google_containers和k8s.gcr.io部分换成mirrorgooglecontainers 也可以用gcr.mirrors.ustc.edu.cn/google_containers
keepalived.yml里的interface 网卡名改为各自宿主机的网卡名keepalived.yml里的image 请更换为zhangguanzhang/keepalived:1.3.9,不然某些VIP会有判定bug后续的所有文件里的镜像名同理(没有越墙工具就这样做)
若所有yml文件里的机器IP与教学设定不同的话,请记得修改YAML文件。 下面的$(hostname -i)先手动执行下看看是不是只有一个ip,如果不是请每台这个部分替换成各自的ip
1 2 3 4 5 6 7 8 9 10 11 12 13 $ export CORE_URL="https://kairen.github.io/files/manual-v1.10/master" $ mkdir -p /etc/kubernetes/manifests && cd /etc/kubernetes/manifests $ for FILE in kube-apiserver kube-controller-manager kube-scheduler haproxy keepalived etcd etcd.config; do wget "${CORE_URL}/${FILE}.yml.conf" -O ${FILE}.yml if [ ${FILE} == "etcd.config" ]; then mv etcd.config.yml /etc/etcd/etcd.config.yml sed -i "s/\${HOSTNAME}/${HOSTNAME}/g" /etc/etcd/etcd.config.yml sed -i "s/\${PUBLIC_IP}/$(hostname -i)/g" /etc/etcd/etcd.config.yml fi done $ ls /etc/kubernetes/manifests etcd.yml haproxy.yml keepalived.yml kube-apiserver.yml kube-controller-manager.yml kube-scheduler.yml
产生一个用来加密Etcd 的Key：
1 2 $ head -c 32 /dev/urandom | base64 SUpbL4juUYyvxj3/gonV5xVEx8j769/99TSAf8YT/sQ=
然后在每台master机器的/etc/kubernetes/目录下，使用上面的key配合下面命令来建立encryption.yml的加密YAML文件：
1 2 3 4 5 6 7 8 9 10 11 12 13 $ cat <<EOF > /etc/kubernetes/encryption.yml kind: EncryptionConfig apiVersion: v1 resources: - resources: - secrets providers: - aescbc: keys: - name: key1 secret: SUpbL4juUYyvxj3/gonV5xVEx8j769/99TSAf8YT/sQ= - identity: {} EOF
然后在每台master机器/etc/kubernetes/目录下，建立audit-policy.yml的进阶稽核策略YAML文件：
1 2 3 4 5 6 $ cat <<EOF > /etc/kubernetes/audit-policy.yml apiVersion: audit.k8s.io/v1beta1 kind: Policy rules: - level: Metadata EOF
每台master机器下载haproxy.cfg档案来提供给HAProxy容器使用：
$ mkdir -p /etc/haproxy/
$ wget "${CORE_URL}/haproxy.cfg" -O /etc/haproxy/haproxy.cfg
1 2 3 > * <span style="color: red">若与本教学IP 不同的话，请记得修改文件。</span> 每台`master`机器下载`kubelet.service`相关文件来管理kubelet：
1 2 3 > * 若cluster dns或domain有改变的话，需要修改10-kubelet.conf。 最后每台`master`机器建立var 存放资讯，然后启动kubelet 服务:
1 完成后会需要一段时间来下载映像档与启动元件，可以利用该指令来监看：
1 2 3 4 5 6 7 8 > * 此处需要等待时间来拉取镜像,需要耐心等待 > * 若看到以上资讯表示服务正常启动，若发生问题可以用`docker`指令来查看。 > * 若看到关键的几个管理组件容器退出的话就说明操作错误 <span style="font-size: 1.3em;color: red;">上面会去拉取镜像,需要一段时间，具体好没好可以下面的操作来看状态对不对</span> <span style="font-size: 1.4em;color: #333;font-weight:bold">验证集群</span> 完成后，在任意一台`master`节点复制`admin kubeconfig`文件，并通过简单指令验证：
1 2 3 4 5 6 7 8 9 > * 这边会发现出现403 Forbidden问题，这是因为`kube-apiserveruser`并没有nodes的资源存取权限，属于正常。 <span style="font-size: 1.2em;color: red;">后面kubectl的命令不需要每个master都执行了,任意一台master执行就行了 kubectl可以从url读取内容来创建内容里的资源对象,也可以本地文件读取 后面kubectl命令结尾的yaml文件记得先下载下来改下里面的镜像仓库部分gcr.io/google_containers和k8s.gcr.io部分换成mirrorgooglecontainers,还有里面的apiserver ip啥的 然后-f后面指定文件路径即可 上面建议后面kubectl命令部分同理,不在多说废话 </span>
1 2 3 4 5 6 > * <a href="https://kubernetes.io/docs/concepts/configuration/taint-and-toleration/" target="_blank" rel="noopener">Taints and Tolerations</a>。 ### 建立TLS Bootstrapping RBAC 与Secret 由于本次安装启用了TLS认证，因此每个节点的kubelet都必须使用kube-apiserver的CA的凭证后，才能与kube-apiserver进行沟通，而该过程需要手动针对每台节点单独签署凭证是一件繁琐的事情，且一旦节点增加会延伸出管理不易问题;而TLS bootstrapping目标就是解决该问题，通过让kubelet先使用一个预定低权限使用者连接到kube-apiserver，然后在对kube-apiserver申请凭证签署，当授权Token一致时，Node节点的kubelet凭证将由kube-apiserver动态签署提供。具体作法可以参考<a href="https://kubernetes.io/docs/admin/kubelet-tls-bootstrapping/" target="_blank" rel="noopener">TLS Bootstrapping</a>与<a href="https://kubernetes.io/docs/admin/bootstrap-tokens/" target="_blank" rel="noopener">Authenticating with Bootstrap Tokens</a>。 首先在`k8s-m1`建立一个变数来产生`BOOTSTRAP_TOKEN`，并建立`bootstrap-kubelet.conf`的Kubernetes config文件：
1 2 3 > * 若想要用手动签署凭证来进行授权的话，可以参考<a href="https://kubernetes.io/docs/concepts/cluster-administration/certificates/" target="_blank" rel="noopener">Certificate</a>。 接着`在k8s-m1`建立TLS bootstrap secret来提供自动签证使用：
1 在`k8s-m1`建立 TLS Bootstrap Autoapprove RBAC：
1 2 3 <span style="font-size: 1.4em;color: #333;font-weight:bold">Kubernetes Nodes</span> 本部分将说明如何建立与设定Kubernetes Node 角色，Node 是主要执行容器实例(Pod)的工作节点。 在开始部署前，先在`k8-m1`将需要用到的文件复制到所有`node`节点上：
1 2 <span style="font-size: 1.4em;color: #333;font-weight:bold">部署与设定</span> 在每台`node`节点下载`kubelet.service`相关文件来管理kubelet：
1 2 3 > * 若`cluster dns`或`domain`有改变的话，需要修改`10-kubelet.conf`。 最后每台`node`节点建立var 存放资讯，然后启动kubelet 服务:
1 2 ### 验证集群 完成后，在任意一台`master`节点并通过简单指令验证：
1 2 3 4 5 6 7 ## Kubernetes Core Addons部署 当完成上面所有步骤后，接着需要部署一些插件，其中如`Kubernetes DNS`与`Kubernetes Proxy`等这种Addons是非常重要的。 ### Kubernetes Proxy <a href="https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/kube-proxy" target="_blank" rel="noopener">Kube-proxy</a>是实现Service的关键插件，kube-proxy会在每台节点上执行，然后监听API Server的Service与Endpoint资源物件的改变，然后来依据变化执行iptables来实现网路的转发。这边我们会需要建议一个DaemonSet来执行，并且建立一些需要的Certificates。 在`k8s-m1`下载`kube-proxy.yml`来建立Kubernetes Proxy Addon：
1 2 3 4 5 ### Kubernetes DNS <a href="https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/dns" target="_blank" rel="noopener">Kube DNS</a>是Kubernetes集群内部Pod之间互相沟通的重要Addon，它允许Pod可以通过Domain Name方式来连接Service，其主要由Kube DNS与Sky DNS组合而成，通过Kube DNS监听Service与Endpoint变化，来提供给Sky DNS资讯，已更新解析位址。 在`k8s-m1`下载`kube-dns.yml`来建立Kubernetes Proxy Addon：
1 2 3 4 5 6 7 8 这边会发现处于`Pending`状态，是由于Kubernetes Pod Network还未建立完成，因此所有节点会处于`NotReady`状态，而造成Pod无法被排程分配到指定节点上启动，由于为了解决该问题，下节将说明如何建立Pod Network。 ### Calico Network 安装与设定 Calico 是一款纯3层的资料中心网路方案(不需要Overlay 网路)，Calico 好处是它整合了各种云原生平台，且Calico 在每一个节点利用Linux Kernel 实现高效的vRouter 来负责资料的转发，而当资料中心复杂度增加时，可以用BGP route reflector 来达成。 > * 本次不采用手动方式来建立Calico网路，若想了解可以参考<a href="https://docs.projectcalico.org/v3.0/getting-started/kubernetes/installation/integration" target="_blank" rel="noopener">Integration Guide</a>。 在`k8s-m1`下载`calico.yaml`来建立Calico Network：(yaml里的interface网卡名记得改成和宿主机网卡名一致)
1 2 3 > * 这边若节点IP与网卡不同的话，请修改calico.yml文件。 在`k8s-m1`下载Calico CLI来查看Calico nodes:
1 2 3 4 5 6 7 8 ## Kubernets Extra Addons部署 本节说明如何部署一些官方常用的Addons，如Dashboard、Heapster 等。 ### Dashboard <a href="https://github.com/kubernetes/dashboard" target="_blank" rel="noopener">Dashboard</a>是Kubernetes社区官方开发的仪表板，有了仪表板后管理者就能够通过Web-based方式来管理Kubernetes集群，除了提升管理方便，也让资源视觉化，让人更直觉看见系统资讯的呈现结果。 在`k8s-m1`通过kubectl来建立kubernetes dashboard即可：
1 这边会额外建立一个名称为`open-api` Cluster Role Binding，这仅作为方便测试时使用，在一般情况下不要开启，不然就会直接被存取所有API:
1 2 3 4 > * 注意!管理者可以针对特定使用者来开放API 存取权限，但这边方便使用直接绑在cluster-admin cluster role。 完成后，就可以通过浏览器存取Dashboard <a href="https://192.16.35.10:6443/api/v1/namespaces/kube-system/services/https:kubernetes-dashboard:/proxy/" target="_blank" rel="noopener">https://192.16.35.10:6443/api/v1/namespaces/kube-system/services/https:kubernetes-dashboard:/proxy/</a>。 在 1.7 版本以後的 Dashboard 將不再提供所有權限，因此需要建立一個 service account 來綁定 cluster-admin role：
1 2 3 4 5 6 7 8 9 > * 复制`token`，然后贴到Kubernetes dashboard。注意这边一般来说要针对不同User开启特定存取权限。  ### Heapster <a href="https://github.com/kubernetes/heapster" target="_blank" rel="noopener">Heapster</a>是Kubernetes社区维护的容器集群监控与效能分析工具。Heapster会从Kubernetes apiserver取得所有Node资讯，然后再通过这些Node来取得kubelet上的资料，最后再将所有收集到资料送到Heapster的后台储存InfluxDB，最后利用Grafana来抓取InfluxDB的资料源来进行视觉化。 在`k8s-m1`通过kubectl来建立kubernetes monitor即可：
1 2 3 4 5 6 7 8 完成后，就可以通过浏览器存取Grafana Dashboard <a href="https://192.16.35.10:6443/api/v1/namespaces/kube-system/services/monitoring-grafana/proxy/" target="_blank" rel="noopener">https://192.16.35.10:6443/api/v1/namespaces/kube-system/services/monitoring-grafana/proxy/</a>。  ### Ingress <a href="https://kubernetes.io/docs/concepts/services-networking/ingress/" target="_blank" rel="noopener">Ingress</a>是利用Nginx或HAProxy等负载平衡器来暴露集群内服务的元件，Ingress主要通过设定Ingress规格来定义Domain Name映射Kubernetes内部Service，这种方式可以避免掉使用过多的NodePort问题。 在`k8s-m1`通过kubectl来建立Ingress Controller即可：
1 2 3 4 > * 这里也可以选择<a href="https://github.com/containous/traefik" target="_blank" rel="noopener">Traefik</a> 的Ingress Controller。 <span style="font-size: 1.3em;color: #333;font-weight:bold">测试Ingress 功能</span> 这边先建立一个Nginx HTTP server Deployment 与Service：
1 2 3 4 ### Helm Tiller Server <a href="https://github.com/kubernetes/helm" target="_blank" rel="noopener">Helm</a>是Kubernetes Chart的管理工具，Kubernetes Chart是一套预先组态的Kubernetes资源套件。其中`Tiller Server`主要负责接收来至Client的指令，并通过kube-apiserver与Kubernetes集群做沟通，根据Chart定义的内容，来产生与管理各种对应API物件的Kubernetes部署文件(又称为`Release`)。 首先在`k8s-m1`安装Helm tool：
1 接着初始化 Helm(这边会安装 Tiller Server)：
1 2 <span style="font-size: 1.3em;color: #333;font-weight:bold">测试Helm 功能</span> 这边部署简单Jenkins 来进行功能测试：
1 2 3 4 5 完成后，就可以通过浏览器存取Jenkins Web <a href="http://192.16.35.10:31161" target="_blank" rel="noopener">http://192.16.35.10:31161</a>。  测试完成后，即可删除：
1 2 3 更多Helm Apps可以到<a href="https://hub.kubeapps.com/" target="_blank" rel="noopener">Kubeapps Hub</a>寻找。 ## 测试集群高可用 SSH进入`k8s-m1`节点，然后关闭该节点：
1 接着进入到`k8s-m2`节点，通过kubectl来检查集群是否能够正常执行：
