Jenkins：乘着 Kubernetes 的翅膀

前言

Kubernetes + Docker 是一对有意思的组合，为微服务架构的落地，扫清了最后一公里的障碍，在符合企业 IT 治理需求的前提之下，为传统企业应用的平滑过渡提供了有效条件和方法。

作为软件生产环节中重要组成部分的持续构建和发布过程，自然也要随势而动，这方面的老将 Jenkins 不但提供了用于构建、推送 Docker 镜像的插件，更提供了利用 Kubernetes 运行构建集群的能力。本文将利用一个简单的 Hello world 项目，来展示 Jenkins 的这一特性。

准备工作

Kubernetes 集群安装

要在 Kubernetes 集群完成下面所有的工作，因此首先进行集群的安装和配置，这方面可以参考 官方入门文档，如果英语不灵但动手排错能力强的话，也可以参考已经过时的拙作。

集群安装后，应该具有以下能力：

1. 集群具有受 DNS 支持的服务寻址能力；
2. 能够利用 Kubectl 或者其他方法发布容器应用的能力；
3. 私有镜像库，或者到 Docker Hub 的网络连接；
4. Pause 镜像也自然是 Kubernetes 中运行应用的必须条件。

Jenkins 镜像

本文例子采用自制的一个集成镜像为基础工具，该镜像集成了众多常用的 CI/CD 工具，另外同时还包含了 Jenkins 的 Master 和 Slave 两种模式，镜像托管在 Docker Hub，源码可在 Github 浏览和下载。

如果具有直接连接 Docker Hub 的网络连接，则可无需理会；否则就需要下载镜像，并上传至私库。为行文方便，这里假设采用私库方式，镜像地址为 10.211.55.5:5000/jenkins:2.7.4.5

共享存储

因容器在集群中的运行状况未知，一般来说是需要为容器化应用提供共享存储服务的，本文中采用最简单的 NFS 方式，当然也可以使用官方支持的其他方式，例如 GlusterFS、Flocker 以及 Ceph 等等，具体支持能力可以参看官方说明，当然，如果只是学习测试，使用缺省的 Empty 格式亦可，或者偷懒使用 HostPath 方式结合限定 Node 运行的方式也能够完成任务。

本文中的卷挂载方式很是粗糙，目前推荐的共享存储方式是持久卷（PV & PVC）方式，以提供更好的管控能力，中文可参考：Kubernetes 中的 Persistent Volumes。

Jenkins Master

YAML

首先要为我们的 Jenkins 镜像编写一个 Yaml ，用于提交到集群中运行：

kind: ReplicationController
apiVersion: v1
metadata:
  name: jenkins
  labels:
    name: jenkins
spec:
  replicas: 1
  selector:
    name: jenkins
  template:
    metadata:
      labels:
        name: jenkins
    spec:
      containers:
      - name: jenkins
        image: 10.211.55.5:5000/jenkins:2.7.4.5
        ports:
        - containerPort: 8080
          protocol: TCP
        - containerPort: 8081
          protocol: TCP
        volumeMounts:
          - name: jenkins
            mountPath: /data/jenkins
      volumes:
      - name: jenkins
        nfs:
          server: 10.211.55.5
          path: /var/data/nfs/ci/jenkins
          readOnly: false
---
kind: Service
apiVersion: v1
metadata:
  name: jenkins
  labels:
    name: jenkins
spec:
  type: NodePort
  ports:
  - protocol: TCP
    nodePort: 32502
    targetPort: 8080
    port: 8080
    name: web
  - protocol: TCP
    targetPort: 8081
    port: 8081
    name: service
  selector:
    name: jenkins

上面的 YML 文件有几点需要注意

1. 挂载：Jenkins 的所有插件、配置和工作文件都处于环境变量 JENKINS_HOME 所示的路径中，因此我们这里利用 NFS 把位于 10.211.55.5 上的 /var/data/nfs/ci/jenkins 目录映射到容器的 /data/jenkins 之中，让 Jenkins 获得持久化存储。
2. 端口：Jenkins 缺省运行需要 8080 端口对外提供 Web 界面。这里我们另外声明了一个 8081 端口，为集群内新建的 Slave 提供通信能力，可以看到，下面的 Service 定义中，仅仅使用 NodePort 方式暴露了一个 Web 端口
3. 时区：镜像提供了 TIMEZONE 环境变量，这一变量将会在运行时影响容器操作系统以及 Jenkins 的 JVM 的时区设置。这一变量缺省使用 Asia/Shanghai。
4. JENKINS_MODE：用于指示 Jenkins 的运行模式，可选值为 MASTER 或者 SLAVE，缺省运行在 MASTER 模式下。

运行和配置

接下来就可以使用 kubectl create -f jenkins.yaml 来运行镜像了。执行之后可以刷 kubectl get pods 来查看启动情况。

这一 RC 的启动需要加载 NFS 卷，因此如果启动时间过长，可以使用 kubectl get events 命令查看是否加载出了问题。

Pod 变为 Running 状态之后，就可以尝试采用上面 YAML 中定义的 Node Port 来访问 Jenkins 界面了，经过一段时间的 "Jenkins正在启动，请稍后....."，系统要求输入 /data/jenkins/secrets/initialAdminPassword 文件中保存的初始密码，假设前面 get pods 命令得到的 Pod 名称是 jenkins-7nmka，这里就可以使用 kubectl exec jenkins-7nmka cat /data/jenkins/secrets/initialAdminPassword 来查看，获取结果后即可复制黏贴到录入框中继续安装。

接下来的插件安装，为节省时间直接 Select None。接下来设置管理员用户名密码，保存后，安装结束。

安装和配置 Kubernetes 插件

安装

接下来就是进入 pluginManager/available 页面安装插件。

如果网络需要代理，可以进入网址 /pluginManager/advanced，设置代理服务器。 如果可选插件页面为空，可以在 /pluginManager/advanced 页面里面点击 "立即获取" 按钮进行刷新。

过滤框中输入 "kubernetes" 会看到列表中的 "Kubernetes plugin"，选择安装。

配置 Jenkins

安装成功后，进入配置页面（/configure）。

首先为了测试方便，我们把 “执行者数量” 设置为 0，也就是说只使用 Jenkins Slave 进行构建。

配置 Kubernetes

可以看到，页面下方有一个按钮 “新增一个云”，点击后出现 Kubernetes 配置项目。

这里我们用无认证的 http 方式进行连接，Kubernetes URL 中填入 API Server 的 http 地址，例如：http://10.211.55.5:8080。

Jenkins URL 中，这里要注意我们不应该使用浏览器地址栏中的 Node 地址，而是应该使用集群内部的服务地址，根据上文中 Service 的定义，这里使用 http://jenkins:8080。

最后是 ”Add Pod Template“ 按钮，来定义 Slave 的 Pod 模板：

• 这里的 "Docker Image" 项目跟上面使用的是同一个地址，也就是 10.211.55.5:5000/jenkins:2.7.4.5；
• 根据前文说道的环境变量，这里我们新增一个环境变量：JENKINS_MODE=SLAVE，
• "Jenkins slave root directory" 这一项填写 /data/jenkins，
• "Command to run slave agent " 这里填写镜像中的启动命令 /usr/local/bin/run.sh

填写完成后，保存。

配置端口

最后需要到安全配置页面（/configureSecurity），TCP port for JNLP agents 一项填写固定端口 8081。

Hello world

创建

新建一个 Free Style 项目。构建步骤中新增 "Execute shell script" 环节，并保存，内容为

echo "Hello World"

构建

点击该任务的 “立即构建” 按钮，即可触发构建动作。

因为前面我们设置 Master 不执行构建工作，所以在构建启动之后，会在构建执行状态中看到有节点被动态新建，来执行我们的构建过程。这一过程中如果使用 kubectl get events 或者 kubectl get pods 命令，能看到 Jenkins Slave Pod 的创建、执行和销毁过程。

尾声

上面只是一个最为基础的构建过程，甚至都无法称为是一个完整过程，Kubernetes 插件还提供了很多其他选项，结合自定义的 Slave 镜像，能够完成更多更复杂的任务，用于配合实际的生产过程。