在 Kubernetes 中检查镜像签名

之前连续写了几篇 Shell Operator 的东西，后来又写了一篇 cosign 的介绍，细心的读者可能会猜到，最终我的目的就是会用 Shell Operator 结合 cosign 来检查镜像的签名，以此保障镜像的完整性——是的，这个过程相当容易。

Shell Operator 除了初期的调度和 Prometheus Exporter 功能之外，最近又加入了 Validating Webhook 的能力，和以前的几篇文章的内容结合起来，能非常轻松地实现检查镜像签名的能力。

简单地设计如下功能：

1. 创建密钥对，以私钥对镜像进行签名，公钥用 Secret 的形式保存进集群。

2. 创建 Shell Operator 配置，只针对打出了特定标签的命名空间中的对象进行检查。

3. 配置保存为 Configmap。

4. 部署 Shell Operator 组成的 Validating Webhook.

5. 在特定命名空间中创建工作负载，触发校验功能。

6. Shell Operator 使用公钥进行校验，校验通过才能成功运行。

我们给 Webhook 编写如下配置：

  config:
    namespace:
      labelSelector:
        matchLabels:
          signed: "required"
    rules:
    - apiGroups:   ["apps"]
      apiVersions: ["v1"]
      operations:  ["CREATE", "UPDATE"]
      resources:   ["deployments"]
      scope:       "Namespaced"

配置内容声明，仅对标签为 signed=required 的命名空间中的 Deployments 对象生效。将配置文件生成为 Configmap，保存到 Configmap 中，运行期加载为存储卷，然后就可以在代码中如此调用：

parser = argparse.ArgumentParser(description='Pod hook for Shell-Operator')
parser.add_argument('--config', action='store_true')
args = parser.parse_args()
CONFIG_FILE = os.getenv("CONFIG_FILE", "/etc/cosign-validator/config.yaml")

if args.config:
    with open(CONFIG_FILE) as cfg:
        print("".join(cfg.readlines()))
    sys.exit(0)

公钥文件保存在 Secret 里，这里假设我们加载为 /etc/cosign-keys/cosign.pub，就可以用如下代码进行校验：

# 响应文件名称
RESPONSE_FILE = os.getenv("VALIDATING_RESPONSE_PATH")
...
    key_file = "/etc/cosign-keys/cosign.pub"
    for container in json_obj[0]["review"]["request"]["object"]["spec"]["template"]["spec"]["containers"]:
        image = container["image"]
        try:
            # TODO: Read public key name from annotation
            subprocess.check_call([
                "/usr/local/bin/cosign",
                "verify", "-key", key_file, image])
        except subprocess.CalledProcessError:
            message = image
            break
...
with open(RESPONSE_FILE, "w") as writer:
    if len(message) == 0:
        writer.write('{"allowed":true}')
    else:
        content = '{"allowed":false, "message":"The image ' + message +' is not signed properly"}'
        writer.write(content)

主体代码之后，就需要考虑如何部署了，首先要生成 Docker 镜像：

# 一段构建，生成 cosign
FROM golang:1.16.2-alpine3.13 as builder
RUN apk add --no-cache git=2.30.2-r0
RUN go install github.com/sigstore/cosign/cmd/cosign@v0.1.0
# 二段构建，加入代码到 hooks 目录
FROM flant/shell-operator:v1.0.0-rc.2
RUN apk --no-cache add python3=3.8.8-r0
COPY --from=builder /go/bin/cosign /usr/local/bin
COPY cosign-validation.py /hooks

Webhook 需要根据服务名称等信息生成证书用于和 API Server 之间的通信过程，此处略过，可以直接参看源代码。另外为了能够注册服务，还需要一个具备权限的 ClusterRole：

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: cosign-validator
rules:
- apiGroups: ["admissionregistration.k8s.io"]
  resources:
  - validatingwebhookconfigurations
  verbs:
  - list
  - create
  - update

这些对象和证书可以用 Helm Chart 组织起来，进行集成安装部署。

部署成功后，可以尝试分别使用签名和未签名镜像进行部署，会看到未签名镜像会被拒绝。详细操作和测试过程可以参见视频。

项目代码：https://github.com/fleeto/sign-validator