使用 Shell-Operator，让 Pod 继承节点标签

前一段时间发了一篇 Shell Operator 的介绍，搓例子的时候，就想起个需求，我想把 Pod 所在节点上的特定标签复制给 Pod，例如机架、虚拟机节点所在的物理机等，都可以用标签的形式来表达，并可以用这些标签进行选择和统计等。

Shell Operator 的基本开发流程是：

1. 编写配置文件，确定触发条件。
2. 开发操作脚本，打包容器镜像。
3. 确定操作权限，设置 RBAC。
4. 运行和测试。

官方的例子中，入口脚本如果带有参数 --config，就会返回一段 YAML 格式的配置文件，这部分是硬编码到代码之中的，例如：

#!/usr/bin/env bash
if [[ $1 == "--config" ]] ; then
  cat <<EOF
configVersion: v1
kubernetes:
- apiVersion: v1
  kind: Pod
  executeHookOnEvent: ["Added"]
EOF
...

在 K8s 中，我们可以用 Configmap 的形式来提供配置文件，提高其适应能力：

if args.config:
    with open(CONFIG_FILE) as cfg:
        print("".join(cfg.readlines()))
    sys.exit(0)

配置文件的处理方式：

configVersion: v1
kubernetes:
- apiVersion: v1
  kind: Pod
  executeHookOnEvent: ["Modified"]
  labelSelector:
    matchExpressions:
    - {key: node-dc, operator: DoesNotExist}
    - {key: node-label, operator: Exists}
  jqFilter: .spec.nodeName

• 以 Pod 的 ‘Modified’ 事件触发 Hook。
• 使用 jqFilter 关注 .spec.nodeName 字段的变化，仅变化时触发
• 给对象 Pod 提供两个标签
  • node-dc 用于标注该对象是否已经完成标签复制，完成的不触发。
  • node-label 用于标注该对象是否需要进行标签复制，没有该标签的不进行触发。

用这个配置文件生成 ConfigMap，预备给 Pod 进行加载。

配置文件的位置由环境变量 CONFIG_FILE 决定，缺省值为 /etc/auto-labeler/config.yaml

把源码和 Dockerfile 拷贝在一起生成镜像，这里用 Python 编写的脚本，所以需要加入 Python3 的包：

FROM flant/shell-operator:latest-alpine3.11
RUN apk --no-cache add python3
ADD auto-labeler.py /hooks

/hooks 目录里面的可执行文件都会被视为 Hook 脚本。这个目录的定义可以用环境变量 SHELL_OPERATOR_HOOKS_DIR 进行修改。

这个功能需要读取 Node 信息，并为 Pod 打标签，Pod 中的 Kubectl 会用 ServiceAccount 凭据对集群进行操作。所以需要进行 RBAC 配置。源码中的 rbac.yaml 文件包含了所需的内容。

以上步骤都完成之后，部署工作组件（例如 operator.yaml），就可以进行测试了，

测试

首先给各个节点打入标签，例如：

kubectl label node \
    gke-gcp-vlab-k8s-default-pool-176e8788-n7bl \
    node-dc=datacenter node-rack=10002 node-name=vm009

代码中的 sample-workload.yaml 就是一个给 Pod 打好了 node-label 标签的实例。部署之后可以进行 Scale，查看标签的生效情况。