# 使用 Shell-Operator，让 Pod 继承节点标签

前一段时间发了一篇 Shell Operator 的介绍，搓例子的时候，就想起个需求，我想把 Pod 所在节点上的特定标签复制给 Pod，例如机架、虚拟机节点所在的物理机等，都可以用标签的形式来表达，并可以用这些标签进行选择和统计等。

Shell Operator 的基本开发流程是：

1. 编写配置文件，确定触发条件。
1. 开发操作脚本，打包容器镜像。
1. 确定操作权限，设置 RBAC。
1. 运行和测试。

官方的例子中，入口脚本如果带有参数 `--config`，就会返回一段 YAML 格式的配置文件，这部分是硬编码到代码之中的，例如：

~~~bash
#!/usr/bin/env bash
if [[ $1 == "--config" ]] ; then
  cat <<EOF
configVersion: v1
kubernetes:
- apiVersion: v1
  kind: Pod
  executeHookOnEvent: ["Added"]
EOF
...
~~~

在 K8s 中，我们可以用 Configmap 的形式来提供配置文件，提高其适应能力：

~~~python
if args.config:
    with open(CONFIG_FILE) as cfg:
        print("".join(cfg.readlines()))
    sys.exit(0)
~~~

配置文件的处理方式：

~~~yaml
configVersion: v1
kubernetes:
- apiVersion: v1
  kind: Pod
  executeHookOnEvent: ["Modified"]
  labelSelector:
    matchExpressions:
    - {key: node-dc, operator: DoesNotExist}
    - {key: node-label, operator: Exists}
  jqFilter: .spec.nodeName
~~~

- 以 Pod 的 'Modified' 事件触发 Hook。
- 使用 `jqFilter` 关注 `.spec.nodeName` 字段的变化，仅变化时触发
- 给对象 Pod 提供两个标签
    - `node-dc` 用于标注该对象是否已经完成标签复制，完成的不触发。
    - `node-label` 用于标注该对象是否需要进行标签复制，没有该标签的不进行触发。

用这个配置文件生成 ConfigMap，预备给 Pod 进行加载。

> 配置文件的位置由环境变量 `CONFIG_FILE` 决定，缺省值为 `/etc/auto-labeler/config.yaml`

把源码和 Dockerfile 拷贝在一起生成镜像，这里用 Python 编写的脚本，所以需要加入 Python3 的包：

~~~Dockerfile
FROM flant/shell-operator:latest-alpine3.11
RUN apk --no-cache add python3
ADD auto-labeler.py /hooks
~~~

> `/hooks` 目录里面的可执行文件都会被视为 Hook 脚本。这个目录的定义可以用环境变量 `SHELL_OPERATOR_HOOKS_DIR` 进行修改。

这个功能需要读取 Node 信息，并为 Pod 打标签，Pod 中的 Kubectl 会用 ServiceAccount 凭据对集群进行操作。所以需要进行 RBAC 配置。源码中的 `rbac.yaml` 文件包含了所需的内容。

以上步骤都完成之后，部署工作组件（例如 `operator.yaml`），就可以进行测试了，

## 测试

首先给各个节点打入标签，例如：

~~~yaml
kubectl label node \
    gke-gcp-vlab-k8s-default-pool-176e8788-n7bl \
    node-dc=datacenter node-rack=10002 node-name=vm009
~~~

代码中的 `sample-workload.yaml` 就是一个给 Pod 打好了 `node-label` 标签的实例。部署之后可以进行 Scale，查看标签的生效情况。