Skip to main content

Command Palette

Search for a command to run...

使用 Shell-Operator,让 Pod 继承节点标签

Published
•1 min read•View as Markdown

前一段时间发了一篇 Shell Operator 的介绍,搓例子的时候,就想起个需求,我想把 Pod 所在节点上的特定标签复制给 Pod,例如机架、虚拟机节点所在的物理机等,都可以用标签的形式来表达,并可以用这些标签进行选择和统计等。

Shell Operator 的基本开发流程是:

  1. 编写配置文件,确定触发条件。
  2. 开发操作脚本,打包容器镜像。
  3. 确定操作权限,设置 RBAC。
  4. 运行和测试。

官方的例子中,入口脚本如果带有参数 --config,就会返回一段 YAML 格式的配置文件,这部分是硬编码到代码之中的,例如:

#!/usr/bin/env bash
if [[ $1 == "--config" ]] ; then
  cat <<EOF
configVersion: v1
kubernetes:
- apiVersion: v1
  kind: Pod
  executeHookOnEvent: ["Added"]
EOF
...

在 K8s 中,我们可以用 Configmap 的形式来提供配置文件,提高其适应能力:

if args.config:
    with open(CONFIG_FILE) as cfg:
        print("".join(cfg.readlines()))
    sys.exit(0)

配置文件的处理方式:

configVersion: v1
kubernetes:
- apiVersion: v1
  kind: Pod
  executeHookOnEvent: ["Modified"]
  labelSelector:
    matchExpressions:
    - {key: node-dc, operator: DoesNotExist}
    - {key: node-label, operator: Exists}
  jqFilter: .spec.nodeName
  • 以 Pod 的 'Modified' 事件触发 Hook。
  • 使用 jqFilter 关注 .spec.nodeName 字段的变化,仅变化时触发
  • 给对象 Pod 提供两个标签
    • node-dc 用于标注该对象是否已经完成标签复制,完成的不触发。
    • node-label 用于标注该对象是否需要进行标签复制,没有该标签的不进行触发。

用这个配置文件生成 ConfigMap,预备给 Pod 进行加载。

配置文件的位置由环境变量 CONFIG_FILE 决定,缺省值为 /etc/auto-labeler/config.yaml

把源码和 Dockerfile 拷贝在一起生成镜像,这里用 Python 编写的脚本,所以需要加入 Python3 的包:

FROM flant/shell-operator:latest-alpine3.11
RUN apk --no-cache add python3
ADD auto-labeler.py /hooks

/hooks 目录里面的可执行文件都会被视为 Hook 脚本。这个目录的定义可以用环境变量 SHELL_OPERATOR_HOOKS_DIR 进行修改。

这个功能需要读取 Node 信息,并为 Pod 打标签,Pod 中的 Kubectl 会用 ServiceAccount 凭据对集群进行操作。所以需要进行 RBAC 配置。源码中的 rbac.yaml 文件包含了所需的内容。

以上步骤都完成之后,部署工作组件(例如 operator.yaml),就可以进行测试了,

测试

首先给各个节点打入标签,例如:

kubectl label node \
    gke-gcp-vlab-k8s-default-pool-176e8788-n7bl \
    node-dc=datacenter node-rack=10002 node-name=vm009

代码中的 sample-workload.yaml 就是一个给 Pod 打好了 node-label 标签的实例。部署之后可以进行 Scale,查看标签的生效情况。

More from this blog

AI Agent 的“莫兰迪时刻”

一个新范式真正走向大众,往往不是从所有人都正确理解它开始,而是从它开始被反复引用、简化、误读,甚至滥用开始。 今天的 AI Agent,可能正走到这样一个时刻。 这篇文章的念头,来自我最近收听《大内密谈》vol.1434《审美升级or消费主义?从莫兰迪在中国聊起》时的一些联想。节目从莫兰迪色在中国的走红,谈到作品价格、知识产权、商业流量与消费主义。[9] 我听着听着想到另一个熟悉的技术史问题:为

Oct 5, 20263 min read

FDE 是传统运维产品厂商的出路吗?

很多传统运维产品厂商,已经不缺产品了。 从 ITSM、CMDB、监控、自动化,到 IAM、数据中心管理和各类大屏,一个成熟厂商往往都能拿出一张很完整的产品地图。销售材料上看,客户运维部门的日常工作几乎都被覆盖了。 但项目一落地,味道就变了。 产品越多,集成越重;模块越全,边界越模糊;客户越大,定制越深。到了后期,项目成功本身也会变成麻烦:现场改出来的东西回不到主干,配置越来越像黑箱,谁都不敢轻易升

Jun 29, 20263 min read

绵里藏针才是 AIOps 的本质?

Agent 让运维编排变得柔性、可变、甚至自演进;但真正敢进入生产环境的 AIOps,仍然离不开坚实、受控、可审计、可回退的自动化底座。 从 Gartner 提出 AIOps 概念到现在,也大概有十年了。这么多年来,这个领域好像发生了很多变化,又好像没什么“本质”的变化。技术上,我们经历了传统机器学习、深度学习和神经网络、以及大模型和智能体这样“翻天覆地”的变化;业务上,我们面对的是更多品种、更大

May 31, 20263 min read

龙虾恐慌:AIOps 又要改名了?

ChatGPT 开始,把 AI 拉近到普罗大众的面前,让无数人感受到 AI 的亲民魅力。而龙虾,则把大模型驱动的自动化能力,突然间变得水灵灵、活泼泼地走进千家万户。它不只是“风口上的猪”,而是风口本身。热度高到让 Mac mini 一度断货,不知道这在不在库克的预料之内。 每代人都有每代人的鸡蛋,春节期间,我就领了我的鸡蛋。翻出古老的 MacBook Air M1,充值各种大模型。当然了,这个工具

Mar 9, 20261 min read
【

【伪】架构师

346 posts