Skip to main content

Command Palette

Search for a command to run...

#argo-workflow

Articles tagged with #argo-workflow

  1. 在 Argo workflow 中使用 OBS 进行制品传递

    在所有的通用工作流中,都会有文件传递的需求,Argo workflow 中,可以通过对接外部存储来支持这一需求。下面就以华为云为例,展示一下对接对象存储的过程。 OBS 侧配置 首先在 OBS 服务中创建一个存储桶,并在控制台的用户->我的凭证->访问密钥模块中,创建一个访问密钥,并下载凭据文件,凭据文件格式大致如下所示: User Name,Access Key Id,Secret Access Key "myusername",Y9C3WCABCDEFG,6bHX5eHIJKLMN Arg...

    Feb 11, 20253 min read46
  2. Argo Workflow 中的卸载和归档

    卸载 Argo workflow 使用 CR 方式来保存工作流的运行状态,众所周知 ETCD 有一个请求大小的限制:1MB,也就是说,如果我们的 Workflow 对象 YAML 尺寸大于 1MB,超出了 ETCD 限制,就无法正常保存了。这种场景最常见于对大量目标进行循环的情况下,作为一个成熟的工作流系统,Argo workflow 自然是考虑到这方面的限制,提供了称为卸载(Offload)的方式,用于处置超大尺寸的工作流。 简单来说,在遇到超大工作流时,Argo Workflow 会对其 s...

    Dec 16, 20242 min read40
  3. 在 Argo workflow 中使用插件减少并行 Pod 数量

    在之前写过的使用 Argo workflow 调用公有云客户端软件实现运维过程的文章中,可以看到,使用 Argo workflow 的容器模板,简单的将既有运维能力容器化,就能使用 Argo workflow 对这些能力进行编排了。 不过近期一个测试中,遇到个小麻烦——在一个 With 循环里,我输入了 500 个任务,结果是 6 节点 CCE 集群爆满,流程卡住——集群规模的事情很简单,我直接将 Argo workflow 部署到 CCE Autopilot 集群中,随着流程启动,Auto p...

    Nov 29, 20242 min read57
  4. Argo Workflow 中的 RBAC

    众所周知,Argo Workflow 的整个工作机制,都是深度依赖于 Kubernetes 的。要让 Argo Workflow 顺畅运行,完成任务,RBAC 是不可缺少的一环。接下来的内容大概算是个笔记,记录了最初接触 Argo Workflow 时,可能会面对的一些 RBAC 相关问题以及其解决方法。 第一关:Console 这里我们选择官方 Release 页面中的标准部署方式,部署最新的 v3.5.11 版本。 $ kubectl create namespace argo namesp...

    Oct 10, 20242 min read63
  5. 使用 Shell Operator + CRD 恢复被暂停的 Argo Workflow

    上一篇讲到,使用 Kyverno 通过对特定标签的识别,让每个步骤进入自动暂停的状态,实现逐步骤运行。留了个尾巴,怎样才能快速的恢复被暂停步骤的运行? TL;DR; 随便搞个 CRD,用 Shell Operator 监听,自动执行 kubectl exec 恢复目标步骤的运行。 Shell Operator 简介 简单来说,Shell Operator 是一个让用户能够使用脚本语言快速建立 Operator 的框架,能够非常方便的完成定时运行、启动运行、监听并响应 Kubernetes 对象和...

    Jul 24, 20242 min read15
#argo-workflow - 【伪】架构师