Skip to main content

Command Palette

Search for a command to run...

为 Gitlab 和 Jenkins 添加 InfluxDB 支持

Published
•2 min read•View as Markdown

概述

量化和监控对现在的开发运维工作的重要性是毋庸置疑的。在大肆鼓吹 DevOps 的今天,一体化的数据采集和可视化展示就尤为重要了。

为了能在同一视图下对 Jenkins 和 Gitlab 的操作进行监控,本来写了一些数据采集的脚本,后发现这两个系统都有实现向 InfluxDB 发送指标数据的能力,虽说结构和数据的细致程度可能不及定制脚本,但懒人方案始终是更快的解决办法。

非常对不起各位的是,下面的内容主要是堆代码了。

环境准备

Docker

为方便部署,这里采用 Docker 作为执行环境,过程中需要下载一些镜像,所以这里可能要配置代理或者其他途径来获得镜像文件并导入。

这里假设宿主机 IP 为 10.211.55.5

网络

因为几个组件之间互相需要访问,因此我们首先用如下命令创建一个虚拟网络:

docker network create devops

InfluxDB

启动

首先启动我们的 InfluxDB,因为 GitLab 只能连接 InfluxDB 的 udp 端口,而官方版本的镜像并未提供这一功能的方便设置,所以这里采用了一个第三方镜像。

这也是 DockerHub 上的常态 —— 嫡出被庶出灭了。

#!/bin/sh
docker run -d --name=influxdb \
--restart=always \
--network=devops \
-v /var/volume/influxdb:/data \
-p 20002:8083 \
-p 20003:8086 \
-p 20004:8089/udp \
-e UDP_PORT=8089 \
-e UDP_DB=gitlab \
appcelerator/influxdb

稍微做一下解释:

  • 使用了上文创建的虚拟网络
  • 镜像为 appcelerator/influxdb
  • 宿主机上的 /var/volume/influxdb 目录被加载到容器的 /data 目录,用于数据存储的持久化。
  • 开放了三个端口:
    • 8083:管理界面,可用浏览器访问
    • 8086:HTTP API
    • 8089:UDP 端口
  • UDP 端口对应的数据库名为 gitlab

初始化

镜像成功启动之后,就可以使用浏览器打开 http://10.211.55.5:20002,用户名密码缺省为 admin,主机和端口分别为 10.211.55.5 和 20003,这些填写结束后,就可以对 influxdb 进行管理了。

分别为 gitlab 和 jenkins 创建数据库:

CREATE DATABASE "gitlab"
CREATE DATABASE "jenkins"

Gitlab

启动

类似的,我们用如下脚本启动 Gitlab:

#!/bin/sh
docker run -d --name=gitlab \
--restart=always \
--network=devops \
-v /var/volume/gitlab/data:/var/opt/gitlab \
-v /var/volume/gitlab/conf:/etc/gitlab \
-v /var/volume/gitlab/log:/var/log/gitlab \
-p 21001:80 \
gitlab/gitlab-ce

跟前面的 InfluxDB 类似,或者说更加简单,连环境变量也不需要了。映射端口为 21001,加入同一个网络。

配置

浏览器登录页面之后,进入 URL: http://10.211.55.5:21001/admin/application_settings,对 Gitlab 进行设置。

在 Metrics 一节,会看到 InfluxDB 的配置信息,选中 Enable 之后,只需要填写主机和 UDP 端口即可,因为有虚拟网络的配置,这里主机我们直接填写 influxdb,端口就是 8089 了。

变更配置后,利用 docker kill/rm 命令停止 gitlab,并重新启动。

验证

接下来我们可以选择一个项目进行 commit/push 操作,然后进入前面提到的 InfluxDB 控制台。 页面右上角的数据库选择 gitlab,在查询输入框中输入 SHOW MEASUREMENTS 并执行,会看到 gitlab 在这一数据库中建立了各个数据表。

继续输入 select * from events,会看到我们刚刚进行的提交记录。

Jenkins

启动

这里用了我自己的 Jenkins 镜像,完成的还是映射端口、挂接存储的任务。

#!/bin/sh
docker run -d --name=jenkins \
--restart=always \
--network=devops \
-v /var/volume/jenkins/data:/data/jenkins \
-v /var/volume/jenkins/maven:/data/maven \
-v /var/volume/jenkins/sonar:/data/sonar \
-v /var/volume/jenkins/kube:/data/kube \
-v /var/volume/jenkins/robot:/data/robot \
-p 21003:8080 \
dustise/jenkins

配置

启动之后访问http://10.211.55.5:21003,对 Jenkins 进行配置。

http://10.211.55.5:21003/pluginManager/available 在这一界面查找 InfluxDB 插件,进行安装启用。

InfluxDB 插件启用之后,就可以在 http://10.211.55.5:21003/configure 找到其配置内容,这里也就是设置一个 InfluxDB 连接到我们之前启动的数据库。

点击 New InfluxDB Target 按钮,在弹出的输入项目中,URL 填写为 http://influxdb:8086,用户名密码同上,数据库为 jenkins。

retentionPolicy 一项可以清空。

exposeExceptions 这一项目表示,向 InfluxDB 汇报数据的任务如果失败,是否标记所属 Build 过程为失败。

验证

首先我们创建一个新的 FreeStyle 项目,内容很简单,执行一个 echo "Hello world"。

在构建后步骤中,可以看到 Post Build Actions 新增了 Publish build data to InfluDB的动作。

添加这一动作之后,选择我们刚才建立的 InfluxDB Target。

Job 创建完成,就可以开始 Build 了。

Build 成功之后,我们可以在 InfluxDB 控制台上,切换到 Jenkins 数据库,执行 SHOW MEASUREMENTS,可以看到 Jenkins 创建的数据表。运行 SELECT * FROM jenkins_data 进行查询,就会看到我们刚才的 Build 数据。

Robot 等插件也会将结果插入 InfluxDB

展示

有了这些数据,我们就可以以项目为单位,利用 Grafana 或者其他可视化工具,对结果进行叠加和展示了。

More from this blog

AI Agent 的“莫兰迪时刻”

一个新范式真正走向大众,往往不是从所有人都正确理解它开始,而是从它开始被反复引用、简化、误读,甚至滥用开始。 今天的 AI Agent,可能正走到这样一个时刻。 这篇文章的念头,来自我最近收听《大内密谈》vol.1434《审美升级or消费主义?从莫兰迪在中国聊起》时的一些联想。节目从莫兰迪色在中国的走红,谈到作品价格、知识产权、商业流量与消费主义。[9] 我听着听着想到另一个熟悉的技术史问题:为

Oct 5, 20263 min read

FDE 是传统运维产品厂商的出路吗?

很多传统运维产品厂商,已经不缺产品了。 从 ITSM、CMDB、监控、自动化,到 IAM、数据中心管理和各类大屏,一个成熟厂商往往都能拿出一张很完整的产品地图。销售材料上看,客户运维部门的日常工作几乎都被覆盖了。 但项目一落地,味道就变了。 产品越多,集成越重;模块越全,边界越模糊;客户越大,定制越深。到了后期,项目成功本身也会变成麻烦:现场改出来的东西回不到主干,配置越来越像黑箱,谁都不敢轻易升

Jun 29, 20263 min read

绵里藏针才是 AIOps 的本质?

Agent 让运维编排变得柔性、可变、甚至自演进;但真正敢进入生产环境的 AIOps,仍然离不开坚实、受控、可审计、可回退的自动化底座。 从 Gartner 提出 AIOps 概念到现在,也大概有十年了。这么多年来,这个领域好像发生了很多变化,又好像没什么“本质”的变化。技术上,我们经历了传统机器学习、深度学习和神经网络、以及大模型和智能体这样“翻天覆地”的变化;业务上,我们面对的是更多品种、更大

May 31, 20263 min read

龙虾恐慌:AIOps 又要改名了?

ChatGPT 开始,把 AI 拉近到普罗大众的面前,让无数人感受到 AI 的亲民魅力。而龙虾,则把大模型驱动的自动化能力,突然间变得水灵灵、活泼泼地走进千家万户。它不只是“风口上的猪”,而是风口本身。热度高到让 Mac mini 一度断货,不知道这在不在库克的预料之内。 每代人都有每代人的鸡蛋,春节期间,我就领了我的鸡蛋。翻出古老的 MacBook Air M1,充值各种大模型。当然了,这个工具

Mar 9, 20261 min read
【

【伪】架构师

346 posts