GLM-4.7-Flash保姆级教学：为glm_vllm服务配置Prometheus指标暴露端点

GLM-4.7-Flash保姆级教学：为glm_vllm服务配置Prometheus指标暴露端点

1. 为什么需要监控GLM-4.7-Flash服务

当你部署了强大的GLM-4.7-Flash模型后，最关心的问题可能就是：服务运行得怎么样？有没有人正在使用？响应速度如何？资源消耗大不大？

如果没有监控，就像开车没有仪表盘——你不知道车速多少，油还剩多少，发动机温度是否正常。Prometheus就是这样一个"仪表盘"，它能帮你实时监控GLM-4.7-Flash服务的各项指标。

监控能帮你发现的问题：

• 服务是否正常响应
• 请求处理速度变化
• GPU和内存使用情况
• 并发请求数量
• 错误率和异常情况

2. Prometheus监控基础概念

2.1 什么是Prometheus

Prometheus是一套开源的监控和告警系统，专门为云原生应用设计。它通过定期抓取（scrape）目标服务的指标端点（endpoint）来收集数据。

2.2 核心组件介绍

组件	作用	相当于
Prometheus Server	抓取和存储指标数据	数据收集中心
Exporters	暴露监控指标	数据提供者
Metrics Endpoint	提供指标数据的HTTP接口	数据出口
Grafana	数据可视化展示	仪表盘界面

2.3 监控数据流程

GLM-4.7-Flash服务 → 暴露指标端点 → Prometheus定期抓取 → 存储数据 → Grafana展示

3. 为glm_vllm服务配置指标暴露

3.1 检查当前服务状态

首先确认你的GLM-4.7-Flash服务正在运行：

# 查看服务状态 supervisorctl status # 预期输出 glm_ui RUNNING pid 123, uptime 1:20:30 glm_vllm RUNNING pid 124, uptime 1:20:30

3.2 安装Prometheus客户端库

vLLM本身支持Prometheus指标暴露，我们需要确保相关依赖已安装：

# 进入Python环境（如果使用虚拟环境请先激活） pip install prometheus-client pip install 'vllm[prometheus]' # 验证安装 python -c "import prometheus_client; print('Prometheus客户端已安装')"

3.3 配置vLLM启用指标暴露

修改vLLM启动配置，添加Prometheus监控参数：

# 备份原始配置文件 cp /etc/supervisor/conf.d/glm47flash.conf /etc/supervisor/conf.d/glm47flash.conf.backup # 编辑配置文件 nano /etc/supervisor/conf.d/glm47flash.conf

找到glm_vllm服务的command配置行，添加Prometheus相关参数：

[program:glm_vllm] command=python -m vllm.entrypoints.openai.api_server \ --model /root/.cache/huggingface/ZhipuAI/GLM-4.7-Flash \ --tensor-parallel-size 4 \ --max-model-len 4096 \ --port 8000 \ --metric-interval 10 \ --prometheus-port 8001 # 新增：Prometheus指标端口

3.4 重启服务使配置生效

# 重新加载配置 supervisorctl reread supervisorctl update # 重启vLLM服务 supervisorctl restart glm_vllm # 等待30秒左右让模型重新加载 sleep 30 # 检查服务状态 supervisorctl status

3.5 验证指标端点是否正常工作

使用curl命令测试指标端点：

# 检查Prometheus指标端点 curl http://127.0.0.1:8001/metrics # 如果正常，你会看到类似这样的输出： # # HELP vllm:request_latency_seconds Latency of requests # # TYPE vllm:request_latency_seconds histogram # vllm:request_latency_seconds_bucket{le="0.01"} 0 # vllm:request_latency_seconds_bucket{le="0.05"} 5 # ...

4. 部署Prometheus服务器

4.1 安装Prometheus

如果你的环境中还没有Prometheus，可以这样安装：

# 下载Prometheus wget https://github.com/prometheus/prometheus/releases/download/v2.47.0/prometheus-2.47.0.linux-amd64.tar.gz # 解压 tar xvfz prometheus-*.tar.gz cd prometheus-* # 创建配置文件目录 sudo mkdir -p /etc/prometheus sudo mkdir -p /var/lib/prometheus # 复制文件 sudo cp prometheus promtool /usr/local/bin/ sudo cp -r consoles/ console_libraries/ /etc/prometheus/

4.2 配置Prometheus监控GLM服务

创建Prometheus配置文件：

sudo nano /etc/prometheus/prometheus.yml

添加以下内容：

global: scrape_interval: 15s # 每15秒抓取一次数据 evaluation_interval: 15s scrape_configs: - job_name: 'glm-vllm' static_configs: - targets: ['localhost:8001'] # glm_vllm的指标端点 metrics_path: '/metrics' scrape_interval: 10s # 针对这个job的抓取间隔 - job_name: 'prometheus' static_configs: - targets: ['localhost:9090']

4.3 启动Prometheus服务

# 创建系统服务 sudo nano /etc/systemd/system/prometheus.service

添加以下内容：

[Unit] Description=Prometheus Wants=network-online.target After=network-online.target [Service] User=prometheus Group=prometheus Type=simple ExecStart=/usr/local/bin/prometheus \ --config.file=/etc/prometheus/prometheus.yml \ --storage.tsdb.path=/var/lib/prometheus/ \ --web.console.templates=/etc/prometheus/consoles \ --web.console.libraries=/etc/prometheus/console_libraries [Install] WantedBy=multi-user.target

启动Prometheus服务：

# 创建prometheus用户 sudo groupadd --system prometheus sudo useradd -s /sbin/nologin --system -g prometheus prometheus # 设置权限 sudo chown -R prometheus:prometheus /etc/prometheus sudo chown -R prometheus:prometheus /var/lib/prometheus # 启动服务 sudo systemctl daemon-reload sudo systemctl start prometheus sudo systemctl enable prometheus # 检查状态 sudo systemctl status prometheus

5. 关键监控指标解读

5.1 vLLM提供的重要指标

配置成功后，vLLM会暴露以下关键指标：

指标名称	含义	正常范围
vllm:request_latency_seconds	请求处理延迟	< 1秒
vllm:requests_processed_total	已处理请求总数	持续增长
vllm:requests_failed_total	失败请求数	接近0
vllm:gpu_utilization	GPU利用率	50-90%
vllm:gpu_memory_usage_bytes	GPU内存使用量	根据模型调整

5.2 使用PromQL查询监控数据

在Prometheus的Web界面（http://localhost:9090）中，可以使用PromQL查询语言查看数据：

# 查看最近5分钟的平均请求延迟 rate(vllm:request_latency_seconds_sum[5m]) / rate(vllm:request_latency_seconds_count[5m]) # 查看GPU利用率 vllm:gpu_utilization # 查看错误率 rate(vllm:requests_failed_total[5m]) / rate(vllm:requests_processed_total[5m])

6. 常见问题排查

6.1 指标端点无法访问

如果curl http://127.0.0.1:8001/metrics返回错误：

# 检查端口是否监听 netstat -tlnp | grep 8001 # 检查vLLM日志 tail -f /root/workspace/glm_vllm.log | grep -i prometheus # 重新检查配置 grep "prometheus-port" /etc/supervisor/conf.d/glm47flash.conf

6.2 Prometheus无法抓取数据

在Prometheus的Web界面检查Targets状态：

1. 访问 http://localhost:9090/targets
2. 查看glm-vllm job的状态
3. 如果是DOWN状态，检查网络连通性

6.3 指标数据不更新

# 检查Prometheus日志 sudo journalctl -u prometheus -f # 手动测试抓取 curl http://localhost:9090/api/v1/query?query=up

7. 进阶配置建议

7.1 设置告警规则

创建告警规则文件：

sudo nano /etc/prometheus/alert_rules.yml

添加基础告警规则：

groups: - name: glm-vllm-alerts rules: - alert: HighRequestLatency expr: rate(vllm:request_latency_seconds_sum[5m]) / rate(vllm:request_latency_seconds_count[5m]) > 2 for: 5m labels: severity: warning annotations: summary: "高请求延迟" description: "GLM-4.7-Flash请求延迟超过2秒" - alert: HighErrorRate expr: rate(vllm:requests_failed_total[5m]) / rate(vllm:requests_processed_total[5m]) > 0.05 for: 2m labels: severity: critical annotations: summary: "高错误率" description: "GLM-4.7-Flash错误率超过5%"

7.2 配置Grafana可视化

安装Grafana并创建监控仪表盘：

# 安装Grafana sudo apt-get install -y adduser libfontconfig1 wget https://dl.grafana.com/oss/release/grafana_10.2.0_amd64.deb sudo dpkg -i grafana_10.2.0_amd64.deb # 启动Grafana sudo systemctl start grafana-server sudo systemctl enable grafana-server

在Grafana中添加Prometheus数据源，然后导入vLLM监控仪表盘。

8. 总结

通过为GLM-4.7-Flash的glm_vllm服务配置Prometheus指标暴露，你现在拥有了一个完整的监控解决方案：

已经实现的功能：

• ✅ 实时监控服务性能指标
• ✅ 收集请求延迟、吞吐量、错误率数据
• ✅ 监控GPU资源使用情况
• ✅ 提供历史数据查询能力

后续可以扩展：

• 设置自动告警通知
• 创建漂亮的监控仪表盘
• 分析使用趋势和性能瓶颈
• 基于监控数据优化服务配置

监控不是目的，而是手段。通过这些数据，你可以更好地理解GLM-4.7-Flash服务的运行状况，及时发现并解决问题，确保为用户提供稳定可靠的服务体验。

现在你的GLM-4.7-Flash服务已经不再是"黑盒"，而是拥有完整监控能力的现代化AI服务！

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。

┌─────────────────────────────────────┐ │ 桦漫AIGC集成开发 │ │ 微信: henryhan1117 │ ├─────────────────────────────────────┤ │ 技术支持 · 定制开发 · 模型部署 │ └─────────────────────────────────────┘