MedGemma X-Ray生产环境：Prometheus+Grafana GPU资源监控看板搭建

MedGemma X-Ray生产环境：Prometheus+Grafana GPU资源监控看板搭建

1. 引言：为什么需要GPU监控？

当你运行MedGemma X-Ray这样的医疗影像AI系统时，GPU就像医生的"听诊器"——它是整个系统的核心。但问题来了：你怎么知道这个"听诊器"工作状态好不好？是不是在满负荷工作？有没有出现异常？

在实际生产环境中，我们经常遇到这样的问题：

• GPU使用率突然飙升到100%，系统卡顿
• 显存不足导致推理失败
• 温度过高触发降频，性能下降
• 无法实时了解系统健康状况

这就是为什么我们需要搭建一个专业的GPU监控系统。本文将手把手教你如何使用Prometheus和Grafana为MedGemma X-Ray搭建一个完整的GPU资源监控看板，让你对系统状态了如指掌。

2. 监控方案整体架构

2.1 技术选型说明

我们选择的监控方案基于业界最流行的开源组合：

• Prometheus：负责数据采集和存储
• Node Exporter：采集主机基础指标
• DCGM Exporter：专门采集NVIDIA GPU指标
• Grafana：数据可视化展示

这个组合的优势很明显：完全开源、性能出色、社区活跃，最重要的是特别适合监控GPU资源。

2.2 监控指标体系

我们需要监控的关键指标包括：

指标类型	具体指标	监控意义
GPU使用率	计算利用率、显存使用率	了解GPU负载情况
温度监控	GPU核心温度、显存温度	防止过热降频
性能指标	推理速度、吞吐量	评估系统性能
系统资源	CPU、内存、磁盘IO	全面系统监控
业务指标	请求数、响应时间	业务层面监控

3. 环境准备与组件安装

3.1 系统要求检查

在开始安装前，请确保你的MedGemma X-Ray服务器满足以下要求：

# 检查NVIDIA驱动 nvidia-smi # 检查Docker环境 docker --version # 检查系统架构 uname -m # 检查磁盘空间 df -h

3.2 安装Docker和Docker Compose

如果你的系统还没有安装Docker，可以通过以下命令安装：

# 安装Docker curl -fsSL https://get.docker.com -o get-docker.sh sudo sh get-docker.sh # 安装Docker Compose sudo curl -L "https://github.com/docker/compose/releases/download/v2.24.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose sudo chmod +x /usr/local/bin/docker-compose

3.3 部署监控组件

创建监控服务的docker-compose配置文件：

# monitoring/docker-compose.yml version: '3.8' services: prometheus: image: prom/prometheus:latest container_name: prometheus ports: - "9090:9090" volumes: - ./prometheus.yml:/etc/prometheus/prometheus.yml - prometheus_data:/prometheus command: - '--config.file=/etc/prometheus/prometheus.yml' - '--storage.tsdb.path=/prometheus' - '--web.console.libraries=/etc/prometheus/console_libraries' - '--web.console.templates=/etc/prometheus/console_templates' - '--storage.tsdb.retention.time=30d' restart: unless-stopped grafana: image: grafana/grafana:latest container_name: grafana ports: - "3000:3000" volumes: - grafana_data:/var/lib/grafana environment: - GF_SECURITY_ADMIN_PASSWORD=admin123 restart: unless-stopped node-exporter: image: prom/node-exporter:latest container_name: node-exporter ports: - "9100:9100" volumes: - /proc:/host/proc:ro - /sys:/host/sys:ro - /:/rootfs:ro command: - '--path.procfs=/host/proc' - '--path.sysfs=/host/sys' - '--collector.filesystem.ignored-mount-points' - '^/(sys|proc|dev|host|etc|rootfs/var/lib/docker/containers|rootfs/var/lib/docker/overlay2|rootfs/run/docker/netns|rootfs/var/lib/docker/aufs)($$|/)' restart: unless-stopped dcgm-exporter: image: nvidia/dcgm-exporter:latest container_name: dcgm-exporter ports: - "9400:9400" environment: - NVIDIA_VISIBLE_DEVICES=all volumes: - /run/nvidia:/run/nvidia:shared restart: unless-stopped deploy: resources: reservations: devices: - driver: nvidia count: all capabilities: [gpu] volumes: prometheus_data: grafana_data:

4. Prometheus配置与数据采集

4.1 配置Prometheus采集目标

创建Prometheus的配置文件：

# monitoring/prometheus.yml global: scrape_interval: 15s evaluation_interval: 15s scrape_configs: - job_name: 'prometheus' static_configs: - targets: ['localhost:9090'] - job_name: 'node-exporter' static_configs: - targets: ['node-exporter:9100'] - job_name: 'dcgm-exporter' static_configs: - targets: ['dcgm-exporter:9400'] metrics_path: /metrics - job_name: 'medgemma-app' static_configs: - targets: ['host.docker.internal:7860'] metrics_path: /metrics

4.2 启动监控服务

使用Docker Compose启动所有监控组件：

# 创建监控目录 mkdir -p monitoring cd monitoring # 创建配置文件 vim docker-compose.yml vim prometheus.yml # 启动服务 docker-compose up -d # 查看服务状态 docker-compose ps # 查看日志 docker-compose logs -f

4.3 验证数据采集

检查各个 exporter 是否正常工作：

# 检查Node Exporter curl http://localhost:9100/metrics | head -10 # 检查DCGM Exporter curl http://localhost:9400/metrics | grep "DCGM" # 检查Prometheus目标状态 echo "访问 http://你的服务器IP:9090/targets 查看采集状态"

5. Grafana看板配置

5.1 初始化Grafana

首先登录Grafana并进行基本配置：

1. 访问http://你的服务器IP:3000
2. 用户名：admin，密码：admin123
3. 添加Prometheus数据源：
   • Name: Prometheus
   • URL: http://prometheus:9090
   • Access: Server (default)

5.2 导入GPU监控看板

Grafana社区提供了优秀的GPU监控模板，我们可以直接导入：

1. 在Grafana界面点击"+" → "Import"
2. 输入看板ID:15111(NVIDIA DCGM Exporter Dashboard)
3. 选择Prometheus数据源
4. 点击"Import"完成导入

5.3 自定义MedGemma专属看板

除了通用监控，我们还需要为MedGemma定制专属监控面板：

{ "title": "MedGemma X-Ray GPU监控", "panels": [ { "title": "GPU使用率", "targets": [{ "expr": "DCGM_FI_DEV_GPU_UTIL", "legendFormat": "GPU {{gpu}}" }] }, { "title": "显存使用", "targets": [{ "expr": "DCGM_FI_DEV_FB_USED / DCGM_FI_DEV_FB_FREE * 100", "legendFormat": "显存使用率" }] } ] }

6. 关键监控指标详解

6.1 GPU核心指标监控

对于MedGemma X-Ray这样的AI应用，这些指标至关重要：

# GPU计算利用率 DCGM_FI_DEV_GPU_UTIL{gpu="0"} # 显存使用情况 DCGM_FI_DEV_FB_USED{gpu="0"} DCGM_FI_DEV_FB_FREE{gpu="0"} # GPU温度监控 DCGM_FI_DEV_GPU_TEMP{gpu="0"} # 功率消耗 DCGM_FI_DEV_POWER_USAGE{gpu="0"}

6.2 业务级监控指标

除了硬件指标，我们还需要监控业务层面的指标：

# 推理请求速率 rate(medgemma_requests_total[5m]) # 平均响应时间 medgemma_response_time_seconds # 错误率 rate(medgemma_errors_total[5m]) / rate(medgemma_requests_total[5m]) # 并发请求数 medgemma_concurrent_requests

6.3 告警规则配置

在Prometheus中配置关键告警规则：

# monitoring/alerts.yml groups: - name: medgemma-alerts rules: - alert: GPU温度过高 expr: DCGM_FI_DEV_GPU_TEMP > 85 for: 5m labels: severity: critical annotations: summary: "GPU温度过高 (实例 {{ $labels.instance }})" description: "GPU温度已达到 {{ $value }}°C，请及时检查散热" - alert: 显存不足 expr: DCGM_FI_DEV_FB_USED / DCGM_FI_DEV_FB_FREE > 0.9 for: 2m labels: severity: warning annotations: summary: "显存使用率过高 (实例 {{ $labels.instance }})" description: "显存使用率已达到 {{ $value }}%"

7. 生产环境优化建议

7.1 性能优化配置

为了让监控系统本身不影响业务性能，需要进行一些优化：

# Prometheus性能优化 --storage.tsdb.retention.time=30d --storage.tsdb.max-block-size=2h --query.max-concurrency=20 --query.timeout=2m # Grafana性能优化 [analytics] reporting_enabled = false [database] max_idle_conn = 10 max_open_conn = 100 [security] cookie_secure = true

7.2 安全加固措施

生产环境必须考虑安全性：

# 设置防火墙规则 ufw allow 9090/tcp # Prometheus ufw allow 3000/tcp # Grafana ufw allow 9100/tcp # Node Exporter ufw allow 9400/tcp # DCGM Exporter # 更改默认端口 # 在docker-compose中修改端口映射 ports: - "19090:9090" # Prometheus - "13000:3000" # Grafana # 启用认证 # 配置Prometheus和Grafana的认证机制

7.3 备份与恢复策略

确保监控数据的安全性：

# 备份Prometheus数据 #!/bin/bash BACKUP_DIR="/backup/prometheus" DATE=$(date +%Y%m%d_%H%M%S) docker exec prometheus tar czf - /prometheus > ${BACKUP_DIR}/prometheus_${DATE}.tar.gz # 备份Grafana配置 docker exec grafana tar czf - /var/lib/grafana > ${BACKUP_DIR}/grafana_${DATE}.tar.gz # 设置定期备份 echo "0 2 * * * /root/backup_monitoring.sh" >> /etc/crontab

8. 常见问题排查

8.1 监控数据不显示

如果监控数据没有显示，可以按照以下步骤排查：

# 检查exporter状态 curl http://localhost:9400/metrics | head -5 # 检查Prometheus目标状态 curl http://localhost:9090/api/v1/targets | jq . # 检查服务日志 docker-compose logs prometheus docker-compose logs dcgm-exporter # 检查GPU驱动 nvidia-smi nvidia-docker run --rm nvidia/cuda:11.0-base nvidia-smi

8.2 性能问题排查

如果监控系统本身性能有问题：

# 检查Prometheus资源使用 docker stats prometheus # 检查存储空间 df -h /var/lib/docker/volumes/ # 优化查询性能 # 检查慢查询 docker-compose logs prometheus | grep "slow" # 调整采集间隔 # 在prometheus.yml中调整scrape_interval

8.3 告警不生效

如果告警没有正确触发：

# 检查告警规则语法 promtool check rules alerts.yml # 检查Alertmanager配置 docker exec prometheus promtool check config /etc/prometheus/prometheus.yml # 测试告警表达式 curl -X POST -g 'http://localhost:9090/api/v1/query' --data-urlencode 'query=DCGM_FI_DEV_GPU_TEMP > 85'

9. 总结

通过本文的指导，你已经成功为MedGemma X-Ray搭建了一套完整的GPU资源监控系统。现在你可以：

1. 实时监控GPU使用率、温度、显存等关键指标
2. 及时发现性能瓶颈和异常情况
3. 优化资源分配，提升系统运行效率
4. 保障业务连续性，避免因硬件问题导致的服务中断

记住，好的监控系统就像给医生配了一个"健康监测仪"，不仅能发现问题，还能预防问题。建议定期检查监控系统的运行状态，根据业务发展调整监控策略，让MedGemma X-Ray始终保持在最佳状态运行。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。