HY-MT1.5-1.8B服务监控：Prometheus集成部署实战案例

HY-MT1.5-1.8B服务监控：Prometheus集成部署实战案例

1. 引言

随着大语言模型在翻译任务中的广泛应用，如何高效部署并实时监控模型服务的运行状态成为工程落地的关键环节。HY-MT1.5-1.8B作为一款轻量级高性能翻译模型，在边缘设备和实时场景中展现出显著优势。本文聚焦于基于vLLM部署的HY-MT1.5-1.8B服务，结合Chainlit构建交互式前端调用接口，并重点实现与Prometheus的深度集成，完成对推理服务的全方位指标采集与可视化监控。

本实践适用于需要将小型化大模型部署至生产环境、同时要求可观测性的开发者与运维团队。通过本文，读者将掌握从模型服务暴露指标、Prometheus抓取配置到Grafana展示的完整链路搭建方法。

2. 技术架构与方案选型

2.1 整体架构设计

系统采用分层架构模式，主要包括以下组件：

• 模型服务层：使用vLLM框架部署HY-MT1.5-1.8B模型，提供高性能推理API。
• 应用交互层：通过Chainlit封装REST接口，支持Web前端调用与对话式体验。
• 监控数据采集层：利用Prometheus客户端库（prometheus_client）在服务端暴露关键性能指标。
• 监控数据存储与查询层：Prometheus Server负责定时拉取、存储时间序列数据。
• 可视化展示层：Grafana连接Prometheus数据源，构建动态仪表盘。

各组件间通过HTTP协议通信，确保松耦合与可扩展性。

2.2 关键技术选型依据

组件	选型	理由
推理引擎	vLLM	支持PagedAttention，高吞吐低延迟，兼容HuggingFace模型格式
前端交互	Chainlit	快速构建LLM应用UI，内置异步支持，易于集成自定义逻辑
指标采集	Prometheus	主流开源监控系统，原生支持多维标签，适合微服务架构
可视化	Grafana	强大的时间序列图表能力，插件生态丰富，支持告警

选择Prometheus而非其他APM工具的核心原因在于其拉模型（pull-based）机制更适合容器化部署环境，且能无缝集成Python应用暴露的/metrics端点。

3. 实现步骤详解

3.1 环境准备

首先创建独立虚拟环境并安装必要依赖：

python -m venv hy_mt_env source hy_mt_env/bin/activate pip install vllm chainlit prometheus_client fastapi uvicorn grafana-api

确认CUDA环境可用后，拉取HY-MT1.5-1.8B模型：

huggingface-cli download Tencent-Hunyuan/HY-MT1.5-1.8B --local-dir ./models/hy-mt1.5-1.8b

3.2 启动vLLM服务并集成指标暴露

修改默认启动脚本，注入Prometheus指标收集逻辑。新建app.py文件：

from vllm import AsyncEngineArgs, AsyncLLMEngine from fastapi import FastAPI, Request from fastapi.responses import StreamingResponse import asyncio from prometheus_client import Counter, Histogram, generate_latest, CONTENT_TYPE_LATEST import time # 定义Prometheus指标 REQUEST_COUNTER = Counter( 'translation_requests_total', 'Total number of translation requests', ['method', 'endpoint'] ) LATENCY_HISTOGRAM = Histogram( 'translation_request_duration_seconds', 'Latency of translation requests', ['endpoint'], buckets=[0.1, 0.5, 1.0, 2.0, 5.0, 10.0] ) TOKENS_GENERATED = Counter( 'generated_tokens_total', 'Total number of generated tokens' ) app = FastAPI() # 初始化vLLM异步引擎 engine_args = AsyncEngineArgs(model="./models/hy-mt1.5-1.8b") engine = AsyncLLMEngine.from_engine_args(engine_args) @app.post("/translate") async def translate(request: Request): data = await request.json() prompt = data.get("text", "") target_lang = data.get("target_lang", "en") full_prompt = f"Translate the following text to {target_lang}: {prompt}" REQUEST_COUNTER.labels(method='POST', endpoint='/translate').inc() start_time = time.time() results_generator = engine.generate(full_prompt, sampling_params={}, request_id="translate_req") output_text = "" async for result in results_generator: if result.outputs: output_text = result.outputs[0].text latency = time.time() - start_time LATENCY_HISTOGRAM.labels(endpoint='/translate').observe(latency) # 假设输出token数约为字符数/4（粗略估算） token_count = len(output_text) // 4 TOKENS_GENERATED.inc(token_count) return {"translated_text": output_text} @app.get("/metrics") async def metrics(): return Response(generate_latest(), media_type=CONTENT_TYPE_LATEST) @app.get("/") async def health(): return {"status": "healthy", "model": "HY-MT1.5-1.8B"}

该实现中，我们注册了三个核心指标：

• 请求计数器：统计请求总量
• 延迟直方图：记录每次请求处理耗时
• 生成Token计数器：反映模型负载情况

3.3 配置Chainlit调用接口

创建chainlit.py文件以接入前端：

import chainlit as cl import httpx BASE_URL = "http://localhost:8000" @cl.on_message async def main(message: cl.Message): async with httpx.AsyncClient() as client: try: response = await client.post( f"{BASE_URL}/translate", json={"text": message.content, "target_lang": "en"} ) result = response.json() await cl.Message(content=result["translated_text"]).send() except Exception as e: await cl.Message(content=f"Error: {str(e)}").send()

启动Chainlit服务：

chainlit run chainlit.py -w

此时访问http://localhost:8080即可进行交互测试。

3.4 部署Prometheus并配置抓取任务

编写prometheus.yml配置文件：

global: scrape_interval: 15s evaluation_interval: 15s scrape_configs: - job_name: 'hy-mt-service' static_configs: - targets: ['host.docker.internal:8000'] # Mac/Linux Docker宿主机访问 metrics_path: /metrics scheme: http

使用Docker启动Prometheus：

docker run -d \ -p 9090:9090 \ -v $(pwd)/prometheus.yml:/etc/prometheus/prometheus.yml \ --name prometheus \ prom/prometheus

访问http://localhost:9090进入Prometheus Web UI，确认目标已成功抓取。

3.5 构建Grafana监控面板

启动Grafana服务：

docker run -d \ -p 3000:3000 \ --name grafana \ grafana/grafana

登录http://localhost:3000（默认账号admin/admin），添加Prometheus为数据源（URL:http://host.docker.internal:9090），然后创建新Dashboard。

添加以下关键图表：

1. QPS趋势图
   查询语句：rate(translation_requests_total[5m])

2. P95延迟热力图
   查询语句：histogram_quantile(0.95, sum(rate(translation_request_duration_seconds_bucket[5m])) by (le))

3. 累计生成Token数
   查询语句：increase(generated_tokens_total[1h])

4. 服务健康状态
   查询语句：up{job="hy-mt-service"}

最终形成一个涵盖请求量、延迟、资源消耗和服务可用性的综合监控视图。

4. 实践问题与优化建议

4.1 常见问题排查

问题1：Prometheus无法抓取/metrics端点

• 检查FastAPI是否正确挂载了/metrics路由
• Docker网络模式下需使用host.docker.internal或自定义bridge网络
• 确保防火墙未阻止对应端口

问题2：指标波动异常或缺失

• 检查异步上下文中指标更新是否线程安全（Prometheus Client for Python是线程安全的）
• 验证vLLM生成循环中是否有异常中断导致指标漏报

问题3：Chainlit连接超时

• 调整httpx客户端超时设置
• 在高并发场景下增加vLLM的max_num_seqs参数

4.2 性能优化建议

1. 批量合并指标上报：对于高频操作，可考虑使用Summary类型替代Histogram以降低开销。
2. 启用vLLM批处理：通过调整max_num_batched_tokens提升吞吐。
3. Prometheus采样间隔优化：生产环境可设为30秒以减少存储压力。
4. 长期存储对接Thanos或VictoriaMetrics：解决单机存储瓶颈。

5. 总结

5. 总结

本文详细介绍了将HY-MT1.5-1.8B翻译模型服务与Prometheus监控体系集成的完整实践路径。通过在vLLM服务中嵌入Prometheus指标暴露逻辑，实现了对请求频率、响应延迟和生成负载等关键性能指标的精细化监控。结合Chainlit提供的便捷前端交互能力，形成了“推理—调用—监控”三位一体的技术闭环。

核心收获包括：

1. 掌握了在FastAPI+vLLM架构中集成Prometheus的标准方法；
2. 构建了面向LLM服务的典型监控指标体系；
3. 实现了从数据采集到可视化的全链路可观测性建设。

该方案特别适用于边缘侧轻量化模型的运维管理，能够有效支撑实时翻译场景下的稳定性保障需求。未来可进一步扩展至多节点集群监控、自动弹性伸缩与异常告警联动等高级功能。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。