Qwen1.5-0.5B进程守护：supervisor部署监控实战
1. 为什么需要守护Qwen服务？——从“能跑”到“稳跑”的关键一跃
你可能已经成功把 Qwen1.5-0.5B 模型跑起来了：输入一句“今天心情真好”，它秒回“😄 LLM 情感判断: 正面”，接着又贴心接上一段温暖对话。看起来一切顺利。
但现实中的服务不是演示视频——它得在后台持续运行数小时、数天，甚至数周。你关掉终端，进程就没了；服务器重启，服务就断了；模型推理偶尔卡住，没人拉一把，它就一直挂在那里；日志刷屏却没人看，错误悄悄积累，直到某天用户发现“AI不说话了”。
这正是轻量级AI服务最容易被忽视的盲区：模型本身很轻，但生产环境的可靠性不能轻。
Supervisor 不是炫技工具，而是一套成熟、简单、零GPU依赖的进程守护方案。它不碰模型代码，不改推理逻辑，只做三件朴素的事：
- 进程挂了，自动拉起来；
- 启动失败，记下错误不沉默；
- 日志统一收口，查问题不用翻十个文件。
对 Qwen1.5-0.5B 这类 CPU 友好、启动快、内存占用低的模型来说，Supervisor 几乎是天选搭档——没有 Docker 的复杂网络配置，没有 systemd 的权限缠绕，一条配置写完，supervisord一启，你的 AI 就真正“活”在服务器上了。
本篇不讲大道理，只带你一步步：
把 Qwen 服务包装成可被 Supervisor 管理的标准进程；
写一份清晰、防错、带日志轮转的配置；
验证守护效果（手动 kill 进程，看它是否秒复活）；
掌握日常运维三板斧：启/停/查日志。
全程基于纯 Python + Transformers，无需 ModelScope、不依赖 GPU，连树莓派都能照着操作。
2. 准备工作：让Qwen服务“可被管理”
Supervisor 管理的是操作系统进程，不是 Python 函数。所以第一步，必须把你的 Qwen 推理脚本，变成一个能独立启动、有明确入口、不前台阻塞的“服务程序”。
2.1 创建标准服务脚本：qwen_server.py
我们不直接用python app.py启动 Web 服务，而是封装一层——让它行为可控、输出规范、退出干净。
#!/usr/bin/env python3 # -*- coding: utf-8 -*- """ Qwen1.5-0.5B 轻量服务入口脚本 用途：供 Supervisor 管理，支持标准信号退出 """ import sys import os import signal import logging from pathlib import Path # 添加项目根目录到 Python 路径（假设你的模型代码在此目录下） ROOT_DIR = Path(__file__).parent sys.path.insert(0, str(ROOT_DIR)) # 配置基础日志（Supervisor 会捕获 stdout/stderr，此处仅作本地调试备用） logging.basicConfig( level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s', handlers=[logging.StreamHandler(sys.stdout)] ) logger = logging.getLogger(__name__) def signal_handler(signum, frame): logger.info(f"收到信号 {signum}，正在优雅退出...") # 此处可加入模型卸载、缓存清理等逻辑（Qwen1.5-0.5B 通常无需） sys.exit(0) def main(): # 注册信号处理器，确保 Ctrl+C 或 Supervisor 发送的 TERM 信号能被捕获 signal.signal(signal.SIGINT, signal_handler) signal.signal(signal.SIGTERM, signal_handler) logger.info(" 正在加载 Qwen1.5-0.5B 模型...") # --- 核心：这里是你原有的模型加载与服务启动逻辑 --- try: from transformers import AutoTokenizer, AutoModelForCausalLM import torch import time # 加载模型（FP32，CPU 友好） model_name = "Qwen/Qwen1.5-0.5B" tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained( model_name, torch_dtype=torch.float32, # 明确指定 FP32 device_map="cpu", # 强制 CPU trust_remote_code=True ) model.eval() logger.info(" 模型加载完成，准备就绪") # 启动简易 HTTP 服务（使用内置 http.server，不引入 Flask/FastAPI 依赖） # 实际生产建议替换为更健壮的框架，但本例保持极简 from http.server import HTTPServer, BaseHTTPRequestHandler import json import urllib.parse class QwenHandler(BaseHTTPRequestHandler): def do_POST(self): if self.path != "/infer": self.send_error(404) return content_length = int(self.headers.get('Content-Length', 0)) post_data = self.rfile.read(content_length).decode('utf-8') try: data = json.loads(post_data) text = data.get("text", "") task = data.get("task", "chat") # "sentiment" or "chat" if not text.strip(): raise ValueError("输入文本不能为空") # 情感分析 Prompt（All-in-One 关键） if task == "sentiment": prompt = f"""你是一个冷酷的情感分析师。请严格按以下格式回答： 输入：{text} 输出：正面 / 负面 只输出一个词，不要任何解释、标点或空格。""" else: # chat prompt = f"""<|im_start|>system\n你是一个友善、乐于助人的AI助手。<|im_end|>\n<|im_start|>user\n{text}<|im_end|>\n<|im_start|>assistant\n""" inputs = tokenizer(prompt, return_tensors="pt").to("cpu") with torch.no_grad(): outputs = model.generate( **inputs, max_new_tokens=64, do_sample=False, temperature=0.1, pad_token_id=tokenizer.eos_token_id ) response = tokenizer.decode(outputs[0], skip_special_tokens=True) # 提取情感结果（简化版，实际需更鲁棒解析） if task == "sentiment": result = "正面" if "正面" in response[-10:] else "负面" output_text = f"😄 LLM 情感判断: {result}" else: # 截取 assistant 后内容 if "<|im_start|>assistant\n" in response: output_text = response.split("<|im_start|>assistant\n")[-1].strip() else: output_text = response.strip() self.send_response(200) self.send_header('Content-type', 'application/json; charset=utf-8') self.end_headers() self.wfile.write(json.dumps({"response": output_text}, ensure_ascii=False).encode('utf-8')) except Exception as e: logger.error(f"推理异常: {e}") self.send_response(500) self.send_header('Content-type', 'application/json') self.end_headers() self.wfile.write(json.dumps({"error": str(e)}).encode('utf-8')) # 启动服务（监听 8000 端口） server = HTTPServer(('0.0.0.0', 8000), QwenHandler) logger.info(" HTTP 服务已启动，监听端口 8000") server.serve_forever() except Exception as e: logger.critical(f"服务启动失败: {e}", exc_info=True) sys.exit(1) if __name__ == "__main__": main()关键设计说明：
- 使用
#!/usr/bin/env python3声明解释器，确保 Supervisor 能正确调用；- 主动捕获
SIGINT和SIGTERM，避免进程僵死；- 所有日志走
print()或logging，Supervisor 会自动收集；- 模型加载和 HTTP 服务都在
main()中，结构清晰，无全局变量污染；- 错误处理完整，启动失败时
sys.exit(1)，Supervisor 会识别为异常退出。
2.2 验证脚本可独立运行
在终端中执行：
chmod +x qwen_server.py ./qwen_server.py看到正在加载...→模型加载完成...→HTTP 服务已启动...，即表示脚本本身无问题。
用curl测试一下：
curl -X POST http://localhost:8000/infer \ -H "Content-Type: application/json" \ -d '{"text":"这个产品太差劲了","task":"sentiment"}' # 应返回: {"response":"😄 LLM 情感判断: 负面"} curl -X POST http://localhost:8000/infer \ -H "Content-Type: application/json" \ -d '{"text":"你好呀","task":"chat"}' # 应返回: {"response":"你好！很高兴见到你..."}确认无误后，Ctrl+C退出。下一步，交给 Supervisor。
3. Supervisor 部署：三步完成可靠守护
Supervisor 安装极其简单，且所有配置均为纯文本，易于版本管理和复现。
3.1 安装与初始化
# Ubuntu/Debian sudo apt update && sudo apt install supervisor -y # CentOS/RHEL sudo yum install epel-release -y && sudo yum install supervisor -y # 初始化配置（首次运行） sudo supervisorctl reread sudo supervisorctl update注意：Supervisor 默认配置路径为
/etc/supervisor/conf.d/，我们将在此目录下创建专属配置。
3.2 编写守护配置：qwen.conf
在/etc/supervisor/conf.d/qwen.conf中写入以下内容（请根据你的实际路径修改directory和command）：
[program:qwen-server] ; --- 基础信息 --- directory=/home/your_user/qwen-all-in-one ; 替换为你的项目绝对路径 command=/usr/bin/python3 /home/your_user/qwen-all-in-one/qwen_server.py autostart=true autorestart=true startretries=3 user=your_user ; 替换为运行该服务的普通用户（非 root！） redirect_stderr=true stdout_logfile=/var/log/supervisor/qwen_stdout.log stdout_logfile_maxbytes=10MB stdout_logfile_backups=5 stderr_logfile=/var/log/supervisor/qwen_stderr.log stderr_logfile_maxbytes=10MB stderr_logfile_backups=5 ; --- 进程健康检查（可选但强烈推荐）--- ; 检查端口 8000 是否有响应，超时则重启 environment=PATH="/usr/bin:/bin" stopasgroup=true killasgroup=true stopsignal=TERM stopwaitsecs=10 ; --- 高级选项：防止频繁崩溃 --- startsecs=30 ; 进程启动后需稳定运行30秒才算成功 exitcodes=0,2 ; 只有退出码为0或2才认为是正常退出配置要点解读：
autorestart=true：核心！进程退出即重启；startretries=3：启动失败最多重试3次，避免无限循环；user=your_user：必须指定非 root 用户，安全第一；stdout_logfile_*：日志自动轮转，永不撑爆磁盘；startsecs=30：模型加载+服务就绪需时间，设为30秒防误判；stopasgroup/killasgroup：确保Ctrl+C或supervisorctl stop能杀死整个进程组（含子进程）。
3.3 加载并启动守护服务
# 重新读取配置 sudo supervisorctl reread # 更新服务列表（此时会显示 qwen-server） sudo supervisorctl update # 启动服务 sudo supervisorctl start qwen-server # 查看状态 sudo supervisorctl status # 输出应为：qwen-server RUNNING pid 12345, uptime 0:00:10现在，你的 Qwen 服务已由 Supervisor 全权托管。
4. 实战验证：亲手“杀死”它，看它如何复活
这才是守护价值的终极检验。
4.1 模拟进程崩溃
在另一个终端中，找到 Qwen 进程 PID：
ps aux | grep qwen_server.py | grep -v grep # 输出类似：your_user 12345 ... python3 /path/to/qwen_server.py然后，粗暴 kill：
kill -9 12345立刻回到 Supervisor 终端：
sudo supervisorctl status你会看到状态短暂变为STARTING，几秒后迅速切回RUNNING，PID 变为新值。
再查日志：
sudo tail -f /var/log/supervisor/qwen_stderr.log能看到类似记录：
2024-05-20 14:22:33,123 CRIT Supervisor running as root (no user in config file) 2024-05-20 14:22:33,124 INFO RPC interface 'supervisor' initialized ... 2024-05-20 14:25:01,887 INFO success: qwen-server entered RUNNING state, process has stayed up for > than 30 seconds (startsecs) 2024-05-20 14:25:45,201 INFO exited: qwen-server (exit status 0; expected) 2024-05-20 14:25:46,203 INFO spawned: 'qwen-server' with pid 12346 2024-05-20 14:25:46,205 INFO success: qwen-server entered STARTING state, process has stayed up for > than 0 seconds (startsecs)进程崩溃 → Supervisor 捕获 → 自动重启 → 模型重载 → 服务恢复，全程无人干预。
4.2 模拟启动失败（验证容错）
临时修改qwen_server.py，在main()开头加一行raise RuntimeError("模拟启动失败")，保存。
然后执行：
sudo supervisorctl restart qwen-server观察status，它会显示STARTING→BACKOFF→FATAL，并在日志中记录错误堆栈。
修复代码后，supervisorctl restart即可恢复正常。
这证明：Supervisor 不仅守护“运行中”，也守护“启动时”，杜绝静默失败。
5. 日常运维：三招搞定所有场景
Supervisor 提供简洁命令行，覆盖 95% 运维需求。
5.1 启动、停止、重启
sudo supervisorctl start qwen-server # 启动 sudo supervisorctl stop qwen-server # 停止（发送 SIGTERM，等待优雅退出） sudo supervisorctl restart qwen-server # 先 stop 再 start sudo supervisorctl reload # 重载全部配置（修改 .conf 后执行）5.2 实时查看日志（最常用）
# 查看最新100行 stdout（即 print 和 info 日志） sudo supervisorctl tail -f qwen-server stdout | head -100 # 查看 stderr（错误堆栈） sudo supervisorctl tail -f qwen-server stderr # 查看全部日志（含历史轮转文件） sudo less /var/log/supervisor/qwen_stdout.log小技巧：
tail -f后按Ctrl+C退出实时跟踪，比less更适合盯日志。
5.3 查看详细状态与资源
sudo supervisorctl status qwen-server # 输出包含：状态、PID、运行时长、启动时间、退出码等 # 查看进程资源占用（CPU/内存） ps -o pid,ppid,cmd,%mem,%cpu -p $(pgrep -f "qwen_server.py")获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。
