Qwen2.5-1.5B从零部署：CentOS7服务器环境搭建与systemd服务封装
1. 环境准备与系统配置
在开始部署Qwen2.5-1.5B模型之前，我们需要确保CentOS7服务器具备合适的运行环境。以下是详细的环境准备步骤：
系统更新与基础依赖安装
首先更新系统并安装必要的开发工具：
# 更新系统软件包 yum update -y # 安装基础开发工具和依赖 yum groupinstall "Development Tools" -y yum install epel-release -y yum install python3 python3-devel python3-pip openssl-devel libffi-devel -yPython环境配置
创建独立的Python虚拟环境以避免依赖冲突：
# 创建项目目录 mkdir -p /opt/qwen-chat cd /opt/qwen-chat # 创建虚拟环境 python3 -m venv venv source venv/bin/activate # 升级pip pip install --upgrade pip2. 模型文件准备与验证
下载与放置模型文件
确保模型文件正确放置在指定位置：
# 创建模型存储目录 mkdir -p /root/qwen1.5b # 验证模型文件完整性（示例检查） ls -la /root/qwen1.5b/ # 应该包含以下关键文件： # - config.json # - tokenizer.json 或相关分词器文件 # - model.safetensors 或 pytorch_model.bin # - generation_config.json模型文件验证脚本
创建一个简单的验证脚本来检查模型完整性：
#!/usr/bin/env python3 import os MODEL_PATH = "/root/qwen1.5b" required_files = ['config.json', 'model.safetensors', 'tokenizer.json'] print("🔍 检查模型文件完整性...") for file in required_files: file_path = os.path.join(MODEL_PATH, file) if os.path.exists(file_path): print(f"✅ {file} 存在") else: print(f"❌ {file} 缺失") print("验证完成")3. 项目依赖安装与配置
安装必要的Python包
创建requirements.txt文件并安装依赖：
# 创建requirements.txt cat > requirements.txt << 'EOF' torch>=2.0.0 transformers>=4.30.0 streamlit>=1.28.0 sentencepiece>=0.1.99 accelerate>=0.20.0 EOF # 安装依赖包 pip install -r requirements.txt验证GPU支持（如果可用）
检查CUDA是否可用并配置相应的PyTorch版本：
# 检查CUDA可用性 python3 -c "import torch; print(f'CUDA可用: {torch.cuda.is_available()}'); print(f'CUDA版本: {torch.version.cuda}') if torch.cuda.is_available() else ''"如果系统有NVIDIA GPU但未安装CUDA，需要先安装对应的驱动和CUDA工具包。
4. 创建Streamlit聊天应用
编写主应用程序
创建完整的聊天应用脚本：
# app.py import streamlit as st from transformers import AutoModelForCausalLM, AutoTokenizer import torch import os # 配置模型路径 MODEL_PATH = "/root/qwen1.5b" @st.cache_resource def load_model(): """加载模型和分词器""" print(f"🚀 正在加载模型: {MODEL_PATH}") # 自动选择设备（GPU优先） device = "cuda" if torch.cuda.is_available() else "cpu" # 加载分词器 tokenizer = AutoTokenizer.from_pretrained( MODEL_PATH, trust_remote_code=True ) # 加载模型 model = AutoModelForCausalLM.from_pretrained( MODEL_PATH, device_map="auto", torch_dtype="auto" if device == "cuda" else torch.float32, trust_remote_code=True ) return model, tokenizer, device def main(): st.title("🤖 Qwen2.5-1.5B 本地智能对话助手") st.write("基于阿里通义千问模型的完全本地化对话服务") # 侧边栏配置 with st.sidebar: st.header("设置") if st.button("🧹 清空对话"): st.session_state.messages = [] if torch.cuda.is_available(): torch.cuda.empty_cache() st.rerun() # 初始化对话历史 if "messages" not in st.session_state: st.session_state.messages = [] # 显示历史消息 for message in st.session_state.messages: with st.chat_message(message["role"]): st.markdown(message["content"]) # 用户输入 if prompt := st.chat_input("你好，我是Qwen2.5-1.5B，有什么可以帮你的？"): # 添加用户消息到历史 st.session_state.messages.append({"role": "user", "content": prompt}) with st.chat_message("user"): st.markdown(prompt) # 生成AI回复 with st.chat_message("assistant"): message_placeholder = st.empty() full_response = "" try: # 加载模型（首次使用时） if "model" not in st.session_state: with st.spinner("正在加载模型，请稍候..."): st.session_state.model, st.session_state.tokenizer, st.session_state.device = load_model() # 准备对话历史 messages = st.session_state.messages.copy() # 应用聊天模板 text = st.session_state.tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=True ) # 生成回复 with torch.no_grad(): inputs = st.session_state.tokenizer(text, return_tensors="pt").to(st.session_state.device) outputs = st.session_state.model.generate( **inputs, max_new_tokens=1024, temperature=0.7, top_p=0.9, do_sample=True, pad_token_id=st.session_state.tokenizer.eos_token_id ) # 解码回复 response = st.session_state.tokenizer.decode( outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True ) full_response = response except Exception as e: full_response = f"抱歉，生成回复时出现错误: {str(e)}" # 显示回复 message_placeholder.markdown(full_response) # 添加AI回复到历史 st.session_state.messages.append({"role": "assistant", "content": full_response}) if __name__ == "__main__": main()5. 创建systemd服务封装
编写systemd服务文件
创建系统服务以便管理应用：
# 创建服务文件 cat > /etc/systemd/system/qwen-chat.service << 'EOF' [Unit] Description=Qwen2.5-1.5B Chat Service After=network.target [Service] Type=simple User=root WorkingDirectory=/opt/qwen-chat Environment=PATH=/opt/qwen-chat/venv/bin:/usr/local/bin:/usr/bin:/bin ExecStart=/opt/qwen-chat/venv/bin/streamlit run app.py --server.port 8501 --server.address 0.0.0.0 Restart=always RestartSec=5 [Install] WantedBy=multi-user.target EOF配置防火墙和权限
设置必要的防火墙规则和文件权限：
# 开放8501端口 firewall-cmd --permanent --add-port=8501/tcp firewall-cmd --reload # 设置文件权限 chmod 644 /etc/systemd/system/qwen-chat.service启动和管理服务
启用并启动服务：
# 重新加载systemd配置 systemctl daemon-reload # 启用服务开机自启 systemctl enable qwen-chat.service # 启动服务 systemctl start qwen-chat.service # 检查服务状态 systemctl status qwen-chat.service # 查看日志 journalctl -u qwen-chat.service -f6. 服务验证与故障排除
服务健康检查
创建健康检查脚本：
# health_check.sh #!/bin/bash SERVICE="qwen-chat" PORT=8501 # 检查服务状态 if systemctl is-active --quiet $SERVICE; then echo "✅ 服务运行中" else echo "❌ 服务未运行" exit 1 fi # 检查端口监听 if netstat -tlnp | grep ":$PORT"; then echo "✅ 端口 $PORT 监听正常" else echo "❌ 端口 $PORT 未监听" exit 1 fi # 简单HTTP检查 if curl -s http://localhost:$PORT > /dev/null; then echo "✅ HTTP服务响应正常" else echo "❌ HTTP服务无响应" exit 1 fi echo "所有检查通过！服务运行正常"常见问题解决
- 模型加载失败：检查模型文件路径和权限
- GPU内存不足：减少max_new_tokens参数或使用CPU模式
- 端口冲突：修改服务文件中的端口号
- 依赖问题：重新创建虚拟环境并安装依赖
7. 总结
通过本教程，我们成功在CentOS7服务器上完成了Qwen2.5-1.5B模型的完整部署，并实现了systemd服务封装。这套方案具有以下优势：
部署成果
- 完整的本地化模型部署，无需外部网络依赖
- 系统服务化管理，支持开机自启和自动恢复
- 优化的资源使用，适配低配置服务器环境
- 简洁的Web界面，提供友好的交互体验
维护建议
- 定期检查服务日志：
journalctl -u qwen-chat.service - 监控资源使用情况，特别是GPU内存占用
- 保持系统更新，定期检查依赖包更新
- 备份模型文件和配置文件
扩展可能性
- 添加API接口支持其他应用集成
- 实现多模型切换功能
- 添加用户认证和访问控制
- 集成监控和告警系统
现在你的Qwen2.5-1.5B智能对话助手已经准备就绪，可以通过浏览器访问服务器IP的8501端口开始使用了！
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。
