Qwen3.5-2B部署教程:HTTPS反向代理配置(Nginx)+域名访问企业内网方案
1. 项目概述
Qwen3.5-2B是一款20亿参数的轻量级多模态大语言模型,专为企业内网部署优化设计。该模型支持轻量对话、文案创作、多语言翻译、基础代码生成等功能,特别适合需要本地化部署的场景。
核心特点:
- 多模态能力:支持图文对话、图表理解、截图OCR识别
- 长文本处理:可处理超长文档总结和知识库检索
- 本地化部署:完全离线运行,数据不出内网
- 低延迟响应:优化后的推理速度适合实时交互
2. 环境准备
2.1 基础环境检查
确保您的服务器已安装以下组件:
- Ubuntu 20.04/22.04 LTS
- Nginx 1.18+
- Python 3.8+
- Conda环境(已预装torch28)
验证Nginx安装:
nginx -v2.2 模型服务状态确认
检查Qwen3.5-2B服务是否正常运行:
supervisorctl status qwen3-2b-webui预期输出应包含RUNNING状态。如未运行,使用以下命令启动:
supervisorctl start qwen3-2b-webui3. Nginx反向代理配置
3.1 基础HTTP代理配置
创建Nginx配置文件:
sudo nano /etc/nginx/conf.d/qwen-proxy.conf添加以下内容:
server { listen 80; server_name your-domain.com; location / { proxy_pass http://localhost:7860; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; } }测试并重载Nginx配置:
sudo nginx -t sudo systemctl reload nginx3.2 HTTPS安全加固
3.2.1 证书申请(以Let's Encrypt为例)
安装certbot工具:
sudo apt install certbot python3-certbot-nginx获取证书:
sudo certbot --nginx -d your-domain.com3.2.2 自动更新证书
设置自动续期:
sudo certbot renew --dry-run4. 企业内网域名访问方案
4.1 内网DNS配置
在内网DNS服务器添加A记录:
qwen.internal.example.com → 192.168.1.1004.2 Nginx内网专用配置
创建专用配置文件:
server { listen 443 ssl; server_name qwen.internal.example.com; ssl_certificate /etc/letsencrypt/live/qwen.internal.example.com/fullchain.pem; ssl_certificate_key /etc/letsencrypt/live/qwen.internal.example.com/privkey.pem; location / { proxy_pass http://localhost:7860; proxy_http_version 1.1; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection "upgrade"; } }5. 安全增强措施
5.1 访问控制配置
添加基础认证:
sudo apt install apache2-utils sudo htpasswd -c /etc/nginx/.htpasswd usernameNginx配置追加:
auth_basic "Restricted Access"; auth_basic_user_file /etc/nginx/.htpasswd;5.2 防火墙规则设置
sudo ufw allow 443/tcp sudo ufw allow 80/tcp sudo ufw enable6. 服务管理
6.1 常用命令汇总
| 操作 | 命令 |
|---|---|
| 启动服务 | supervisorctl start qwen3-2b-webui |
| 停止服务 | supervisorctl stop qwen3-2b-webui |
| 查看日志 | tail -f /root/Qwen3.5-2B/logs/webui.log |
| 重启Nginx | sudo systemctl restart nginx |
6.2 开机自启验证
检查Supervisor服务状态:
systemctl status supervisor7. 常见问题排查
7.1 端口冲突解决
查看端口占用情况:
ss -tlnp | grep 7860终止冲突进程:
kill -9 <PID>7.2 证书更新失败处理
手动更新证书:
sudo certbot renew --force-renewal7.3 性能优化建议
对于高并发场景,建议调整Nginx参数:
events { worker_connections 1024; } http { proxy_read_timeout 300; proxy_connect_timeout 300; }获取更多AI镜像
想探索更多AI镜像和应用场景?访问 CSDN星图镜像广场,提供丰富的预置镜像,覆盖大模型推理、图像生成、视频生成、模型微调等多个领域,支持一键部署。