避坑指南：Ubuntu 22.04部署Qwen1.5-7B-Chat-Int4全流程实战
最近在部署Qwen1.5-7B-Chat-Int4模型时，发现不少同行都卡在了seen_tokens这个报错上。这其实是一个典型的版本兼容性问题，但解决它需要从环境搭建开始就做好规划。本文将分享一套经过验证的完整部署方案，从零开始带你避开所有可能的坑点。
1. 基础环境准备
在Ubuntu 22.04上部署大模型，首先需要建立一个干净的Python环境。我强烈建议使用Miniconda来管理环境，这能有效避免系统Python环境被污染。
# 安装Miniconda wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh bash Miniconda3-latest-Linux-x86_64.sh创建专用环境时，Python版本的选择很关键。经过测试，Python 3.11与ipex-llm的兼容性最佳：
conda create -n ipex-llm python=3.11 -y conda activate ipex-llm系统依赖也不容忽视，特别是CUDA和Intel相关组件：
sudo apt update sudo apt install -y build-essential cmake git libopenblas-dev2. 关键依赖安装策略
这里最容易出问题的就是库版本的选择。盲目使用最新版往往会带来兼容性问题，特别是transformers和ipex-llm这对组合。
推荐版本组合：
| 库名称 | 推荐版本 | 备注 |
|---|---|---|
| transformers | 4.37.0 | 4.40.0会导致seen_tokens报错 |
| ipex-llm | 1.4.0 | 需与特定transformers版本配合 |
| torch | 2.1.0 | 使用Intel优化版 |
安装命令需要特别注意顺序：
pip install torch==2.1.0 --extra-index-url https://download.pytorch.org/whl/cpu pip install transformers==4.37.0 pip install ipex-llm[all]==1.4.0如果已经安装了错误版本，可以先彻底卸载：
pip uninstall transformers ipex-llm torch -y3. 模型下载与运行
环境就绪后，下载量化版模型并准备测试脚本。这里推荐直接从ModelScope获取：
# Qwen1.5-generate.py示例脚本核心部分 from transformers import AutoModelForCausalLM, AutoTokenizer model_path = "Qwen1.5-7B-Chat-Int4-ipex-llm" tokenizer = AutoTokenizer.from_pretrained(model_path) model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto") inputs = tokenizer("你好，介绍一下你自己", return_tensors="pt") outputs = model.generate(**inputs, max_new_tokens=128) print(tokenizer.decode(outputs[0]))运行脚本时建议添加以下参数：
python Qwen1.5-generate.py \ --repo-id-or-model-path Qwen1.5-7B-Chat-Int4-ipex-llm \ --n-predict 128 \ --device mps # 如果是Intel设备4. 典型问题排查
当遇到AttributeError: property 'seen_tokens' of 'DynamicCache' object has no setter错误时，按照以下步骤排查：
确认transformers版本：
pip show transformers | grep Version版本降级方案：
pip install transformers==4.37.0 -i https://mirrors.aliyun.com/pypi/simple/清理缓存：
rm -rf ~/.cache/huggingface/
这个问题的根源在于transformers 4.40.0对DynamicCache的实现做了修改，而ipex-llm 1.4.0还未适配这个变更。除了降级外，也可以等待ipex-llm的更新版本。
5. 性能优化技巧
成功运行后，可以通过以下方式提升推理速度：
量化参数对比：
| 参数 | 默认值 | 推荐值 | 效果 |
|---|---|---|---|
| use_cache | True | True | 减少重复计算 |
| low_cpu_mem_usage | False | True | 降低内存占用 |
| torch_dtype | float32 | bfloat16 | 加速推理 |
在代码中这样应用：
model = AutoModelForCausalLM.from_pretrained( model_path, device_map="auto", low_cpu_mem_usage=True, torch_dtype=torch.bfloat16 )对于Intel CPU，还可以启用特殊优化：
import intel_extension_for_pytorch as ipex model = ipex.optimize(model, dtype=torch.bfloat16)6. 长期维护建议
要保持环境稳定，建议：
使用requirements.txt固定版本：
transformers==4.37.0 ipex-llm[all]==1.4.0 torch==2.1.0定期检查ipex-llm的更新日志，关注兼容性说明
考虑使用Docker容器化部署，避免环境污染
在实际项目中，我通常会为每个大模型单独创建conda环境，并记录详细的版本信息。这样即使几个月后需要重新部署，也能快速复现当时的工作环境。
