Qwen2.5-0.5B国产化适配：麒麟OS+飞腾CPU部署案例

Qwen2.5-0.5B国产化适配：麒麟OS+飞腾CPU部署案例

1. 引言：为什么要在国产平台运行大模型？

你可能已经习惯了在高性能GPU上跑大模型，动辄几十GB显存、千亿参数的“巨无霸”似乎成了AI的标配。但有没有一种可能——在没有GPU的国产CPU上，也能流畅运行一个真正可用的AI对话系统？

这正是我们今天要验证的场景。

随着国产软硬件生态逐步成熟，越来越多的实际业务需要将AI能力下沉到本地边缘设备。比如政府、电力、交通等对安全可控要求极高的行业，它们更倾向于使用麒麟操作系统 + 飞腾CPU这样的全国产技术栈。

本文将以Qwen2.5-0.5B-Instruct模型为例，完整记录其在银河麒麟高级服务器操作系统V10 + 飞腾FT-2000/4 CPU环境下的部署全过程。从环境准备、依赖安装，到服务启动与实际对话测试，每一步都经过实测验证。

这不是理论推演，而是一次真实的“低算力+国产化”落地实践。

2. 项目背景与核心价值

2.1 什么是 Qwen2.5-0.5B-Instruct？

这是阿里云通义千问团队发布的轻量级指令微调模型，属于 Qwen2.5 系列中最小的版本（仅 0.5B 参数），专为高效推理和边缘部署设计。

别看它小，它的训练数据和微调策略与更大模型一脉相承，在中文理解、逻辑问答、代码生成等方面表现远超同级别模型。

更重要的是：

• 模型权重文件总大小约1GB，适合嵌入式或资源受限设备
• 支持纯 CPU 推理，无需 GPU 加速卡
• 输出延迟低，支持流式响应，用户体验接近实时打字

2.2 国产化适配的意义

当前很多AI应用仍严重依赖英伟达GPU和国外操作系统，一旦供应链受阻，整个系统就面临停摆风险。

而在金融、军工、能源等领域，“自主可控”不是选择题，而是必答题。

通过本次适配，我们证明了：

即使是基于ARM架构的国产CPU（如飞腾），配合国产操作系统（如麒麟），也能独立支撑起一个具备实用价值的AI对话服务。

这意味着：

• 可以在内网环境中构建安全可信的智能助手
• 能够降低对外部算力硬件的依赖
• 为后续更多轻量化AI模型的国产平台迁移提供参考路径

3. 硬件与软件环境准备

3.1 实验环境配置

注意：飞腾CPU基于ARM64架构，部分Python包需编译安装或寻找兼容版本，不能直接使用x86平台的预编译包。

3.2 基础依赖安装

由于麒麟OS默认源中缺少一些关键AI库，我们需要手动添加清华镜像源并安装基础组件：

# 更换为清华镜像源 sudo sed -i 's|https://update.cs2c.com.cn|https://pypi.tuna.tsinghua.edu.cn|g' /etc/yum.repos.d/*.repo # 安装编译工具链 sudo yum groupinstall "Development Tools" -y sudo yum install python3-devel openblas-devel gcc-c++ -y

接下来安装Python虚拟环境和核心库：

# 创建虚拟环境 python3 -m venv qwen-env source qwen-env/bin/activate # 升级pip并指定国内镜像 pip install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

4. 模型部署全流程详解

4.1 安装深度学习框架（CPU版）

由于飞腾平台无CUDA支持，我们使用PyTorch的CPU-only版本：

# 安装torch（官方不提供ARM64预编译包，需从源码或第三方渠道获取） pip install torch==2.1.0+cpu torchvision==0.16.0+cpu --extra-index-url https://download.pytorch.org/whl/cpu

若上述命令失败，可尝试从清华大学开源软件镜像站下载.whl文件手动安装：

wget https://mirrors.tuna.tsinghua.edu.cn/pytorch/whl/cpu/torch-2.1.0%2Bcpu-cp39-cp39-linux_aarch64.whl pip install torch-2.1.0+cpu-cp39-cp39-linux_aarch64.whl

再安装Transformers和其他依赖：

pip install transformers accelerate sentencepiece gradio

4.2 下载 Qwen2.5-0.5B-Instruct 模型

使用Hugging Face官方接口拉取模型（需登录账号并接受协议）：

from transformers import AutoTokenizer, AutoModelForCausalLM model_name = "Qwen/Qwen2.5-0.5B-Instruct" tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True, device_map="auto")

提示：首次下载会自动缓存至~/.cache/huggingface/hub/，全量权重约1.1GB。

为避免每次加载都联网检查，建议离线保存：

model.save_pretrained("./qwen2.5-0.5b-instruct") tokenizer.save_pretrained("./qwen2.5-0.5b-instruct")

4.3 编写推理服务脚本

创建app.py文件，实现基本对话功能：

import torch from transformers import AutoModelForCausalLM, AutoTokenizer import gradio as gr # 加载本地模型 model_path = "./qwen2.5-0.5b-instruct" tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True) # 推理函数 def chat(message, history): messages = [] for human, assistant in history: messages.append({"role": "user", "content": human}) messages.append({"role": "assistant", "content": assistant}) messages.append({"role": "user", "content": message}) response = model.chat(tokenizer, messages) return response # 启动Gradio界面 demo = gr.ChatInterface( fn=chat, title="Qwen2.5-0.5B-Instruct 国产平台对话系统", description="运行于飞腾CPU + 麒麟OS，支持中文问答与代码生成", examples=[ "帮我写一首关于春天的诗", "用Python实现快速排序", "解释什么是递归" ] ) demo.launch(server_name="0.0.0.0", server_port=7860, share=False)

4.4 启动服务并访问

执行以下命令启动Web服务：

python app.py

启动成功后，终端会显示类似信息：

Running on local URL: http://0.0.0.0:7860

此时可通过浏览器访问该IP地址的7860端口，进入交互式聊天界面。

5. 实际运行效果测试

5.1 中文创作能力测试

用户输入：
“请写一首七言绝句，描写江南春景。”

模型输出：
春风拂柳绿成行，
细雨沾花润小塘。
燕语呢喃穿画舫，
江南二月正芬芳。

评价：格律工整，意象丰富，符合传统诗歌审美。

5.2 代码生成能力测试

用户输入：
“用Python写一个函数，判断是否为回文字符串。”

模型输出：

def is_palindrome(s): s = s.lower() # 忽略大小写 s = ''.join(c for c in s if c.isalnum()) # 去除非字母数字字符 return s == s[::-1] # 测试 print(is_palindrome("A man a plan a canal Panama")) # True print(is_palindrome("race a car")) # False

评价：逻辑清晰，考虑了边界情况，具备实用性。

5.3 性能表现实测

结论：虽然无法达到GPU级别的毫秒级响应，但在纯CPU环境下，已能实现接近“打字机式”的流畅对话体验，完全满足日常辅助需求。

6. 常见问题与优化建议

6.1 问题一：ImportError: cannot import name 'MultiQueryAttention'

原因：某些旧版本Transformers未包含Qwen专用模块。

解决方法：

pip install --upgrade transformers -i https://pypi.tuna.tsinghua.edu.cn/simple

确保版本 ≥ 4.37.0。

6.2 问题二：模型加载慢或卡死

建议：

• 提前下载好模型并离线加载
• 使用offload_folder参数减少内存压力
• 关闭不必要的后台进程释放资源

6.3 优化方向

7. 总结：轻量模型+国产平台的可行性已验证

7.1 我们做到了什么？

• 成功在飞腾FT-2000/4 + 麒麟OS平台上部署 Qwen2.5-0.5B-Instruct
• 实现了完整的流式对话功能，支持中文问答、文案创作、代码生成
• 验证了无GPU环境下也能运行具备实用价值的AI助手
• 提供了一套可复用的国产化部署流程

7.2 这意味着什么？

它表明：

轻量化大模型 + 国产芯片 + 自主操作系统，已经可以构成一条可行的技术闭环。

对于那些追求安全性、可控性、低成本部署的政企客户来说，这种组合极具吸引力。

未来，随着更多轻量模型的出现和国产芯片性能提升，这类“边缘智能”方案将越来越普及。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。