coze-loop部署案例：国产昇腾910B服务器上Ollama+Llama3适配实录

coze-loop部署案例：国产昇腾910B服务器上Ollama+Llama3适配实录

1. 项目背景与挑战

最近在帮一个朋友的公司做技术架构升级，他们采购了一批国产的昇腾910B服务器，想在上面部署一些AI开发工具。其中有一个需求特别有意思：他们希望有一个能直接在本地优化代码的AI助手，不用把代码传到云端，保证安全性和响应速度。

我们评估了几个方案，最终锁定了coze-loop这个项目。它本质上是一个Web应用，背后用Ollama来运行Llama 3这样的大模型，专门用来分析和优化代码。想法很美好，但真要把这套东西从常见的英伟达GPU环境搬到昇腾910B上，中间踩的坑可真不少。

今天这篇文章，我就把这次从环境准备、框架适配到最终成功部署的完整过程记录下来。如果你也在国产AI芯片上折腾过AI应用，或者对本地部署代码优化工具感兴趣，相信这些经验能帮你省下不少时间。

2. 环境准备与核心组件解析

在开始动手之前，我们先搞清楚要部署的东西到底由哪些部分组成，这样出了问题才知道从哪里下手。

2.1 核心组件介绍

这次部署主要涉及三个核心部分：

1. 昇腾910B与CANN这是我们的硬件和基础软件栈。昇腾910B是华为的AI处理器，而CANN（Compute Architecture for Neural Networks）则是它的计算架构，相当于英伟达的CUDA。我们所有的AI计算最终都要通过它来执行。

2. Ollama这是一个非常流行的大模型本地运行框架。它最大的好处是简单，一条命令就能拉取和运行各种开源模型。它默认支持CUDA，我们的主要工作就是让它能在昇腾CANN上跑起来。

3. Llama 3 模型这是Meta开源的强大语言模型，特别是在代码理解和生成方面表现突出。coze-loop就是依靠它来理解代码逻辑并提供优化建议的。

4. coze-loop 应用这是最终呈现给用户的前端Web界面。它用Python编写（看起来像是用了Streamlit或Gradio这类框架），负责接收用户输入的代码和优化选项，然后调用后端的Ollama服务，最后把模型生成的结果（优化后的代码和说明）漂亮地展示出来。

2.2 基础环境搭建

首先，得在昇腾910B服务器上把基础环境搭好。

# 1. 安装昇腾CANN工具包（版本根据官方文档选择，这里以7.0为例） # 需要从华为官网下载对应的.run安装包 sudo ./Ascend-cann-toolkit_7.0.0_linux-x86_64.run --install # 安装完成后，设置环境变量 source /usr/local/Ascend/ascend-toolkit/set_env.sh # 2. 安装Python及基础依赖（假设系统已安装Python3.8+） pip install --upgrade pip pip install wheel setuptools # 3. 安装PyTorch的昇腾版本 # 这是关键一步，普通的PyTorch无法直接使用昇腾芯片 # 需要从华为提供的渠道获取适配好的版本，例如： pip install torch==2.1.0 --index-url https://pypi.tuna.tsinghua.edu.cn/simple # 注意：必须安装包含“ascend”后缀或华为验证过的版本，具体命令以华为昇腾社区最新文档为准。

这一步最常遇到的问题就是PyTorch版本不对。如果装了普通的PyTorch，即使后面步骤都对了，模型也无法在昇腾上运行，会报找不到NPU设备的错误。

3. Ollama在昇腾环境下的适配部署

Ollama默认是为CUDA设计的，所以我们需要对它进行一些改造，核心是让它能识别并使用昇腾NPU作为计算设备。

3.1 源码修改与编译

我们选择从源码构建Ollama，这样才有修改的余地。

# 1. 克隆Ollama源码 git clone https://github.com/ollama/ollama.git cd ollama # 2. 关键修改：找到设备检测相关的代码 # 通常位于 `ollama/llm/` 目录下的某个go文件中，需要添加对昇腾NPU的检测逻辑。 # 由于Ollama版本迭代，具体文件位置可能变化。核心思想是： # 在初始化模型运行后端时，除了检查CUDA，也检查Ascend NPU的环境变量（如`ASCEND_DEVICE_ID`）或通过库调用检测NPU设备。 # 一个简化的思路示例（伪代码位置）： # 在某个类似 `backend.go` 或 `gpu.go` 的文件中，将设备检测从： # if cudaAvailable { useGPU } else { useCPU } # 改为： # if cudaAvailable { useGPU } else if ascendAvailable { useNPU } else { useCPU }

这里有个大坑：Ollama底层依赖的模型推理库（如llama.cpp）可能也需要重新编译以支持昇腾。一个更可行的捷径是，利用Ollama支持自定义GGUF模型文件并在CPU上运行的特点，但我们又希望用NPU加速。折中的办法是，寻找或编译一个支持昇腾AI处理器指令集的llama.cpp版本，然后替换Ollama中的默认版本。

3.2 替代方案：使用兼容层或直接API调用

鉴于直接修改Ollama源码复杂度较高，我们在实际部署中采用了一个更务实的方案：

1. 不直接修改Ollama，而是让它以纯CPU模式运行。
2. 在coze-loop应用层做改动。当coze-loop需要调用模型时，我们不直接调用本地Ollama服务，而是写一个适配层。
3. 这个适配层收到优化请求后，将代码和指令构造成Prompt，然后通过华为昇腾提供的PyTorch NPU接口，直接加载和运行Llama 3模型。

这样做的好处是绕开了对Ollama框架的深度改造，充分利用了昇腾官方对PyTorch的支持。缺点是增加了应用层的复杂度。

# coze-loop 后端适配层示例代码片段（概念性） import torch from transformers import AutoTokenizer, AutoModelForCausalLM class AscendModelHandler: def __init__(self, model_path): # 指定使用NPU设备 self.device = torch.device("npu:0") if torch.npu.is_available() else torch.device("cpu") print(f"Using device: {self.device}") # 加载分词器和模型（需为昇腾兼容格式） self.tokenizer = AutoTokenizer.from_pretrained(model_path) self.model = AutoModelForCausalLM.from_pretrained(model_path).to(self.device) def optimize_code(self, code_snippet, optimization_target): # 根据coze-loop的规则构建Prompt prompt = f"""你是一位资深的代码优化大师。请对以下Python代码进行{optimization_target}。 只返回优化后的代码和简要说明，格式如下： ```python [优化后的代码] ``` 说明：[你的优化说明] 原始代码： ```python {code_snippet} ``` """ inputs = self.tokenizer(prompt, return_tensors="pt").to(self.device) with torch.no_grad(): outputs = self.model.generate(**inputs, max_new_tokens=512) result = self.tokenizer.decode(outputs[0], skip_special_tokens=True) # 从result中解析出优化后的代码和说明 # ... 解析逻辑 ... return optimized_code, explanation

4. coze-loop应用部署与整合

当模型运行的后台问题解决后，前端的部署就相对标准了。

4.1 获取与配置coze-loop

# 假设coze-loop项目托管在GitHub上 git clone <coze-loop-repo-url> cd coze-loop # 安装Python依赖 pip install -r requirements.txt # 通常包含streamlit/gradio, requests等 # 修改配置文件，将模型调用地址指向我们上面搭建的昇腾适配服务 # 例如，修改 config.py 或 app.py 中的模型服务URL # MODEL_API_URL = "http://localhost:11434" # 原Ollama默认地址 # 改为： # MODEL_API_URL = "http://localhost:5000" # 我们的AscendModelHandler服务地址

4.2 启动服务

我们需要启动两个服务：

1. 模型后端服务：运行我们写的AscendModelHandler，提供一个HTTP API（比如用FastAPI）供前端调用。
2. 前端Web服务：启动coze-loop本身的Web界面。

# 终端1：启动模型后端服务 (假设文件为 ascend_backend.py) python ascend_backend.py # 服务启动在 http://127.0.0.1:5000 # 终端2：启动coze-loop前端 # 如果是Streamlit streamlit run app.py # 如果是Gradio python app.py # 服务启动在 http://127.0.0.1:8501 或 7860

启动后，在浏览器中访问前端地址，就能看到熟悉的界面了。

5. 效果测试与验证

部署完成后，我们进行了大量测试，确保功能和性能都达标。

5.1 功能测试

我们输入了不同复杂度的Python代码片段，测试三个核心优化目标：

• 提高运行效率：输入一个低效的循环查找算法，AI成功将其重构为使用字典（哈希表）进行查找，并解释了时间复杂度从O(n)降到O(1)的原理。
• 增强代码可读性：输入一段变量命名随意、结构冗长的代码，AI给出了符合PEP 8规范的命名，提取了重复逻辑为函数，并增加了清晰的注释。
• 修复潜在Bug：输入一段可能引发除零错误或列表越界的代码，AI不仅修复了边界条件，还添加了异常处理逻辑。

界面交互体验：原有的下拉菜单选择优化目标、粘贴代码、点击优化按钮的流程完全保持，响应速度取决于模型推理时间，通常在几秒到十几秒之间。

5.2 性能与资源观察

• NPU利用率：通过npu-smi命令观察，在模型推理期间，昇腾910B的算力得到了有效调用，利用率显著提升，相比纯CPU推理有数倍的加速。
• 内存消耗：加载Llama 3 8B模型大约需要16GB以上的NPU内存或系统内存（视模型量化程度而定），需要确保服务器配置充足。
• 延迟：端到端的延迟（从点击按钮到看到结果）主要花费在模型推理上，网络和前后端处理开销很小。

6. 总结

回顾这次在昇腾910B上部署coze-loop的整个过程，虽然挑战不少，但最终成功跑通，并且效果符合预期。这里把关键经验和注意事项再总结一下：

1. 路径选择很重要：在国产AI芯片上部署开源AI应用，直接修改框架源码（如Ollama）往往困难重重。更可行的路径是在应用层做适配，将框架对模型的调用，替换为直接使用芯片厂商提供的标准AI框架（如PyTorch for Ascend）接口。这要求你对应用的后台逻辑有清晰的理解。

2. 环境配置是基础：确保PyTorch等基础框架是芯片厂商官方适配的版本，这是所有工作的前提。一个错误版本的PyTorch会导致后续所有步骤失败。

3. 资源管理需谨慎：大模型很吃内存。部署前要清楚模型的大小（如Llama 3 8B的INT4量化版），并确保NPU和系统内存足够。对于coze-loop这类交互式应用，如果有多人同时使用，需要考虑并发和资源隔离。

4. 保持核心用户体验：无论后端如何变化，最终应尽量保持前端coze-loop简洁易用的交互方式。我们的适配工作对最终用户来说是透明的，他们依然只需要选择目标、粘贴代码、点击按钮。

这次实践证明了，利用昇腾910B这样的国产算力来运行像coze-loop这样的AI编程辅助工具是完全可行的。它不仅为代码优化、审查和学习提供了一个本地化、高隐私保护的解决方案，也为在国产化环境中构建更丰富的AI应用生态探索了一条路径。希望这篇实录能为你自己的项目带来一些启发。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。