Baichuan-M2-32B在Linux系统的保姆级部署教程

Baichuan-M2-32B在Linux系统的保姆级部署教程

最近百川智能开源了他们的医疗增强推理模型Baichuan-M2-32B，这个模型在医疗领域的表现相当亮眼，据说在HealthBench评测集上超越了所有开源模型，甚至接近GPT-5的医疗能力。更让人心动的是，它支持4bit量化，这意味着我们可以在单张RTX 4090这样的消费级显卡上就能部署运行。

今天我就来手把手教大家如何在Ubuntu 20.04系统上部署Baichuan-M2-32B-GPTQ-Int4版本。整个过程我会尽量讲得详细一些，特别是那些容易踩坑的地方，确保大家都能顺利跑起来。

1. 环境准备与系统检查

在开始部署之前，我们先要确保系统环境符合要求。Baichuan-M2-32B对硬件和软件都有一定的要求，提前检查清楚能避免很多后续问题。

1.1 硬件要求

首先说说硬件，这是最关键的。Baichuan-M2-32B-GPTQ-Int4版本经过4bit量化后，显存需求大大降低：

• 显卡：至少需要24GB显存，推荐RTX 4090（24GB）或更高配置
• 内存：建议32GB以上，64GB更佳
• 存储：模型文件大约20GB左右，加上其他依赖，建议预留50GB空间
• CPU：现代多核处理器即可，对CPU要求不高

如果你用的是RTX 3090（24GB）或者RTX 4090，那完全没问题。如果是其他显卡，可以用下面的命令查看显存：

nvidia-smi --query-gpu=name,memory.total --format=csv

1.2 系统要求

我们这次以Ubuntu 20.04为例，其他Linux发行版也可以参考，但命令可能略有不同。先检查一下系统版本：

lsb_release -a

如果显示是Ubuntu 20.04就对了。如果不是，也不用太担心，大部分步骤都是通用的。

1.3 基础依赖安装

在安装Python环境之前，我们需要先安装一些系统级的依赖库：

# 更新系统包列表 sudo apt update # 安装基础编译工具和依赖 sudo apt install -y build-essential cmake git wget curl # 安装Python相关依赖 sudo apt install -y python3-pip python3-dev python3-venv # 安装CUDA相关依赖（如果使用NVIDIA显卡） sudo apt install -y nvidia-cuda-toolkit # 验证Python版本 python3 --version

这里要注意，Python版本最好在3.8以上，3.10或3.11都是不错的选择。如果系统自带的Python版本太低，可以考虑用pyenv来管理多个Python版本。

2. Python环境配置

为了避免系统Python环境被污染，也为了方便管理不同的项目，我们使用虚拟环境。这是Python开发中的好习惯。

2.1 创建虚拟环境

我习惯把虚拟环境放在项目目录里，这样管理起来比较方便：

# 创建一个项目目录 mkdir baichuan-m2-deploy cd baichuan-m2-deploy # 创建Python虚拟环境 python3 -m venv venv # 激活虚拟环境 source venv/bin/activate

激活虚拟环境后，命令行前面会出现(venv)的提示，表示你现在在这个虚拟环境里工作。如果要退出虚拟环境，输入deactivate就行。

2.2 安装PyTorch

PyTorch是深度学习的基础框架，我们需要安装与CUDA版本匹配的PyTorch。先查看一下CUDA版本：

nvcc --version

或者用：

nvidia-smi

在右上角可以看到CUDA版本。对于大多数RTX 40系列显卡，CUDA 12.1是比较常见的选择。下面是安装命令：

# 安装PyTorch（这里以CUDA 12.1为例） pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 # 验证PyTorch是否安装成功并能识别GPU python3 -c "import torch; print(f'PyTorch版本: {torch.__version__}'); print(f'CUDA可用: {torch.cuda.is_available()}'); print(f'GPU数量: {torch.cuda.device_count()}')"

如果看到CUDA可用为True，GPU数量为1或更多，那就说明PyTorch安装成功了。

2.3 安装vLLM

vLLM是一个高性能的推理引擎，专门为大语言模型优化，能显著提升推理速度。Baichuan-M2-32B官方推荐使用vLLM来部署：

# 安装vLLM pip install vllm # 验证vLLM安装 python3 -c "import vllm; print('vLLM导入成功')"

如果安装过程中遇到问题，可能是因为缺少一些系统依赖。可以尝试安装开发版本：

pip install -U vllm --pre --extra-index-url https://wheels.vllm.ai/nightly

2.4 安装Transformers和其他依赖

Hugging Face的Transformers库是加载和运行模型的基础：

# 安装Transformers pip install transformers # 安装其他可能需要的依赖 pip install accelerate sentencepiece protobuf # 如果需要从ModelScope下载模型 pip install modelscope

3. 模型下载与准备

环境准备好了，接下来就是下载模型。Baichuan-M2-32B有两个版本：原始版本和GPTQ量化版本。我们选择GPTQ-Int4版本，因为它对显存要求更低。

3.1 从Hugging Face下载模型

最直接的方式是从Hugging Face下载。不过模型有20GB左右，下载需要一些时间，建议找个网络好的环境：

# 创建一个目录存放模型 mkdir models cd models # 使用git lfs下载模型（需要先安装git-lfs） sudo apt install -y git-lfs git lfs install git clone https://huggingface.co/baichuan-inc/Baichuan-M2-32B-GPTQ-Int4 # 如果git lfs下载太慢，也可以用huggingface-cli pip install huggingface-hub huggingface-cli download baichuan-inc/Baichuan-M2-32B-GPTQ-Int4 --local-dir Baichuan-M2-32B-GPTQ-Int4

3.2 从ModelScope下载（国内推荐）

如果你在国内，从ModelScope下载可能会更快一些：

# 设置使用ModelScope export VLLM_USE_MODELSCOPE=True # 使用Python代码下载 python3 -c " from modelscope import snapshot_download model_dir = snapshot_download('baichuan-inc/Baichuan-M2-32B-GPTQ-Int4') print(f'模型下载到: {model_dir}') "

3.3 验证模型文件

下载完成后，检查一下模型文件是否完整：

cd Baichuan-M2-32B-GPTQ-Int4 ls -la

你应该能看到这些关键文件：

• config.json：模型配置文件
• model.safetensors或pytorch_model.bin：模型权重文件
• tokenizer.json或相关文件：分词器文件
• special_tokens_map.json：特殊token映射

4. 使用vLLM部署模型

现在到了最关键的一步——用vLLM部署模型。vLLM提供了多种部署方式，我们这里介绍两种最常用的：命令行启动和Python API启动。

4.1 命令行快速启动

这是最简单的方式，一行命令就能启动一个API服务：

# 回到项目根目录 cd ../.. # 启动vLLM服务 vllm serve baichuan-inc/Baichuan-M2-32B-GPTQ-Int4 \ --model ./models/Baichuan-M2-32B-GPTQ-Int4 \ --trust-remote-code \ --max-model-len 131072 \ --gpu-memory-utilization 0.9 \ --port 8000

让我解释一下这些参数：

• --model：指定模型路径，可以是本地路径，也可以是Hugging Face模型ID
• --trust-remote-code：信任远程代码，因为Baichuan-M2使用了自定义的模型代码
• --max-model-len 131072：设置最大上下文长度，Baichuan-M2支持128K上下文
• --gpu-memory-utilization 0.9：GPU内存利用率，0.9表示使用90%的显存
• --port 8000：服务监听的端口

启动成功后，你会看到类似这样的输出：

INFO 07-20 14:30:15 llm_engine.py:197] Initializing an LLM engine with config: ... INFO 07-20 14:30:15 llm_engine.py:398] Loading weights from ./models/Baichuan-M2-32B-GPTQ-Int4 INFO 07-20 14:30:15 model_runner.py:155] Loading model weights took 15.3 GB INFO 07-20 14:30:16 llm_engine.py:491] Model loaded successfully. Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)

4.2 Python API启动方式

如果你需要在Python程序中控制模型的加载和推理，可以用这种方式：

from vllm import LLM, SamplingParams # 初始化模型 llm = LLM( model="./models/Baichuan-M2-32B-GPTQ-Int4", trust_remote_code=True, max_model_len=131072, gpu_memory_utilization=0.9 ) # 准备采样参数 sampling_params = SamplingParams( temperature=0.7, top_p=0.9, max_tokens=1024 ) # 准备输入 prompts = [ "Got a big swelling after a bug bite. Need help reducing it.", "What are the common symptoms of influenza?" ] # 生成回复 outputs = llm.generate(prompts, sampling_params) # 打印结果 for output in outputs: print(f"Prompt: {output.prompt}") print(f"Generated text: {output.outputs[0].text}") print("-" * 50)

4.3 启动OpenAI兼容的API服务

vLLM还提供了OpenAI兼容的API接口，这样你就可以用像调用ChatGPT一样的方式调用本地模型：

# 启动OpenAI兼容的API服务 vllm serve baichuan-inc/Baichuan-M2-32B-GPTQ-Int4 \ --model ./models/Baichuan-M2-32B-GPTQ-Int4 \ --trust-remote-code \ --max-model-len 131072 \ --served-model-name baichuan-m2-32b \ --api-key token-abc123 \ --port 8000

启动后，你就可以用curl或者Python的openai库来调用了：

from openai import OpenAI # 初始化客户端 client = OpenAI( base_url="http://localhost:8000/v1", api_key="token-abc123" ) # 调用聊天接口 response = client.chat.completions.create( model="baichuan-m2-32b", messages=[ {"role": "system", "content": "You are a helpful medical assistant."}, {"role": "user", "content": "I have a headache and fever, what should I do?"} ], temperature=0.7, max_tokens=1024 ) print(response.choices[0].message.content)

5. 模型推理与测试

服务启动后，我们需要测试一下模型是否正常工作。这里我提供几种测试方法。

5.1 简单的文本生成测试

先来个最简单的测试，看看模型能不能正常生成文本：

import requests import json # 测试vLLM的generate接口 url = "http://localhost:8000/generate" headers = {"Content-Type": "application/json"} data = { "prompt": "What is the capital of France?", "max_tokens": 50, "temperature": 0.7 } response = requests.post(url, headers=headers, data=json.dumps(data)) print("Response:", response.json())

5.2 医疗问题测试

既然是医疗模型，当然要测试一下医疗相关的问题：

# 测试医疗推理能力 medical_questions = [ "A patient presents with sudden onset of chest pain radiating to the left arm. What could be the possible causes?", "What are the first aid steps for someone having an asthma attack?", "How to differentiate between viral and bacterial infections based on symptoms?", "What lifestyle changes can help manage type 2 diabetes?" ] for question in medical_questions: print(f"\nQuestion: {question}") print("=" * 80) data = { "prompt": question, "max_tokens": 500, "temperature": 0.3, # 医疗问题温度设低一些，更确定性 "top_p": 0.9 } response = requests.post("http://localhost:8000/generate", headers=headers, data=json.dumps(data)) if response.status_code == 200: result = response.json() print("Answer:", result["text"][0]) else: print(f"Error: {response.status_code}") print("-" * 80)

5.3 思考模式测试

Baichuan-M2支持思考模式（thinking mode），这能让模型先"思考"再回答，适合复杂的推理问题：

from transformers import AutoTokenizer, AutoModelForCausalLM import torch # 加载模型和分词器 model_path = "./models/Baichuan-M2-32B-GPTQ-Int4" tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True, device_map="auto") # 准备输入 prompt = "A 45-year-old male with history of hypertension presents with severe headache, nausea, and blurred vision. Blood pressure is 210/120 mmHg. What is the most likely diagnosis and what immediate actions should be taken?" # 编码输入（开启思考模式） messages = [{"role": "user", "content": prompt}] text = tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=True, thinking_mode='on' # 开启思考模式 ) model_inputs = tokenizer([text], return_tensors="pt").to(model.device) # 生成回复 generated_ids = model.generate( **model_inputs, max_new_tokens=1024, temperature=0.3 ) # 解析思考内容和最终回答 output_ids = generated_ids[0][len(model_inputs.input_ids[0]):].tolist() try: # 查找思考结束的token（151668对应</think>） index = len(output_ids) - output_ids[::-1].index(151668) except ValueError: index = 0 thinking_content = tokenizer.decode(output_ids[:index], skip_special_tokens=True).strip("\n") content = tokenizer.decode(output_ids[index:], skip_special_tokens=True).strip("\n") print("Thinking process:") print(thinking_content) print("\nFinal answer:") print(content)

6. 性能优化与监控

部署完成后，我们还需要关注模型的性能和资源使用情况。

6.1 监控GPU使用情况

随时监控GPU状态，确保模型运行正常：

# 实时监控GPU状态 watch -n 1 nvidia-smi # 或者使用更详细的监控 nvidia-smi --query-gpu=timestamp,name,utilization.gpu,utilization.memory,memory.total,memory.used,memory.free,temperature.gpu --format=csv -l 1

6.2 调整vLLM参数优化性能

根据你的硬件情况，可以调整vLLM的参数来优化性能：

# 使用张量并行（如果有多张GPU） vllm serve baichuan-inc/Baichuan-M2-32B-GPTQ-Int4 \ --model ./models/Baichuan-M2-32B-GPTQ-Int4 \ --trust-remote-code \ --tensor-parallel-size 2 \ # 使用2张GPU --max-model-len 131072 \ --gpu-memory-utilization 0.85 \ --max-num-batched-tokens 4096 \ # 增加批处理token数 --port 8000 # 使用paged attention优化内存 vllm serve baichuan-inc/Baichuan-M2-32B-GPTQ-Int4 \ --model ./models/Baichuan-M2-32B-GPTQ-Int4 \ --trust-remote-code \ --max-model-len 131072 \ --enable-prefix-caching \ # 启用前缀缓存 --block-size 16 \ # 调整块大小 --port 8000

6.3 批量处理优化

如果需要处理大量请求，可以启用批量处理：

from vllm import LLM, SamplingParams llm = LLM( model="./models/Baichuan-M2-32B-GPTQ-Int4", trust_remote_code=True, max_model_len=131072, enable_prefix_caching=True, # 启用前缀缓存 max_num_batched_tokens=4096, # 增加批处理token数 max_num_seqs=256 # 增加同时处理的序列数 ) # 批量处理请求 sampling_params = SamplingParams(temperature=0.7, max_tokens=512) prompts = [f"Medical question {i}: What are the symptoms of condition X?" for i in range(10)] outputs = llm.generate(prompts, sampling_params) for output in outputs: print(f"Generated: {output.outputs[0].text[:100]}...")

7. 常见问题与解决方案

在部署过程中，你可能会遇到一些问题。这里我整理了一些常见问题和解决方法。

7.1 显存不足问题

问题：启动时出现CUDA out of memory错误。

解决方案：

1. 降低--gpu-memory-utilization参数，比如从0.9降到0.8
2. 使用更小的批处理大小：--max-num-batched-tokens 2048
3. 确保没有其他程序占用GPU显存
4. 如果只有一张24GB显卡，确保模型是GPTQ-Int4版本

# 调整后的启动命令 vllm serve baichuan-inc/Baichuan-M2-32B-GPTQ-Int4 \ --model ./models/Baichuan-M2-32B-GPTQ-Int4 \ --trust-remote-code \ --max-model-len 65536 \ # 降低上下文长度 --gpu-memory-utilization 0.8 \ --max-num-batched-tokens 2048 \ --port 8000

7.2 模型加载失败

问题：加载模型时出现错误，特别是trust_remote_code相关错误。

解决方案：

1. 确保安装了所有依赖：pip install transformers accelerate
2. 检查模型文件是否完整下载
3. 尝试从ModelScope下载而不是Hugging Face

# 设置使用ModelScope export VLLM_USE_MODELSCOPE=True # 重新启动 vllm serve baichuan-inc/Baichuan-M2-32B-GPTQ-Int4 \ --trust-remote-code \ --port 8000

7.3 推理速度慢

问题：模型推理速度比预期慢。

解决方案：

1. 检查GPU是否在高效运行状态
2. 增加批处理大小：--max-num-batched-tokens 8192
3. 使用更快的注意力实现（如果支持）
4. 确保使用GPTQ量化版本而不是原始版本

# 优化后的启动命令 vllm serve baichuan-inc/Baichuan-M2-32B-GPTQ-Int4 \ --model ./models/Baichuan-M2-32B-GPTQ-Int4 \ --trust-remote-code \ --max-num-batched-tokens 8192 \ --block-size 32 \ --enable-prefix-caching \ --port 8000

7.4 API服务无法访问

问题：服务启动成功，但无法从外部访问。

解决方案：

1. 检查防火墙设置：sudo ufw allow 8000
2. 绑定到0.0.0.0而不是127.0.0.1
3. 检查端口是否被占用：sudo lsof -i :8000

# 明确绑定到所有接口 vllm serve baichuan-inc/Baichuan-M2-32B-GPTQ-Int4 \ --model ./models/Baichuan-M2-32B-GPTQ-Int4 \ --trust-remote-code \ --host 0.0.0.0 \ # 绑定到所有网络接口 --port 8000

8. 实际应用示例

最后，我们来看几个实际的应用示例，展示Baichuan-M2-32B能做什么。

8.1 医疗问答系统

你可以基于这个模型搭建一个简单的医疗问答系统：

from flask import Flask, request, jsonify from vllm import LLM, SamplingParams import threading app = Flask(__name__) # 全局模型实例 llm = None sampling_params = SamplingParams(temperature=0.3, max_tokens=512) def init_model(): global llm llm = LLM( model="./models/Baichuan-M2-32B-GPTQ-Int4", trust_remote_code=True, max_model_len=65536, gpu_memory_utilization=0.85 ) @app.route('/ask', methods=['POST']) def ask_medical_question(): data = request.json question = data.get('question', '') if not question: return jsonify({'error': 'No question provided'}), 400 # 添加系统提示 full_prompt = f"""You are a professional medical assistant. Please provide helpful, accurate, and safe medical information. Question: {question} Please provide a clear, concise answer based on medical knowledge. If the question requires immediate medical attention, state that clearly. Answer:""" # 生成回答 outputs = llm.generate([full_prompt], sampling_params) answer = outputs[0].outputs[0].text return jsonify({ 'question': question, 'answer': answer }) if __name__ == '__main__': # 在后台初始化模型 init_thread = threading.Thread(target=init_model) init_thread.start() init_thread.join() print("Model loaded, starting Flask server...") app.run(host='0.0.0.0', port=5000, threaded=True)

8.2 病历分析与总结

模型还可以用于分析病历文本：

def analyze_medical_record(record_text): prompt = f"""Analyze the following medical record and provide a summary: Medical Record: {record_text} Please provide: 1. Key symptoms and findings 2. Possible diagnoses (list in order of likelihood) 3. Recommended tests or referrals 4. Immediate actions if urgent Analysis:""" outputs = llm.generate([prompt], sampling_params) return outputs[0].outputs[0].text # 示例病历 sample_record = """ Patient: 58-year-old female Chief Complaint: Shortness of breath and chest discomfort for 2 days History: Hypertension for 10 years, type 2 diabetes for 5 years Examination: BP 150/95, HR 110 bpm, RR 22/min, SpO2 92% on room air ECG: Sinus tachycardia, no acute ST changes Labs: Troponin slightly elevated at 0.05 ng/mL """ analysis = analyze_medical_record(sample_record) print("Medical Record Analysis:") print(analysis)

8.3 药物信息查询

构建一个药物信息查询工具：

def get_drug_information(drug_name): prompt = f"""Provide comprehensive information about the drug: {drug_name} Please include: 1. Drug class and mechanism of action 2. Common indications (what it's used for) 3. Standard dosage (adult) 4. Common side effects 5. Important contraindications and warnings 6. Major drug interactions Information should be based on standard medical references.""" outputs = llm.generate([prompt], sampling_params) return outputs[0].outputs[0].text # 查询常见药物信息 drugs = ["Metformin", "Lisinopril", "Atorvastatin", "Warfarin"] for drug in drugs: print(f"\n{'='*60}") print(f"Drug Information: {drug}") print('='*60) info = get_drug_information(drug) print(info[:500] + "..." if len(info) > 500 else info)

9. 总结

走完这一整套流程，你应该已经在Ubuntu系统上成功部署了Baichuan-M2-32B-GPTQ-Int4模型。整个过程从环境准备到模型测试，我尽量把每个步骤都讲清楚，特别是那些容易出问题的地方。

实际用下来，这个模型的医疗推理能力确实不错，回答比较专业，而且因为做了4bit量化，在消费级显卡上就能跑起来，这对很多个人开发者和小团队来说是个好消息。部署过程虽然有些步骤，但跟着教程一步步来，基本上都能搞定。

如果你在部署过程中遇到其他问题，或者想尝试不同的配置，可以多看看官方文档和社区讨论。每个硬件环境可能都有些差异，需要适当调整参数。比如显存大小、批处理尺寸这些，都要根据实际情况来调。

最后提醒一下，虽然这个模型在医疗领域表现很好，但它不能替代专业医生的诊断。在实际应用中要谨慎使用，特别是涉及具体医疗建议时，一定要有专业人士的审核。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。