SmallThinker-3B-Preview代码实例：Python调用Ollama API实现批量COT推理-平芜编程栈

SmallThinker-3B-Preview代码实例：Python调用Ollama API实现批量COT推理

1. SmallThinker-3B-Preview模型简介

SmallThinker-3B-Preview是基于Qwen2.5-3b-Instruct模型微调而来的轻量级AI模型。这个模型特别适合在资源有限的环境中使用，同时也能作为更大模型的辅助工具。

模型主要特点：

轻量高效：3B参数规模，适合边缘设备部署
快速推理：相比大型模型，推理速度提升显著
长链推理：专门优化了COT(Chain-of-Thought)推理能力
开源可用：模型和训练数据集均已公开

2. 环境准备与Ollama安装

2.1 安装Ollama服务

首先需要在本地或服务器上安装Ollama服务：

# Linux/macOS安装命令 curl -fsSL https://ollama.com/install.sh | sh # Windows安装 # 下载安装包：https://ollama.com/download

2.2 拉取SmallThinker模型

安装完成后，拉取SmallThinker-3B-Preview模型：

ollama pull smallthinker:3b

3. Python调用Ollama API基础

3.1 安装必要的Python库

pip install requests

3.2 基础API调用示例

import requests def simple_query(prompt): url = "http://localhost:11434/api/generate" data = { "model": "smallthinker:3b", "prompt": prompt, "stream": False } response = requests.post(url, json=data) return response.json() # 示例调用 result = simple_query("解释一下量子计算的基本原理") print(result["response"])

4. 实现批量COT推理

4.1 批量处理函数设计

import json from typing import List def batch_cot_inference(prompts: List[str], max_tokens=8192): url = "http://localhost:11434/api/generate" results = [] for prompt in prompts: data = { "model": "smallthinker:3b", "prompt": prompt, "options": { "num_ctx": max_tokens # 设置最大上下文长度 }, "stream": False } try: response = requests.post(url, json=data) response.raise_for_status() result = response.json() results.append({ "prompt": prompt, "response": result["response"], "context": result.get("context", []) }) except Exception as e: print(f"处理提示'{prompt[:30]}...'时出错: {str(e)}") results.append({ "prompt": prompt, "error": str(e) }) return results

4.2 实际应用示例

# 准备一组需要COT推理的问题 cot_prompts = [ "请逐步解释光合作用的过程", "详细说明如何从零开始训练一个神经网络", "分析气候变化对全球经济的影响，分步骤说明", "描述开发一个移动应用的完整流程" ] # 执行批量推理 results = batch_cot_inference(cot_prompts) # 保存结果 with open("cot_results.json", "w", encoding="utf-8") as f: json.dump(results, f, ensure_ascii=False, indent=2)

5. 高级功能与优化

5.1 流式处理大量数据

对于大规模数据处理，可以使用生成器来节省内存：

def stream_cot_inference(prompt_file, output_file): with open(prompt_file, "r", encoding="utf-8") as infile, \ open(output_file, "w", encoding="utf-8") as outfile: for line in infile: prompt = line.strip() if not prompt: continue result = simple_query(prompt) outfile.write(json.dumps({ "prompt": prompt, "response": result["response"] }, ensure_ascii=False) + "\n")

5.2 性能优化建议

批量处理：适当增加并发请求数
上下文管理：合理设置num_ctx参数
缓存机制：对相似查询实现结果缓存
错误处理：添加重试机制应对网络波动

6. 实际应用案例

6.1 教育领域应用

def generate_teaching_materials(topic, difficulty="high school"): prompt = f"""作为{diificulty}教师，请为"{topic}"主题创建教学材料： 1. 核心概念解释 2. 3个实际应用例子 3. 常见学生疑问解答 4. 5道练习题及答案""" return simple_query(prompt)["response"]

6.2 商业分析报告生成

def generate_business_analysis(company, industry): prompt = f"""为{company}公司准备{industry}行业分析报告，包含： 1. 市场趋势分析 2. 竞争对手比较 3. SWOT分析 4. 发展建议""" results = batch_cot_inference([prompt]) return results[0]["response"]