ChatGPT读文献：AI辅助开发中的高效文献处理实践-平芜编程栈

ChatGPT读文献：AI辅助开发中的高效文献处理实践

1. 背景痛点：为什么开发者需要“外挂大脑”

做技术调研时，我常被 PDF 山包围：一篇论文动辄三四十页，GitHub Trending 每天刷出几十篇新 repo，公司内网盘还躺着去年没读完的 200 份材料。传统做法无非三种：

人肉速读：一眼扫摘要，再翻结论，细节靠搜索关键词——漏掉关键公式是常态。
翻译+收藏：先机器翻译，再扔印象笔记，结果“收藏 3000，回看 3 篇”。
组会分享：靠同事口述，信息二传手，失真率 30% 起步。

痛点总结：时间碎片化、信息过载、二次检索成本高。于是我把目光投向 ChatGPT，让它当“第二大脑”，把文献先嚼一遍，再喂给我浓缩后的“营养液”。

2. 技术选型：为什么选 ChatGPT 而不是其他

市面上能读长文本的模型不少，我横向对比了四款：

ChatGPT（gpt-3.5-turbo-16k）：上下文 16k token，支持函数调用，生态成熟，价格 0.002$/1k token。
Claude 2：100k token 窗口，长文友好，但国内网络延迟高，速率限制 4 QPM。
Gemini Pro：免费额度大，可读 60k token，中文指令遵循略弱，API 仍在 Preview。
自研 7B 开源模型：可控可离网，但需 GPU，推理 4k token 就占 16G 显存，成本倒挂。

结论：ChatGPT 在“长度-速度-价格-稳定”四角平衡里得分最高，且我已深度使用 OpenAI 全家桶，于是直接锁定。

3. 核心实现：三步把 ChatGPT 接进工作流

整体链路：PDF → 纯文本 → 切片 → 并发提问 → 结构化 JSON → 缓存 → Markdown 报告。

3.1 认证与环境

把 API Key 放在环境变量，绝不硬编码：

export OPENAI_API_KEY="sk-xxx"

代码里用openai.api_key = os.getenv("OPENAI_API_KEY")，方便 CI/CD 切换。

3.2 请求封装

官方 SDK 已支持ChatCompletion，我额外加了两层：

重试层：指数退避 3 次，防止偶发 502。
日志层：记录输入 token、输出 token、耗时，方便月底对账单。

核心调用函数：

def ask_once(messages, model="gpt-3.5-turbo-16k", temperature=0.2): for attempt in range(1, 4): try: rsp = openai.ChatCompletion.create( model=model, messages=messages, temperature=temperature, timeout=30 ) return rsp.choices[0].message.content, rsp.usage except Exception as e: logger.warning(f"attempt {attempt} failed: {e}") time.sleep(2 ** attempt) raise RuntimeError("OpenAI API still down after retries")

3.3 提示词模板

让模型同时扮演“速读员+审稿人+代码审查者”，我设计了三段式提示：

Role：你是计算机领域资深工程师，熟悉分布式系统。
Task：用中文总结下面论文，提取 1.研究背景 2.核心方法 3.实验结论 4.可落地的代码启发。
Format：严格 JSON，字段名用英文，不要多余解释。

把全文塞进{"role": "user", "content": prompt + text}，一次完成“理解+总结+格式化”。

4. 代码示例：端到端最小可运行 Demo

下面脚本把单篇 PDF 转成可读的 Markdown 摘要，30 行搞定：

import os, fitz, openai, json, pathlib openai.api_key = os.getenv("OPENAI_API_KEY") def pdf2text(path: str) -> str: doc = fitz.open(path) return "\n".join(page.get_text() for page in doc) def build_messages(text: str) -> list: sys = "你是计算机领域资深工程师，请用中文总结并输出 JSON。" user = f"{sys}\n\n{text[:12_000]}" # 保守截断 return [{"role": "user", "content": user}] def summarize(pdf_path: str, out_dir: str): text = pdf2text(pdf_path) msg = build_messages(text) answer, usage = ask_once(msg) out_file = pathlib.Path(out_dir) / (pathlib.Path(pdf_path).stem + ".md") out_file.write_text(f"# 自动摘要\n\n```json\n{answer}\n```\n", encoding="utf8") print("done", usage) if __name__ == "__main__": summarize("example.pdf", "output")

跑通后，只需python sum.py，即可得到example.md，直接贴进 Confluence。

5. 性能优化：让 1000 篇论文一夜读完

5.1 并发控制

OpenAI 默认 3 RPM/60k TPM，我按 80% 水位做限流：

使用asyncio+aiohttp把请求改为异步。
asyncio.Semaphore(15)控制并发，RPM 不超 3×15=45，留 50% 缓冲。
加入backoff库，自动按Retry-After头部等待。

5.2 缓存策略

论文 MD5 做 key，Redis 存“已读”结果，TTL 30 天：

import hashlib, redis, json r = redis.Redis(host="localhost", decode_responses=True) def cached_summarize(pdf_path): md5 = hashlib.md5(open(pdf_path,"rb").read()).hexdigest() if (hit := r.get(md5)): return json.loads(hit) text = pdf2text(pdf_path) answer, usage = ask_once(build_messages(text)) r.setex(md5, 30*86400, json.dumps({"answer": answer, "usage": usage._asdict()})) return answer

实测缓存命中率 70%，直接把成本砍到原来的三分之一。