1. 项目概述：基于JSON模板的LLM信息提取系统
在当今企业级AI应用场景中，信息提取任务往往面临"需求多变、领域广泛"的核心痛点。以我参与过的金融合规项目为例，团队曾同时处理合同审核、财报分析和客户投诉分类等12种不同类型的文档处理需求。传统做法是为每个场景单独开发定制化模型和提示词，导致系统维护成本呈指数级增长。
这套基于JSON模板的可插拔系统，本质上是通过"结构化描述+动态Prompt生成"的技术路线，将业务规则定义权交还给领域专家。其核心创新点在于：
- 配置驱动：业务人员通过JSON文件定义提取规则，无需接触代码
- 模型无关：支持任意支持结构化输出的LLM（GPT-4、Claude、Gemini等）
- 两阶段处理：先定位关键段落再精确提取，解决长文档处理难题
关键提示：系统特别适合处理法律合同、医疗记录、财务报告等具有明确结构的专业文档，实测在保险理赔单处理场景中，相比传统方法减少70%的定制开发工作量
2. 核心设计解析
2.1 元数据驱动架构
系统的核心在于将业务逻辑抽象为三类元数据：
Purpose：定义该模板的用途和目标
{ "purpose": "从采购合同中提取付款条款关键信息", "scope": "识别付款方式、账期、违约金比例等字段" }Key Points：列举需要关注的具体要素
"key_points": [ "付款方式（电汇/信用证/承兑汇票）", "账期（如：货到30日内）", "分期付款的具体比例和时间节点" ]Examples：包含正负样本的教学案例
"examples": { "positive": "买方应在货物验收合格后15个工作日内支付90%货款", "negative": "付款时间为货到后（未明确具体天数）" }
2.2 动态Prompt生成机制
Prompt引擎通过以下步骤实现动态组装：
上下文构建：将purpose转换为任务背景描述
def build_context(purpose): return f"""你是一名专业的{domain}分析师，请根据以下要求执行任务： {purpose}。请特别注意：{key_points}"""指令生成：根据key_points生成具体操作指令
def generate_instructions(key_points): points_str = "\n".join([f"- {point}" for point in key_points]) return f"请逐项检查以下要素：\n{points_str}"格式约束：注入JSON Schema确保输出结构
schema = { "type": "object", "properties": { "payment_method": {"type": "string"}, "payment_terms": {"type": "string"} } }
3. 关键技术实现
3.1 结构化输出控制
我们采用Pydantic模型强制数据规范：
from pydantic import BaseModel, Field class PaymentTerm(BaseModel): clause_text: str = Field(description="原文中具体的条款内容") days: int = Field(description="约定的付款天数") percentage: float = Field(description="付款比例", ge=0, le=100) class ContractAnalysis(BaseModel): contract_id: str payment_terms: List[PaymentTerm] risk_flags: List[str]实测表明，结构化输出可使格式错误率从传统方法的35%降至2%以下。关键在于：
- 为每个字段添加详细的description
- 使用类型约束（如ge/le限制数值范围）
- 设置required字段确保完整性
3.2 两阶段处理流程
阶段一：文档定位
def locate_relevant_sections(doc_text, section_types): prompt = f"""请识别文档中与以下类型相关的内容： {section_types} 返回格式：{{"section_type": "text"}}""" return llm_call(prompt)阶段二：精确提取
def extract_from_section(section_text, template): prompt = template.render(section_text) return validate_output(llm_call(prompt))避坑指南：长文档处理时建议设置max_tokens限制，避免上下文截断。我们采用512token的滑动窗口，重叠率设为15%
3.3 动态Few-shot学习
系统支持运行时加载案例库：
def inject_examples(template, case_db): examples = case_db.query( domain=template.domain, label=["positive", "negative"] ) template.examples = examples return template典型案例注入效果：
{ "example_type": "negative", "text": "甲方可随时调整付款时间", "reason": "条款未明确具体时限，存在资金风险" }4. 系统架构详解
4.1 组件交互流程
graph TD A[业务人员] -->|上传| B(JSON模板库) B --> C[模板解析引擎] C --> D[Prompt组装器] D --> E[LLM网关] E --> F[结果验证器] F --> G[下游系统]4.2 核心模块实现
模板注册中心
class TemplateRegistry: def __init__(self): self.templates = {} def add_template(self, domain: str, template: dict): validate_schema(template) # 校验JSON结构 self.templates[domain] = template def get_template(self, domain: str): return deepcopy(self.templates.get(domain))输出验证器
def validate_output(raw_output: str, schema: dict): try: data = json.loads(raw_output) validate(instance=data, schema=schema) return data except Exception as e: log_error(f"Validation failed: {str(e)}") return trigger_retry_mechanism()5. 实战优化技巧
5.1 模板设计原则
原子性：每个模板只处理单一文档类型
- 反例：同时处理采购合同和销售合同
- 正例：分别创建purchase_contract.json和sales_contract.json
渐进式复杂：从简单字段开始迭代
// v1.0 基础字段 { "fields": ["party_a", "party_b"] } // v2.0 增加逻辑校验 { "validation": { "party_a": "必须是中国大陆注册公司" } }
5.2 性能优化方案
缓存策略：
@lru_cache(maxsize=100) def get_template(domain: str): return registry.get_template(domain)批量处理：
def batch_process(docs, template): with ThreadPoolExecutor() as executor: results = list(executor.map( lambda doc: extract_from_section(doc, template), docs )) return results
5.3 常见问题排查
字段缺失：
- 检查模板中的required字段定义
- 确认LLM版本支持function calling
格式错误：
- 验证JSON Schema是否包含所有可能值
- 在description中添加明确示例
语义偏差：
- 增加negative examples数量
- 在purpose中强化业务约束
6. 扩展应用场景
6.1 医疗病历结构化
{ "domain": "medical_records", "fields": { "diagnosis": { "description": "ICD-10标准诊断代码", "examples": ["J18.9 肺炎"] }, "medications": { "type": "array", "items": { "name": "药品通用名", "dosage": "给药剂量" } } } }6.2 法律条款比对
def compare_clauses(template, doc_a, doc_b): extracted_a = extract_from_section(doc_a, template) extracted_b = extract_from_section(doc_b, template) return DeepDiff(extracted_a, extracted_b)实际部署时，我们在合同管理系统集成了该功能，将律师的条款审查时间缩短了60%。
