使用 Pydantic 与 JSON Schema 验证 JSONL

在处理大规模结构化数据时，尤其是以 JSON Lines（.jsonl）格式存储的数据，确保每条记录符合预期结构是数据质量保障的关键一步。本文将围绕一个典型的复杂嵌套 JSON 结构，详细介绍如何使用 Python 中两种主流的数据验证工具——Pydantic 和 JSON Schema——来实现高效、可靠的校验，并对二者进行系统性对比，帮助开发者根据实际需求做出合理选择。

一、问题背景：复杂的嵌套 JSON 结构

考虑以下代表个人简历信息的 JSON 对象：

{"person":{"name":"张伟","age":30,"gender":"男","occupation":"软件工程师","contact":{"email":"[e-mail]","phone":"123-456-7890"},"address":{"street":"幸福路123号","city":"上海市","state":"上海市","zip":"200000"},"education":[{"degree":"学士","major":"计算机科学","university":"北京大学","year":2015}],"work_experience":[{"company":"ABC科技有限公司","position":"软件开发工程师","duration":"2018-2020","responsibilities":["参与多个项目的软件开发工作","负责后端服务的设计和实现"]}],"skills":["Java","Python","数据库设计"],"interests":["阅读","旅行","编程"]}}

该结构包含多层嵌套对象、非空数组、以及对数组元素内部结构的约束。我们的目标是：验证 .jsonl 文件中的每一行是否严格符合此结构，包括字段存在性、类型正确性、以及业务规则（如教育经历至少有一条）。

二、方案一：使用 Pydantic（v2）

Pydantic 是一个基于 Python 类型注解的数据验证和设置管理库，特别适合在 Python 原生环境中定义数据模型。

1. 定义嵌套模型

frompydanticimportBaseModel,FieldclassContact(BaseModel):email:strphone:strclassAddress(BaseModel):street:strcity:strstate:strzip:strclassEducationItem(BaseModel):degree:strmajor:struniversity:stryear:intclass