文章目录
- D30 | 数据标注平台：从 0 搭一个企业级 AI 训练数据生产系统
- 写在前面
- 一、为什么需要数据标注平台
- 1.1 数据标注的 3 大痛点
- 1.2 标注平台的 5 大核心模块
- 1.3 选型参考
- 二、标注任务管理：分配 / 进度 / 状态
- 2.1 任务生命周期
- 2.2 任务管理实现
- 2.3 任务分配策略
- 三、标注界面：3 种核心类型
- 3.1 文本分类标注
- 3.2 图片框选标注
- 3.3 对话评分标注
- 3.4 UI 设计要点
- 四、质量保证：双盲 + 一致性 + 黄金标准
- 4.1 双盲标注
- 4.2 黄金标准检查
- 4.3 Cohen's Kappa 一致性
- 五、AI 辅助标注：预标注 + 主动学习
- 5.1 LLM 预标注
- 5.2 主动学习
- 六、数据导出：训练 / 评测 / 反馈 3 套数据流
- 6.1 3 套数据流设计
- 6.2 数据流闭环
- 七、收官：S2 模块 2 总结 + 下阶段预告
- 7.1 S2 模块 2 实战项目复盘
- 7.2 数据标注平台 Checklist
- 7.3 团队视角：3 个常见问题
- 7.4 S3 预告：模型训练与微调
- 写在最后
- Key Takeaways
- 思考题
- S2 收官总结
D30 | 数据标注平台：从 0 搭一个企业级 AI 训练数据生产系统
系列：《60 天 AI 全栈转型：传统开发者的大模型工程师之路》（S2模块 2 · AI 编程实战项目 ⑦ ·S2 模块 2 收官）
作者：刘一说（haohaizi_liu）| 15 年开发管理经验
配套代码：https://gitcode.com/road-emblem/60-days-ai-stack
写在前面
D24-D29 我们搭了 6 个 AI 实战项目：FastAPI 全栈应用、多模型路由、RAG 评估、多 Agent 协作、向量库后台、AI 客服。
但所有这些系统都有一个共同的需求：高质量的训练数据。
- RAG 评估需要评测集（D26）
- 多模型路由需要标注数据判断哪个更好（D25）
- AI 客服需要差评标注持续优化（D29）
- 微调需要指令数据（S3 会讲）
没有数据，再多就没有"生产"。这一篇我们搭一个数据标注平台——让标注这件事可量化、可协作、可追溯。
