1. 这个副业到底在做什么：AI质检师的真实工作画像
先泼一盆冷水：市面上把“AI质检师”包装成“零门槛、躺赚、月入8000+”的帖子，十篇里有九篇是卖课的。但抛开这些噪音，这个方向本身是真实存在的，而且需求确实在涨。我过去大半年陆陆续续接了十几个AI质量检测相关的单子，从给创业公司做对话机器人的回复质量评估，到帮一个做电商客服系统的团队搭建自动化评测流水线，踩了不少坑，也摸出了一些门道。这篇文章就把我实际在做的事情拆开讲清楚，包括用什么工具、怎么报价、怎么找客户、怎么交付，以及哪些坑千万别踩。
所谓AI质检师，说白了就是替别人检查AI系统输出质量的人。大模型火了之后，大量公司往产品里塞AI功能，但塞进去之后效果到底怎么样、有没有胡说八道、有没有安全隐患、回答风格合不合品牌调性，这些事开发团队往往没精力管，于是就催生了一个外包需求：找人帮他们系统性地评估AI的输出质量。这个活儿介于测试工程师和产品体验官之间，既需要一点技术底子（至少能看懂API文档、会写简单的Python脚本），又需要不错的文字判断力和逻辑思维。
它解决的核心问题是：AI系统的输出是概率性的，同一个问题问十遍可能得到十个不同的回答，传统的“输入A必须输出B”的测试方法完全失效。你需要用一套新的方法论来判断“这个回答算不算好”。这套方法论就是AI质检师的核心竞争力。
适合谁来学？如果你会一点Python基础语法，能看懂JSON，对AI产品有日常使用经验，同时文字表达不差，那这个方向对你来说门槛并不高。纯小白也不是不能做，但前期需要花时间补Python和测试理论的基础，否则连自动化评测脚本都跑不起来，只能做纯人工评估，单价上不去。
2. 接单之前先搞清楚：AI质检的三种业务形态和对应报价
很多人一上来就问“怎么接单”，但连自己能接什么类型的单都没想明白。我按实际接到的需求，把AI质检拆成三种形态，每种的技术门槛、交付物和报价逻辑完全不同。
2.1 纯人工评估：门槛最低，单价也最低
这是最基础的形态。客户给你一批AI生成的回答（通常几十到几百条），你逐条打分，标注问题类型，最后出一份评估报告。比如一个做法律咨询机器人的客户，给了我200条用户提问和对应的AI回答，让我判断每条回答是否存在事实错误、是否遗漏关键法律要点、语气是否过于绝对。
这种单子的报价通常在500到2000元之间，取决于数据量和评估维度的复杂度。优点是上手快，不需要写代码；缺点是纯靠时间换钱，天花板很低。我做过一单1500元的，花了大概两天时间，时薪算下来并不高。
2.2 半自动化评估：需要写脚本，单价翻倍
客户给你API接口或者批量数据文件，你需要写Python脚本调用模型、批量生成回答、再用规则或辅助模型进行初步筛选，最后人工复核可疑项。这种形态的核心价值在于“用脚本把人工量降下来”。
比如我帮一个做教育产品的团队评估他们的作文批改AI，他们提供了500篇学生作文和AI的批改结果。我写了一个脚本，先用规则检测批改结果中是否存在明显的格式错误和遗漏项，把500条压缩到80条需要人工细看的，然后针对这80条做深度评估。整个项目报价4000元，实际耗时三天左右。
2.3 评测体系搭建：技术含量最高，报价也最高
这是最值钱的一种。客户不是让你评估一批数据，而是让你帮他们建立一套可持续运行的评测流程和标准。包括：定义评估维度、设计测试用例集、搭建自动化评测流水线、输出评估报告模板。这种单子通常来自有一定规模的AI产品团队，他们需要的是“渔”而不是“鱼”。
我接过一个单子，帮一个做智能客服的团队搭建评测体系，报价12000元，分三阶段交付：第一周定义评估维度和评分标准，第二周搭建基于deepeval框架的自动化评测脚本，第三周跑通全流程并输出操作文档。这种单子对综合能力要求最高，但也是最能建立长期合作关系的。
| 业务形态 | 技术门槛 | 典型报价 | 交付周期 | 适合人群 |
|---|---|---|---|---|
| 纯人工评估 | 低 | 500-2000元 | 1-3天 | 新手练手 |
| 半自动化评估 | 中 | 2000-6000元 | 3-7天 | 有Python基础 |
| 评测体系搭建 | 高 | 8000-20000元 | 2-4周 | 有测试经验+AI理解 |
注意：报价不是固定的，同一个类型的单子，客户预算、紧急程度、你的议价能力都会影响最终价格。上面给的是我实际成交的价格区间，仅供参考。
3. 核心工具链：从deepeval到property-based testing的实战选型
做AI质检不能只靠肉眼，工具选对了效率能差出好几倍。我目前的主力工具链分三层：评测框架、测试方法论、辅助脚本。
3.1 deepeval框架：自动化评测的主力工具
deepeval是我目前用得最多的评测框架，它的核心思路是把AI输出的评估拆成多个可量化的指标，比如相关性、忠实度、答案完整性等，然后通过调用另一个模型来自动打分。安装很简单：
pip install deepeval基本用法是定义一个测试用例，指定输入、实际输出和预期输出，然后选择评估指标：
from deepeval import evaluate from deepeval.metrics import AnswerRelevancyMetric from deepeval.test_case import LLMTestCase test_case = LLMTestCase( input="你们的退货政策是什么？", actual_output="我们支持7天无理由退货，但需要商品完好。", expected_output="支持7天无理由退货，商品需保持完好。" ) metric = AnswerRelevancyMetric(threshold=0.7) evaluate([test_case], [metric])这个框架的好处是标准化程度高，客户看到你用的是成熟框架，信任度会高很多。但要注意，deepeval的自动打分本身也是用模型做的，存在误判可能，所以关键项目一定要人工复核。
3.2 property-based testing：用性质测试思路覆盖边界情况
传统的单元测试是“给定输入X，期望输出Y”，但AI的输出是概率性的，你没法精确断言。性质测试的思路是：不检查具体输出是什么，而是检查输出是否满足某些性质。比如对于翻译AI，你可以断言“输出语言必须是目标语言”“输出长度不能超过输入的3倍”“输出不能包含原文中没有的数字”。
Python的hypothesis库是做性质测试的利器：
from hypothesis import given, strategies as st @given(st.text(min_size=1, max_size=500)) def test_translation_output_properties(input_text): output = call_translation_api(input_text) assert len(output) <= len(input_text) * 3 assert output.strip() != ""这种测试方法特别适合在评测体系搭建阶段使用，能快速发现AI系统在边界情况下的异常行为。我试过用这个方法帮一个客户发现了他们的摘要AI在处理超长文本时会直接截断而不是生成摘要的问题。
3.3 辅助脚本：数据清洗和结果可视化
实际项目中，大量时间花在数据清洗和结果整理上。我通常会写几个通用脚本：一个用来从各种格式（CSV、JSON、Excel）读取数据并统一成标准格式，一个用来把评测结果生成可视化报告，还有一个用来批量调用API并处理限流和重试。
import pandas as pd import time import requests def batch_evaluate(data_path, api_url, output_path): df = pd.read_csv(data_path) results = [] for idx, row in df.iterrows(): for attempt in range(3): try: resp = requests.post(api_url, json={"input": row["question"]}, timeout=30) results.append({"id": row["id"], "output": resp.json()["answer"]}) break except Exception as e: if attempt == 2: results.append({"id": row["id"], "output": f"ERROR: {e}"}) time.sleep(2 ** attempt) pd.DataFrame(results).to_csv(output_path, index=False)这个脚本看起来简单，但重试机制和超时处理是必须的，否则跑几百条数据中间挂一次就得重来。
4. 从零到第一单：实操流程和关键细节
知道了工具和业务形态，接下来讲怎么真正把第一单跑通。我按时间顺序拆解整个流程。
4.1 环境准备：Python和VSCode配置
如果你还没装Python，去官网下载最新稳定版，安装时务必勾选“Add Python to PATH”。装完之后在命令行输入python --version确认安装成功。编辑器我推荐VSCode，装好之后安装Python扩展，然后在设置里配置好解释器路径。如果你习惯用PyCharm也可以，但VSCode更轻量，启动快。
虚拟环境是必须的，别把所有包装到全局环境里：
python -m venv venv # Windows venv\Scripts\activate # Mac/Linux source venv/bin/activate pip install deepeval hypothesis pandas requests提示：deepeval依赖较多，安装过程中如果遇到版本冲突，优先保证deepeval能正常导入，其他包可以后续按需调整。
4.2 找客户的三个有效渠道
第一个渠道是技术社区。我在几个AI开发相关的社区里活跃，偶尔发一些评测相关的经验帖，陆陆续续有人私信问能不能帮忙做评测。这种渠道来的客户信任度最高，成交率也高。
第二个渠道是外包平台。国内外都有一些自由职业平台，搜索“AI evaluation”“LLM testing”之类的关键词，能找到不少需求。但竞争也激烈，前期需要低价甚至免费做一两个案例积累评价。
第三个渠道是直接联系。如果你知道某个产品用了AI功能但体验一般，可以直接找到他们的产品负责人或者技术负责人，发一封简短的邮件，附上你对他们AI输出的初步评估和改进建议。这种方式成功率不高，但一旦成功，单价往往很高。
4.3 交付物的标准结构
不管哪种类型的单子，交付物都应该包含这几个部分：评估方法论说明、原始数据和评分、问题分类统计、典型案例分析、改进建议。我通常会做成一个Markdown报告加一个Excel数据表，如果客户需要PPT版本也可以另外做。
评估方法论部分要写清楚你用了什么指标、每个指标的评分标准是什么、为什么选这些指标。这部分是体现你专业度的地方，不能省。
问题分类统计用表格呈现，比如：
| 问题类型 | 出现次数 | 占比 | 严重程度 |
|---|---|---|---|
| 事实错误 | 23 | 11.5% | 高 |
| 答非所问 | 15 | 7.5% | 高 |
| 语气不当 | 42 | 21% | 中 |
| 格式错误 | 8 | 4% | 低 |
典型案例分析挑3到5个最有代表性的问题，把输入、输出、你的判断理由都写清楚。改进建议要具体可操作，比如“建议在prompt中加入事实核查步骤”而不是“建议提升回答质量”。
5. 踩过的坑和避坑指南
这一行做久了，踩的坑比赚的钱还多。挑几个最有代表性的讲。
5.1 不要接“帮我看看AI行不行”这种模糊需求
我最早接过一个单子，客户就说“帮我评估一下我们的AI助手”，没有具体范围、没有评估维度、没有交付标准。结果我花了一周做了一份自认为很全面的报告，客户说“这不是我想要的”。后来我学乖了，接单前必须和客户确认三件事：评估范围是什么、评估维度有哪些、交付物长什么样。最好写成一页纸的需求确认书让客户签字。
5.2 自动评测指标不能全信
deepeval的自动打分很方便，但它的判断也是基于模型的，存在系统性偏差。我遇到过自动打分给一个明显答非所问的回答打了高分，原因是那个回答虽然不相关但语言流畅、格式工整。所以我的原则是：自动评测用来做初筛和规模化处理，最终结论必须有人工复核的环节。
5.3 数据安全和保密
AI质检经常能接触到客户的核心数据和未公开的产品信息。接单前一定要和客户签保密协议，数据用完及时删除，不要存在自己的电脑里。我一般会在项目结束后把原始数据打包加密发给客户，然后本地彻底删除。
5.4 报价别按时间算，按价值算
刚开始我按小时报价，结果遇到效率高的项目反而赚得少。后来改成按项目报价，同样的工作量，客户觉得值就成交，不值就拉倒。报价的时候把交付物拆细，让客户看到每一项的价值，而不是只看到一个总价。
6. 常见问题速查
Q：完全不会Python能做吗？可以做纯人工评估，但单价低、竞争大。建议至少学会基础语法和pandas的基本操作，能写简单的批处理脚本，这样能接的单子类型会多很多。
Q：需要什么AI框架的经验？deepeval是最常用的，建议优先掌握。另外了解LangChain的基本概念也有帮助，因为很多客户的AI系统是基于LangChain搭建的。
Q：怎么判断一个单子值不值得接？看三点：客户需求是否明确、预算是否合理、你是否有能力交付。三点缺一就别接，接了也是给自己找麻烦。
Q：评测报告写多长合适？取决于项目规模。小项目3到5页，大项目10到20页。重点是把问题说清楚、把建议给具体，不要为了凑篇幅写废话。
Q：怎么提升自己的竞争力？多积累不同行业的评测经验，形成自己的评估方法论。另外保持对AI领域新技术的关注，新的评测框架和工具出来要第一时间学习。
这个方向目前还在早期，需求增长很快，但供给也在增加。我的判断是，纯人工评估的单价会越来越低，但能搭建评测体系、能写自动化脚本的人会越来越值钱。如果你打算入行，建议直接瞄准半自动化和体系搭建这两个方向，前期可能要多花点时间学工具，但长期回报会好很多。
