简介:这份PDF论文面向知识工作者、生成式AI使用者及人机交互研究者,讨论ChatGPT等工具进入工作流程后对批判性思维实践与认知投入的影响。包内共1个PDF文件,约995KB,收录CHI 2025会议论文全文,包含摘要、调查方法、量化结果、质性发现与设计启示,便于按章节查阅论证和数据。研究基于319名知识工作者的调查及936个第一手使用案例,考察批判性思维何时被触发、生成式AI如何改变投入努力:对GenAI信心越高,批判性思维行为越少;任务相关自信越高,更可能展开批判性思考。质性部分还归纳出信息核验、回答整合与任务管理等变化,并讨论知识工作场景中的设计挑战与机会。已有631人学习,适合关注AI认知影响、评估工具风险与设计辅助流程的读者参考。
1. 一份把“AI 让人变懒”写成可测量问题的调查报告
第一次翻到这份 PDF,我以为是那种读完只能点头的综述,结果打开目录发现它干了一件很硬的事:把“批判性思维还剩下多少”拆成了两个可以回答的问题——知识工作者在什么时候、以什么方式觉得自己在动脑,以及生成式 AI 让这份动脑的力气变大还是变小。它是一份 2025 年在 CHI 上发表的调查研究,样本是 319 名知识工作者,收集了 936 个第一手使用案例,全篇 23 页,结构完整,还带着 Bloom 认知层级量表、问卷设计和编码流程。适合谁?做 AI 产品交互的、做团队 AI 使用规范的、写 AI 伦理或人因评估报告的人,以及想给“提示词工程之后人还剩下什么”找一个实证落点的一线工程师。免费下载渠道能不能拿到完整版、能不能直接引用其中数据,是这份资源最实际的落地门槛,后面几章会把它一层层拆开讲。
2. 先看清这份调查的骨架:问题、工具与数据口径
2.1 两个研究问题对应两个可量化的构念
这份材料最值得先啃的不是结论,而是它的测量设计。作者把“批判性思维”这个容易变成空话的词,落到了 Bloom 认知分类的六个层级上:知识、理解、应用、分析、综合、评价。每一个层级对应一个五级自评题项,六个题项组成一张量表,受访者针对自己举出的具体任务逐项打分。这比“你觉得 AI 让你更爱思考了吗”这种一句话问卷扎实得多,因为它逼着人把“综合”和“评价”拆开。
围绕这个量表,两个研究问题分别指向不同变量。第一个问题问的是“什么时候、以什么方式发生批判性思维”,答案是定性的:受访者描述自己在什么节点停下来检查、为什么检查。第二个问题问的是“认知努力是增加还是减少”,答案是定量的:任务层面和用户层面各有一组因素,其中“对任务的自信程度”和“对 AI 学习的信心”都能预测批判性思维是否被触发,以及触发时费不费劲。
这里有一个反直觉的落点值得提前说:对 AI 越有信心,批判性思维反而越少;而对自己越有信心,批判性思维越多。这组方向相反的预测关系,是整份调查最有复用价值的一条结论,做 AI 工具评估表时可以直接拿来做自变量。
提示:论文用的是自评量表而非行为日志,所以读它的数据显示时要始终记住“这是受访者感知到的努力”,不是生理或时间层面的真实认知负荷。
2.2 从 936 个案例里提炼出的三种思维位移
定性部分把使用生成式 AI 时的批判性思维归纳成三种具体动作:信息核验、回答整合、任务看护。信息核验是查 AI 给的东西对不对;回答整合是把 AI 的输出拼进自己的工作流;任务看护是盯着 AI 别跑偏、别漏掉约束条件。这三种动作共同说明一件事:人的工作重心从“亲手做”滑向了“审别人做的”。
这背后是作者引用的一个老概念——自动化的讽刺。把常规任务机械化,把异常处理留给人类,看起来是减负,实际上是剥夺了人反复练习判断力的日常机会。等真正的异常出现时,人的判断力已经萎缩了。这份调查的价值在于,它把这个理论判断搬到了真实的知识工作场景里,并且给出了跨职业、跨任务类型的证据,而不只是实验室里的小样本对照。
哪些任务最危险?材料里点得很明白:常规的、低风险的任务。这类任务里用户往往直接采信 AI 结果,批判性投入降到最低,而恰恰是这类任务占据了知识工作的大部分时间。反过来,需要高准确率的任务里,受访者会主动拿外部信源和自己的专业判断去核对输出,这一层被保住了。
2.3 数据口径与可复用的问卷片段
如果打算把这套方法迁移到自己的团队评估里,最该抄的是它的问卷结构。它没有用一长串抽象题干,而是先让受访者回忆一个具体任务,再针对这个任务逐层打分。伪代码如下,逻辑是“先锚定事件,再评级,最后收集信心变量”:
# 复刻该调查的问卷结构,仅示意字段组织,不含原问卷原文 survey_item = { "task_anchor": "请描述最近一次用生成式AI完成的具体工作任务", # 先锚定真实事件 "bloom_ratings": { # 六个层级各一个五级题项 "knowledge": None, "comprehension": None, "application": None, "analysis": None, "synthesis": None, "evaluation": None, }, "perceived_effort": None, # 感知认知努力,五级 "confidence_in_ai": None, # 对AI能力的信心,五级 "confidence_in_self": None, # 对自身专业判断的信心,五级 "verification_behavior": None, # 是否做了外部信源核对 }这段结构的三个参数决定了整份数据能不能用。task_anchor决定回忆质量,题项如果写成“通常你会不会检查 AI 输出”,受访者会答成自我形象而不是真实行为。bloom_ratings六个键不能省,缺了“评价”这一层,批判性思维就被降维成“理解”。confidence_in_ai和confidence_in_self必须分开测,合并成一个“信心”字段会直接抹掉那组方向相反的预测关系,结论就废了。
样本结构上,319 人覆盖了多个职业方向,936 个案例意味着平均每人贡献近三个任务实例,这个比例保证了定性编码有足够素材去归纳那三种思维位移。做二次分析时,案例数比分项均值更有价值,因为每个案例都自带任务类型标签,可以按“常规/高风险”“创作/核验”重新切分。
3. 把这套调查方法用到自己的团队:从量表到分析的五步
3.1 第一步:确定评估对象,选任务而不是选人
直接照搬“你觉得 AI 影响你思考吗”是翻车的开端。这份调查的做法是先收集任务实例,再在任务粒度上测量,因为同一个人在不同任务上的批判性投入差异极大。迁移到团队里,正确做法是让每位成员提交 2 到 3 个最近一周内的真实 AI 协作任务,标注任务类型、风险等级、是否需要对外交付。
这一步的产出是一张任务清单,字段至少包括:任务描述、使用工具、AI 参与程度、最终是否经过人工修改。任务清单是后续所有分析的地基,如果这一步用“我平时用 AI 写东西”这种模糊描述填充,后面打的分全是噪音。
注意:任务锚定要限定时间窗,一周内最佳。时间越远,受访者越容易往“典型印象”上靠,数据就退化成态度调查。
3.2 第三步:用六层量表打分,重点看评价层
打分环节最容易走过场。六层里,前三层(知识、理解、应用)几乎人人打高分,因为用 AI 查资料、理解概念、套用模板确实轻松;真正有区分度的是后三层,尤其是“评价”——你是否基于自己的标准判断过 AI 输出够不够格。实操里建议给“评价”单独加一个追问:你判断它不够格时,依据是什么?
# 计算单个任务的批判性思维加权分,权重按层级递增 weights = {"knowledge": 1, "comprehension": 1, "application": 2, "analysis": 3, "synthesis": 4, "evaluation": 5} def weighted_ct_score(ratings: dict) -> float: total = sum(weights[k] * v for k, v in ratings.items() if v is not None) max_possible = sum(weights.values()) * 5 # 五级量表上限 return round(total / max_possible, 3) # 归一化到 0~1权重不是原论文给的,是我按“越高层越代表批判性”这个前提自己设的,用之前要跟团队说明白。max_possible固定用 5 乘权重和,保证不同任务的分数可比。如果某个层级受访者拒答,函数里用if v is not None跳过而不是补零,补零会把拒答误判成“完全没有该层级思维”,这是二次分析里最常见的脏数据处理错误。
3.3 第三步:把两种信心拆开测,别合并
这一步直接决定能不能复现出原调查最有意思的那条结论。问卷里必须有两个独立题项,一个问“你有多信任这个 AI 工具给出的结果”,另一个问“你有多信任自己在这个领域的判断”。两个都用五级。
分析时把两个变量同时放进模型,看它们对加权分的系数方向。原调查的发现是:对 AI 的信心越高,批判性投入越低;对自己的信心越高,批判性投入越高,而且在评估和应用 AI 输出时尤为明显。如果团队数据跑出来两个系数同号,大概率是题项表述让人把两者理解成了同一件事,需要回头改题干,比如把“信任自己”改成“当 AI 与你的判断冲突时,你通常坚持哪一个”。
3.4 第四步:按任务类型分层,找出“直接采信区”
有了分数和两个信心变量,接下来不是看整体均值,而是切分。按任务的风险等级和重复程度做二维分层,会看到一个很稳定的模式:低风险、高重复的任务落在低分区,受访者几乎不核验;高风险、低重复的任务落在高分区,核验动作密集。
这张分层表是整份分析里最能影响决策的产物。它告诉团队,风险不在于“大家用不用 AI”,而在于“哪一类任务上大家已经不再看第二眼”。我在给一个内容团队做类似评估时,把他们的周报撰写归到了低风险高重复格,结果那一格的核验率接近零,而周报恰恰是要给上级看的。这就是原调查说的“机制化收敛”在组织内的具体样子——同一任务,有 AI 和没 AI 的人产出的东西越来越像,因为大家都不再带自己的判断进去。
3.5 第五步:把定性素材单独编码,别混进数字里
剩下那 936 个案例的处理方式值得单独学。作者没有把它们折算成分数,而是做主题编码,最后收敛成信息核验、回答整合、任务看护三类动作。团队实操里对应的是:把所有任务描述按“用户做了什么动作”打标签,而不是按“用户觉得如何”打标签。
# 用简单规则先做一遍粗筛,再人工复核,别指望自动分类一步到位 grep -iE "核对|查了|对比|验证|来源" cases/*.txt > verify_hits.txt # 核验类线索 grep -iE "改写|拼接|整合|润色" cases/*.txt > integrate_hits.txt # 整合类线索 grep -iE "盯着|反复|重试|跑偏|约束" cases/*.txt > steward_hits.txt # 看护类线索关键词粗筛只是省人工,verify_hits.txt里会混进大量“我核对了一下格式”这类低价值命中,必须人工过一遍。三类命中率的相对比例比绝对数量有用:如果看护类几乎为零,说明团队里没人盯着 AI 是否遵守约束,这是流程漏洞而不是数据问题。
4. 避坑与常见问题:读这份调查最容易踩的五个坑
4.1 把自评数据当成客观认知负荷
现象:读完摘要就下结论“生成式 AI 让人脑力下降 30%”。
原因:全篇测的是受访者自己报告的感知努力,没有任何生理指标或任务耗时数据支撑百分比。把感知当客观,等于把问卷当仪器。
解决:引用结论时严格带上“自报”二字,把它定位成“用户主观感受的变化”,需要客观证据时另找行为日志或对照实验。这份材料的可信度恰恰来自它对自身局限的坦诚,读者不该替它夸大。
4.2 忽略“对自己有信心”这条反向线
现象:只记住“对 AI 越有信心越不动脑”,于是得出结论说要用 AI 就得少信任它。
原因:漏掉了另一半——对自己判断越有信心的人,批判性投入反而越高。这两条线合在一起才是完整结论:真正的问题不是信任工具,而是失去了对自己判断的信任。
解决:做团队干预时,重点不该是压低大家对 AI 的信任,而是抬高大家对自身判断的信心,比如在流程里显式要求“先写下你的预期答案,再看 AI 输出”。这个顺序调换的成本极低,效果在调查数据里是有支撑的。
4.3 拿它的量表直接当绩效工具
现象:把六层打分表改成员工考核项,按分数排名。
原因:自评量表在设计上服务于研究,题项依赖受访者的内省能力,一旦与考核挂钩,打分立刻失真,全员往高分或安全值上靠。
解决:量表只用于团队层面的流程诊断,不落到个人。想评估个人,用可观察的行为替代,比如“高风险任务的输出是否附带了外部信源核对记录”,这类指标不依赖自评。
4.4 把“减少认知努力”一律当成坏事
现象:看到认知努力下降就判定是负面结果。
原因:材料本身没有做这个价值判断。对低风险的常规任务,减少投入是合理的经济行为;风险出现在高价值任务也被同样对待的时候。
解决:按任务价值分层再下判断。判断标准写成一句话:这个任务的错误代价有多大,如果代价高而核验动作也高,努力下降就不必紧张;代价高而核验低,那才是要修的地方。
4.5 只读结论不读方法,抄不到可复用的东西
现象:读完只记得三句结论,回去还是不知道怎么做评估。
原因:这份材料的真正资产是问卷结构和编码流程,结论只是它的产物。结论会过时,方法可以反复用。
解决:至少精读方法章节里的题项设计和样本描述部分,把任务锚定、六层评级、双信心这三个设计点抄进自己的评估表,再按团队场景改题干措辞。抄方法比抄结论的保质期长得多。
5. 进阶用法:把“审 AI”变成可训练的动作
这份调查给的不是结论而是一张诊断图,真正拿它干活的方式,是把它归纳的三种思维位移反过来做成训练项。信息核验可以流程化:凡是进入对外交付物的 AI 输出,必须附一条外部信源链接或一条内部数据出处,做不到就退回重做。回答整合可以结构化:要求使用者在拼接 AI 内容前,先用一句话写出自己要的答案骨架,AI 输出只允许往骨架里填,不允许改骨架。任务看护最难自动化,但可以设检查点,比如长文档生成到一半强制人工确认约束条件是否仍然成立。
三类动作里,我个人最看重任务看护,因为它在调查数据里最容易被忽略,也最像那种“平时不练、出事就慌”的能力。一个可操作的做法是给每个 AI 协作任务设一个“异常假设”:开工前先写下“如果 AI 在这件事上出错,最可能错在哪”,任务结束后回看这个假设命中没有。这个动作的成本是两分钟,但它把被动审稿变成了主动预判,跟调查里说的“对自己有信心的人投入更多”是同一条逻辑——你在训练自己的判断力,而不是训练对工具的依赖。
判断这套方法有没有起效,不要看满意度,看两个可观测指标:高风险任务的外部核验记录覆盖率,以及“先写预期再看输出”的执行率。两个指标都低,说明流程还停在纸面;覆盖率上去了但核验记录全是空的套话,说明大家学会了应付检查,这比不做更糟。我在一个项目里吃过这个亏,指标做得很漂亮,抽查发现核验链接指向的全是首页而不是具体条目,从此以后我每次设计这类检查项,都强制要求可定位到具体段落或具体数据行,宁可增加一点录入成本,也不接受“看起来做了”。
最后一个技巧跟这份材料本身有关:它是带开放许可的会议论文,正式引用要走 DOI,别拿二手转载的截图当出处。做内部报告时,把“自报感知”“319 人样本”“936 个案例”这三个限定词跟结论绑在一起写,既能防住别人追问,也能防住自己越界。从那以后我每次引用这类调查研究,都先把样本量、测量方式和时间窗三件事写在最前面,再写结论,这个习惯让我少犯了很多次把主观感受说成客观规律的错。希望帮到你。
本文还有配套的精品资源,点击获取