期末复习走到第五篇，终于到了很多人既熟悉又陌生的行为主义。说熟悉，是因为讲到强化学习、智能体这些词大家都见过；说陌生，是因为真要让你空手写清楚"行为主义到底主张什么、和另外两派差在哪、考试会怎么考"，你会发现脑子里的知识点是散的。这篇我按期末备考的逻辑，把行为主义这条线从头捋到尾，该背的结论、该会的计算、该避的坑都放在里面，可以直接拿来对照复习。
先说好这篇的定位。它不追求把行为主义几十年的发展史全部倒出来，而是围绕考试最常出现的主干内容：三大学派对比、感知-行动回路、强化学习核心算法、进化计算与群体智能、高频题型和考前安排。无论是复习时间紧张想快速过一遍，还是已经刷过一遍题想查漏补缺，都可以用这篇做底稿。
1. 期末复习的起点：行为主义为什么总跟符号主义"打架"
1.1 行为主义的底层主张
行为主义这门课里也叫行动主义，核心观点一句话就能说清：智能不是事先把规则写进脑子里的，而是在不断跟环境交互、持续试错的过程中，通过调整自己的行为"长"出来的。你不去撞几次墙，就不会真正知道墙在哪。这个主张和"把知识编码好、推理出答案"的思路完全相反，所以它天然站在了符号主义的对立面。
符号主义当年做的是把世界抽象成符号和逻辑规则，比如"所有人会死，苏格拉底是人，所以苏格拉底会死"这种三段论，认为只要规则足够多、推理足够严密，机器就有了智能。行为主义不这么看。它认为真实世界的规则根本没法提前写全，环境是多变的，你只能从"感知当前状况、做出动作、得到反馈、修正下一步动作"这个闭环里获得智能。打个比方，符号主义像照着菜谱做菜，菜谱上每一步都写清楚了；行为主义像老厨师凭火候和尝味来判断，不断根据结果调整。这两派"打架"不是偶然，而是对智能本质的根本分歧。
期末复习阶段，别把这个分歧只看成一个送分题。它其实是整个行为主义模块的理解基石，后面所有内容——强化学习、进化计算、智能体设计——都是在"智能来自交互而非预定义"这个假设下展开的。你把这句话吃透了，后面看什么算法都能很快理解它为什么这么设计。
1.2 三大学派的分工与关联
除了行为和符号两派，还有联结主义，也就是神经网络那一派。联结主义认为智能来自大规模神经元连接和参数调整，靠的是数据在层与层之间传递，调整权重来逼近输入和输出之间的关系。行为主义更关心的是"怎么根据反馈改进行为"，它不关心内部是规则、网络还是别的什么机制。
考试特别容易出这样的对比：
- 智能的来源不同。符号主义靠逻辑推理，联结主义靠数据训练，行为主义靠环境交互和试错。
- 知识的表示不同。符号主义是显式的规则，联结主义是分布式网络权值，行为主义根本不强调显式知识表示，只强调"状态-动作-奖励"回路。
- 典型的代表技术不同。符号主义对应专家系统、知识图谱，联结主义对应深度神经网络，行为主义对应强化学习、进化计算。
有一点要注意，三派并不是互相排斥的，现在很多系统是混合的。比如机器人先用强化学习学会策略，再用神经网络做策略拟合。但期末答题时，先严格绑定理科定位，别一上来就写"它们都是好的、可以融合"，那样反而丢分。先把各自的主张写准，最后用一两句话提到"实践中可以互补"就够了。
2. 绕不开的感知-行动回路：行为主义的核心引擎
2.1 回路的基本结构
行为主义对智能的基本建模方式就是感知-行动回路。一个智能体处在环境里，每个时刻获得一个状态观测，基于这个观测做出一个动作，环境受到动作影响后发生转移，同时给智能体一个奖励信号，告诉它这个动作好不好。这个过程周而复始，智能体的目标就是让长期累积的奖励最大化。
这个回路看起来简单，但它是所有行为主义模型的骨架。考试里让你设计一个智能体，或者让你解释某个算法在干什么，本质上都是让你把问题装进这个回路里。
- 状态：智能体对环境的观察，可能完整也可能不完整。
- 动作：智能体可选的行为集合，可能是离散的也可是连续的。
- 转移：环境从当前状态进入下一个状态的方式，通常有一定随机性。
- 奖励：环境对动作的反馈，标量，是学习的唯一信号。
- 策略：状态到动作的映射关系，是智能体要学的东西。
你把它想象成一个小孩学走路：状态是当前身体姿势，动作是迈腿方式，反馈是摔倒或站稳，策略是逐渐学会的走路姿势。没有谁给他写死"腿应该抬多高"，他全靠不断试错。
考试特别喜欢在"奖励信号"上挖坑。比如游戏AI的目标是得分，奖励就是分数发生变化；机器人抓取的目标是完成任务，奖励可以在成功时给+1、失败时给-1。还有人问，奖励是不是必须每一步都有？不一定。奖励可以稀疏，比如只在最后一刻给。稀疏奖励会导致学习很难，所以才有奖励塑形、引导函数这些改进方法。这个点复习时要注意，尤其是后面简答题里"具体问题怎么设置奖励"这种开放性问法，要会结合任务特点说思路。
2.2 智能体与环境的边界
行为主义里的"环境"和"智能体"边界在不同任务里不一样。下棋时，棋盘是对手和环境；自动驾驶时，道路、行人、红绿灯都是环境。边界画在哪，决定了状态和动作怎么定义。考试如果给你一段场景描述，让你建模，第一步永远是把智能体和环境切清楚。
我见过很多同学在这个问题上栽跟头，把环境里本该动态变化的部分写成了智能体自带的知识。比如"自动驾驶车辆知道前方是红灯"，这个"知道"是状态的一部分，是感知到的，不是智能体内部固有的能力。智能体只有"决策和行动的能力"，其他的都外包给环境。这个边界错了，后面状态、动作、奖励全都会跟着错。
复习时可以用一个快捷方式判断：凡是不受智能体控制、智能体只能观察和影响的，都算环境部分；凡是智能体做出选择和输出动作的，才算智能体部分。死记这个区分标准，建模题基本不会跑偏。
3. 从试错到最优：强化学习这条主线为什么年年考
3.1 马尔可夫决策过程：强化学习的标准化框架
行为主义到了强化学习才真正有了数学化的工具，而这一切的起点是马尔可夫决策过程，也叫MDP。期末复习时，你得能默写出MDP的五个基本元素：状态集合、动作集合、状态转移概率、奖励函数、折扣因子。缺一个都不行。
用大白话讲，MDP把"感知-行动回路"数学化了。当前状态是s，你选动作a，环境按概率P跳到下一个状态s'，同时给你奖励r。因为下一个状态只跟当前状态和动作有关，跟更早的历史无关，这就叫马尔可夫性。这个性质非常关键，它让问题可以被动态规划这类算法拿捏。
折扣因子γ（gamma，用γ表示）是很多人理解不到位的地方。它在0到1之间，决定了"未来的奖励折算到现在值多少"。γ越接近1，智能体越有耐心，愿意为长远目标牺牲眼前收益；γ越小，智能体越短视，只顾眼前。考试里常给两个γ值让你比较策略差异。记住一个口诀：γ大看远期，γ小看眼前。
MDP还有一个最容易考的点：你不知道转移概率的时候怎么办？答案是采样，用大量实际交互的数据来估计，这就是蒙特卡洛方法出场的地方。所以MDP既连接了有模型的动态规划，也连接了无模型的蒙特卡洛和时序差分。
3.2 价值函数和策略的递归关系
强化学习里有两个主角：策略π和价值函数。策略是"状态到动作的规则"，价值函数是"站在某个状态，按这个策略走下去，能拿到的累计折扣奖励的期望"。考试常考状态价值和动作价值的关系，以及它们之间的递推方程。
- 状态价值：从状态s出发，按照策略π继续行动，得到的期望累计奖励。
- 动作价值：从状态s出发，先做动作a，之后按策略π继续行动，得到的期望累计奖励。
- 两者关系：动作价值等于当前立即奖励加上折扣后的下一状态状态价值。
这个递推关系就是贝尔曼方程的思想。它非常漂亮，把一个无穷长的未来奖励折算成了"当前奖励+下一步价值"这种两步问题。动态规划里的策略迭代和价值迭代，本质上都在反复应用这个关系来更新估计值。
复习计算题时，至少要会手推一步价值迭代。题目往往给你一个很小的状态图，两个状态、两个动作，转移概率写在边上。你只要按公式把每个状态的新价值算一遍，再取让动作价值最大的动作更新策略，迭代两三轮就能看出收敛趋势。这一步练熟，考试送分题就稳拿。
3.3 蒙特卡洛与时序差分：两种学"经验"的办法
有模型时可以用动态规划精确求解，但现实没有模型，只能靠经验学习。这就是蒙特卡洛和时序差分（TD）的用武之地。
蒙特卡洛方法的思想是"直说了算"。它要等一个回合完全结束，拿到完整的真实累计奖励，再回头修正之前每一步的价值估计。优点是估计是无偏的，缺点是方差大、还要等到回合结束才能更新，学习慢。
时序差分方法则激进得多，它不等回合结束，每走一步就利用"当前奖励+下一步价值估计"来修正当前价值。这种"用估计去更新估计"的做法叫自举，方差小、学习快，但也带来了偏差。两者各有取舍。
考试常问的对比：
- 蒙特卡洛无偏高方差，TD有偏低方差。
- 蒙特卡洛必须回合完全结束，TD可以单步更新。
- TD更适合在线学习，蒙特卡洛更适合需要完整回报的场景。
我复习时总结了一句：蒙特卡洛是"等剧终再复盘"，TD是"边播边改剧本"。这么理解，做题时选"哪个适合机器人实时控制"这类问题就不会犹豫，答案基本是TD，因为机器人不能每动一下等整局结束才学。
3.4 Q学习：期末考试计算题的最爱
Q学习是时序差分思想最出名的一个变体。它维护一张表，每个状态-动作对都有一个Q值，表示"在这个状态下做这个动作的长期价值"。更新公式看起来有点吓人，但拆开就三件事：拿当前Q值和"当前奖励加下一状态最大Q值"做比较，用学习率α融合出一个新估计，再把新估计填回表里。
- α是学习率，控制新旧信息的占比。α大，新信息影响大；α小，旧记忆保留多。
- 更新时用下一状态中最大的Q值作为未来收益估计，这意味着Q学习学的是最优策略对应的价值，而不只是当前策略的。
- 每个Q值的更新只涉及当前元组（当前状态、当前动作、当前奖励、下一个状态），不要求知道转移概率。
期末计算题最典型的套路是：给你一个两状态两动作的小格子，给出初始Q表和学习率、折扣因子，让你算一步更新后的Q值。这时别慌，按公式往里面代数字，分三步：找下一个状态里最大的Q值，计算目标值"当前奖励+γ×最大Q值"，再算新Q值"(1-α)×旧Q值+α×目标值"。只要每一步都写清楚中间量，基本不丢分。
还有探索与利用的权衡。如果总是选当前Q值最大的动作，就会陷入局部最优，学不到更好的策略。所以常用epsilon-greedy：大部分时间选最优动作，偶尔随机探索其他动作。考试里会问"探索比例太大或太小会怎样"，记住经典结论：探索太多学习慢且不稳定，探索太少会过早收敛到次优策略。
4. 别当它是另类算法：进化计算与群体智能的行为视角
4.1 遗传算法：把"行为"编码成染色体
很多同学觉得进化计算和行为主义没关系，这是一个大误判。遗传算法模拟生物进化，本质上也属于行为主义，因为它描述的是"一群个体通过与环境的适应度反馈，逐渐调整自己行为模式"的过程。
遗传算法的五个环节要记牢：编码、初始化种群、评估适应度、选择、交叉与变异。考试里常考这些操作的口语化解释，比如选择是对适应度高的个体多分配后代，交叉是让两个个体交换部分基因产生新个体，变异是随机改动基因来跳出局部最优。
适应度函数就是环境给个体的奖励信号。这样一看，遗传算法和强化学习的设计逻辑完全同构：个体是策略的候选，适应度是奖励，选择、交叉、变异都是行为的演化调整方式。理解了这层，你就明白为什么在行为主义的复习框架里进化算法有一席之地。
4.2 粒子群与蚁群：没有领导的群体涌现智能
粒子群优化和蚁群算法是群体智能的代表。粒子群里每个粒子根据自身历史最优和全局最优调整速度，整体不断靠近最优解；蚁群算法模拟蚂蚁在路径上留下信息素，路径越短信息素越浓，后续蚂蚁越倾向于选择这条路，最后几乎所有蚂蚁都会走最短路径。
这两个算法的共同点是"去中心化"。没有一个中央控制器给每只蚂蚁下达指令，全局最优行为是从个体简单规则和个体间交互中"涌现"出来的。这个涌现现象正好呼应行为主义的核心思想：智能不需要提前写在某个规则库里，个体之间的互动本身就是智能的制造工厂。
考试如果出名词解释或简答，通常让你说"蚁群算法为什么能找出最短路径"。你要答出三点：信息素正反馈、路径越短越快积累信息素、群体合作搜索。能再加一句"属于行为主义框架下的涌现智能"，阅卷老师会觉得很到位。
4.3 进化算法和强化学习的共性与取舍
进化算法和强化学习都在行为主义旗帜下，但解决思路有差异。强化学习强调单个智能体逐时步地学习价值函数和策略，进化算法强调种群进化，不对每一步的"价值"做细粒度估计，直接以整个策略的参数为对象做变异和选择。
这带来一个明显取舍：强化学习样本效率更高，能利用每步反馈，但需要精心设计奖励和算法稳定性；进化算法简单粗暴，不容易被局部最优和奖励稀疏困住，但通常需要大量种群迭代。考试答题时，遇到"算法选型"类问题，你就从这个取舍出发分情况回答：环境可模拟、有密集反馈就用强化学习；策略空间复杂、奖励稀疏、容易陷入局部最优就考虑进化算法。
5. 复习到能拿分的程度：高频考点的命题套路
5.1 概念辨析题：这些坑年年有人踩
行为主义模块的选择题和判断题，翻来覆去就考那几个容易混淆的点，我用错题本整理过，命中率非常高。
- 行为主义不等于"行为克隆"。行为克隆是模仿专家轨迹，属于监督学习；行为主义强调通过与环境交互自主试错。
- TD方法不等于"无模型"三个字。TD属于无模型方法里的一种，但MDP本身是用于建模的工具，两者要分层理解。
- "折扣因子越大越有远见"和"γ=0时只在乎眼前"这两个结论常在判断里出现。
- 遗传算法的交叉不是"交换个体本身"，而是"交换个体基因片段"。
- 粒子群里的全局最优不是真正的全局最优解，只是当前种群发现过的最优位置，是个估计值。
这类细节分值不大，但架不住题量大。我把这些易混淆点列成表，考前扫一眼，比临时翻书快很多。
5.2 计算题：从外到内把步骤写清楚
行为主义模块的计算题通常来三种：MDP价值迭代、Q学习单步更新、遗传算法一代进化。答计算题丢分的人往往不是不会算，而是跳步，导致中间量没展示，老师没法给过程分。
拿Q学习更新举例，我建议每道题都这样写：
- 写清楚当前状态s、当前动作a、立即奖励r、下一个状态s'。
- 查Q表中s'下所有动作的最大Q值maxQ(s')。
- 计算TD目标值 target = r + γ * maxQ(s')。
- 代入更新式 newQ = (1-α) * oldQ + α * target。
- 把新值填回表格，其他Q值保持不变。
只要这五步列出来，哪怕最后一位小数错了，前面步骤都对，拿到的分数也差不了多少。遗传算法题同理，选择、交叉、变异各写一行计算过程，比只写结果稳得多。
5.3 简答论述题：三个学派对比的得分框架
简答题最常出现在"比较行为主义与符号主义对智能的理解"和"结合任务说说如何设计强化学习智能体"。这两种题都有套路。
对比类：先给出对比维度的总起句，然后按智能来源、知识表示、代表技术、优缺点四个维度分段阐述。每个维度至少写一句"甲派认为..."和"乙派认为..."。最后用一段话讲两者如何互补，但注意不要喧宾夺主，控制在一两句话内。
设计类：先说清楚智能体与环境边界，再说状态表示和动作空间，然后给出奖励函数设计思路，最后说说算法选择和探索策略。这正好对应了MDP的五元组，把教科书里的术语用进答案，得分会很稳。
论述题最怕题目没问"应用"你却写了一大堆应用。先看清楚题目的动词是"比较""分析"还是"设计"，再决定篇幅重心。
6. 考前一周：把行为主义模块按照出分效率排个优先级
6.1 先建一张"行为主义知识地图"
剩下时间越少，越要抓主线。我建议考前一周第一天就用半小时把行为主义的知识地图画出来，不建议用纸笔画复杂图，就用列表列层次。
第一层：行为主义的定义和核心主张。 第二层：感知-行动回路与智能体建模。 第三层：强化学习（MDP、动态规划、蒙特卡洛、TD、Q学习）。 第四层：进化计算与群体智能（遗传算法、粒子群、蚁群）。 第五层：三个学派的对比与综合应用。
拿这张清单自查，哪个分支看一眼不能复述，就在那张分支上补半小时。比如"动态规划和蒙特卡洛的区别"说不清，就翻开课本重点过一遍，并做两道例题。千万别一页一页从头翻书，那样大概率在熟悉的内容上浪费太多时间。
6.2 错题复盘比刷新题更值
到复习后半程，记忆负担已经很重，别再去捞新题海。我自己的做法是把做过的选择题、判断题和错题截出来，专门列一张"行为主义易错表"，表头设为题目、错误选项、正确逻辑、核心原因四列。
比如，曾经有一题说"TD学习方法必须有完整回合才能更新"，我选错了。复盘时把正确逻辑写下来：TD可以在单步内更新，因为它用下一步估计值做自举。核心原因写：混淆了TD与蒙特卡洛。这样整张表核心原因那列就成了浓缩版错题本，考前第二天直接扫一遍，比再做十道题效率高。
6.3 考场答题的三条实战建议
模拟过一两套题之后，上考场要注意几个实战细节。第一，计算题把所有变量写清楚，不要只报结果，过程分是按步骤给的。第二，简答对比题先回答"是什么"，再回答"怎么比较"，最后说"怎么应用"，这个顺序符合阅卷习惯。第三，时间分配上，MDP和Q学习的计算题如果卡住，先跳过做后面的简述题，别在一道小题上卡十五分钟。
有个容易被忽略的细节：答题时把"马尔可夫性"、"自举"、"涌现"这类术语落在纸面上。阅卷老师看到这些专业词，比你随便写一大段大白话更容易给高分，因为这些词本身就是课程大纲里的考点。
我在准备这门课最后一次考试的时候，也走过一段弯路，总想把所有算法的细节都背下来，结果越背越乱。后来才发现，行为主义这一篇在整本课程里承载的核心任务其实非常清晰，就是把"智能来自交互"这句话讲透，再给它配上几个工具。顺着这个思路去复习，强化学习、进化计算就都不是孤立的知识点，而是同一个主张在不同场景下的落地方式。希望这份复习整理能帮你把行为主义真正理顺，而不是靠考前突击硬记。
