简介：基于Python深度强化学习的德州扑克AI算法优化项目，面向希望系统学习强化学习与博弈算法的小白及进阶学习者，适合作为毕业设计、课程设计、大作业、工程实训或初期项目立项。项目以自行改进的DeepCFR agent为核心，在Leduc（有限注/无限注）与完整Limit Holdem等不同规模的扑克环境中，与CFR、CFR+、MCCFR、DeepCFR等经典算法进行对比；小规模环境使用exploitability（衡量与纳什均衡的距离）评估，大规模环境则以与RandomAgent对抗所得的reward评估效果，便于从收敛性与最终优劣两个维度观察算法差异。压缩包共166个文件，覆盖58个py源码、48个pth模型权重、18个txt说明、18个csv实验数据、16个pkl数据文件及少量json/xlsx汇总表，整体约14MB，便于复现时对应查看算法实现、模型权重与实验记录。当前已有139人学习下载。借助完整算法实现、实验数据与对比脚本，可省去自行搭建与调参的重复工作，直接在已有框架上继续改进，既适合作为论文复现或课程报告的基础，也能帮助读者快速上手深度强化学习在扑克博弈中的优化思路。
1. 德州扑克AI优化到底是什么：从决策循环到策略网络的价值锚点
基于Python深度强化学习的德州扑克AI算法优化，说白了不是把一堆历史牌谱喂给神经网络做个分类，而是让AI在看不到对手底牌的约束下，自己学会“该跟、该加、该弃”的决策策略。德州扑克最大的特点是不完全信息：你只握着两张底牌和公共牌，对手可能在诈唬，也可能真握着坚果牌。这种场景里，深度强化学习正好派上用场——它不靠人工整理打法，而是让智能体不断跟自己或对手对局，用输赢结果反过来调整策略。真正要优化的不是一个固定函数，而是一整套“根据动作历史、筹码量、位置去决策”的策略网络，让它长期期望收益最大。这篇文章面向已经会写Python、想认真落地一个强化学习项目的开发者，从算法选型一直讲到最小可复现训练脚本、奖励设计和翻车排查。
2. 为什么用深度强化学习而不是写规则：不完全信息博弈的建模代价与算法选型
2.1 不完全信息博弈对强化学习最大的冲击不是动作多，而是“看不到事实”
很多刚从图像分类转过来的开发者，会觉得德州扑克AI第一件要做的事是“把牌型识别得更准”。但实际上，识别出自己是两对还是顺子，在高水平决策里只占很小的权重。真正难的是，你永远不知道对手底牌的范围。围棋和雅达利游戏状态完全公开，MDP的马尔可夫性基本天然成立；德州扑克缺了对手手牌这部分信息，如果只把当前手牌加公共牌编码成状态，网络学出来的策略会非常短视。
我一般的做法是把“观察历史”显式放进状态。具体讲，就是把对手在本局里的check、call、raise、fold序列，连同加注幅度和跟你动作之间的距离，编码成一组时间特征拼进向量。这样网络可以从动作序列里推测对手牌力范围，而不是只盯着自己手里的牌。第一版不必做复杂的对手建模或belief state，先把历史动作拼进状态，通常就能带来肉眼可见的策略改善。
2.2 状态、动作和收益的定义：为什么不能照搬标准强化学习套路
德州扑克的状态和动作都需要自己重新定义，这部分自由度很大，也最影响后面所有训练。状态我一般按“当前玩家视角”构造向量：自己手牌强度、是否同花潜力、公共牌组合、位置、底池筹码比、对手动作序列。向量定长，不足补零，多余截断，后面才能稳定过神经网络。
动作不能直接做成连续控制。加注幅度是个接近连续的变量，但让网络直接回归这个数值，训练方差会非常大。常见做法是离散成几个档位，比如fold、check、call、raise 0.5 pot、raise full pot、all-in这六个动作。离散化是优化的重要一步，因为它直接决定输出层维度，也让事后分析AI行为变得可行。如果你发现AI总是选择同一个档位，通常不是网络问题，而是这个离散档位本身没有区分度。
收益定义更要小心。最简单的做法是终局赢记为+1、输记为-1，但这样反馈太稀疏，AI很容易收敛成“只玩超强牌”的保守派。我习惯用期望筹码收益或者“赢下底池比例”作为主奖励，另外把位置、盲注、筹码深度作为修正项。奖励设计不算网络结构的一部分，但它对最终水平的影响经常超过换算法。
2.3 DQN、PPO、NFSP的适用边界：第一版别盲目上高级算法
深度强化学习算法家族很庞杂，但在德州扑克这个场景里，主要候选其实是DQN、PPO和NFSP三类。
DQN适合第一版。因为动作空间离散、状态向量定长，Q网络的输入输出结构最清晰，调试时能直接看Q值曲线来判断收敛情况。Double DQN再配上目标网络，已经能在限注德州上打赢随机策略。
PPO适合想用连续动作或者更高样本效率的情况，但它对反馈方差敏感。德州扑克一局之内底池变化剧烈，收益波动远大于雅达利游戏，直接用PPO容易出现策略在某几轮更新里突变，然后整体崩掉。用PPO的话，建议加广义优势估计GAE，并限制每轮更新步数。
NFSP（神经虚构自博弈）是专门为不完全信息博弈设计的，它的核心思想是把“平均策略”和“最佳响应”交替训练，在二人限注德州上效果非常好。代价是实现复杂度高、训练成本大，不适合作为第一个跑通的版本。我的建议是第一版用DQN跑通链路，第二版换PPO做对比，如果项目目标就是打高水平再上NFSP。
2.4 自博弈与对手分布：策略不能只在一种风格上收敛
德州扑克的策略不是绝对最优，而是相对对手分布最优。跟紧凶型玩家打和跟松弱型玩家打，最优策略完全不同。如果让AI只跟当前自己的旧版本对打，很容易过拟合到那个单一点上，最后形成一套“只对某种风格有效”的脆弱策略。
我的做法是维护一个对手池，里面混合随机策略、规则bot、以及历史训练版本。每次开局从池里随机抽对手，当前智能体跟它对打；每隔若干轮把当前版本加入池子。这样训练出来的策略泛化性明显更好。前段时间朋友跟我聊，说他的AI在自博弈测试里胜率85%，拿去跟传统规则程序打反而输了，这就是典型的对手分布太窄过拟合。做德州扑克AI不是追求赢某个固定对手，而是追求在各种风格面前都守住期望收益。
3. 用RLCard和Python跑通最小可复现的德州扑克AI：环境、训练骨架与首批参数
3.1 环境准备与Python环境配置：venv、torch、rlcard 的先后顺序
我不会从零去写发牌器和状态机，因为牌桌流程、底池计算、胜负判定这些逻辑出错概率太高。开源环境RLCard在德州扑克AI实践里是默认选择之一，它提供限注、无限注等不同规则，动作接口和状态接口都比较干净。你只需要自己写神经网络和训练循环。
环境配置这一步看起来基础，实际是很多项目卡住的第一道坎。我建议先建独立虚拟环境，再装PyTorch、RLCard和NumPy。用VSCode写代码的话，记得在项目根目录的.vscode/settings.json里把Python解释器指到虚拟环境，否则装好的包全部import不到。
python -m venv .venv # Windows 激活 .venv\Scripts\activate # Linux / macOS 激活 source .venv/bin/activate pip install torch rlcard numpy pandas这里有个易错点：如果直接跟在系统Python里装，RLCard的依赖版本容易和项目里其他包冲突，后面排查起来非常费劲。装完后跑一句python -c "import rlcard, torch; print('ok')"确认基础环境没问题，再进入下一步。
3.2 最小训练骨架：从环境中拿合法动作，把交互循环写到经验回放
RLCard自带一些训练脚本，但从我的经验看，最好别偷懒直接用官方trainer，因为后面要改奖励塑形、要加动作掩码、要输出每局指标，这些都得自己控制循环。下面这个骨架是我不依赖框架trainer、自己写的一套最小训练循环，核心是把环境交互结果推进经验回放，再定期更新Q网络。
import random import torch import rlcard env = rlcard.make("limit-holdem", config={"game_num_players": 2}) class ReplayBuffer: def __init__(self, capacity=150000): self.buf = [] self.capacity = capacity self.pos = 0 def push(self, sample): if len(self.buf) < self.capacity: self.buf.append(sample) else: self.buf[self.pos] = sample self.pos = (self.pos + 1) % self.capacity def sample(self, batch_size): return random.sample(self.buf, batch_size) def train_one_episode(env, dqn, replay, batch_size=64, gamma=0.99): state = env.reset() # 一个周期的初始观察 done = False episode_reward = 0 while not done: legal_actions = env.get_legal_actions() # 从环境读合法动作 action = dqn.choose_action(state, legal_actions) next_state, reward, done = env.step(action) replay.push((state, action, reward, next_state, done, legal_actions)) state = next_state episode_reward += reward if done: break if len(replay.buf) > batch_size: batch = replay.sample(batch_size) dqn.update(batch, gamma) return episode_reward这里的关键参数说明如下。legal_actions每次都要从环境实时读取，不能缓存，因为每回合玩家位置和可加注范围都在变。replay容量我放到15万左右，德州扑克状态跳变快，太小会让近期样本把早期经验冲掉。batch_size用64起步比较稳，网络层数加深之后再考虑128。如果你发现损失完全不下降，第一件事不是调学习率，而是确认choose_action没有把非法动作选进去。
3.3 第一批参数怎么设：从几个不玄学的起点出发
超参数调优经常被人说得玄学，但德州扑克DRL还是有几个相对可信的起点。学习率第一轮取1e-4，隐藏层一层128个神经元起，跑通后再加容量。探索率初始设0.1，训练大约十万步后线性降到0.02。动作空间如果按六个档位离散，网络输出层就是6维。这套初始配置的中心目标不是打赢专家，而是跑通整条链路。
config = { "hidden_layers": [128, 128], "learning_rate": 1e-4, "batch_size": 64, "gamma": 0.99, "tau": 0.005, "replay_capacity": 150000, "exploration_start": 0.1, "exploration_end": 0.02, "exploration_decay_steps": 100000, }tau是目标网络软更新系数，取0.005表示每次把目标网络向在线网络移动一点点。exploration_decay_steps决定探索策略的退火速度，太慢会让模型长期莽撞，太快又会让前期样本不够多样。第一版参数设完能赢随机策略就算成功，后面所有优化都是在这个“通”的基础上叠加的。
顺便说一句，建议在debug阶段就把每局奖励和平均胜率打印成CSV，后面用pandas快速统计。我见过太多人调了四五组超参，却说不出哪组更好，就是因为没保存训练日志。日志是算法优化里最便宜的后悔药。
4. 算法优化的三个关键改造点：状态特征、奖励塑形与加注动作离散化
4.1 状态特征不是越多越好：标准化与动作掩码要一起做
状态特征组装是优化最容易见效的地方，也是最先出现坑的地方。我常用的一组特征包括：自己的手牌强度、手牌是否同花潜力、公共牌组合类型、位置、底池与筹码总量比值、对手动作序列编码。每个特征要单独做标准化，不然量纲差异会让网络前几层梯度被大数值特征主导。
动作掩码是这一节的重头戏。网络输出层通常是对全部动作的logits，但每回合只有一部分动作合法。直接在logits上做mask，再把非法动作对应的位置填成负无穷，然后做softmax，这样才能保证合法动作的概率和为1。下面这段代码是我常用的实现：
def masked_softmax(logits, legal_actions): mask = torch.zeros_like(logits) mask[legal_actions] = 1.0 logits = logits.masked_fill(mask == 0, float("-inf")) return torch.softmax(logits, dim=-1)这里有一个非常常见的错误：先对所有动作做softmax，再乘上mask。表面上看起来好像也排除了非法动作，但剩下的合法动作概率没有重新归一化，所有概率加起来不再等于1，训练时网络收到的分布信号是错的。我一开始也踩过这个坑，表现是训练一段时间后AI偶尔输出非法动作，并且Q值收敛不到稳定值。
4.2 奖励塑形：把“终局输赢”拆成可学习的信号
德州扑克一局的持续过程比较长，只在终局给+1或-1的奖励，网络需要大量样本才能把奖励回溯到早期决策。拿限注德州来说，翻牌前的一个小加注，可能要等十几个动作之后才知道结果，这种长延迟对Q学习非常不友善。
我的做法是给奖励做三个层面的改造。第一，把终局收益做底池归一化，用final_payoff / (abs(final_payoff) + 1.0)替代原始的筹码数值，避免个别大底池把整体奖励尺度拉爆。第二，在每个阶段结束时给一个很小的中间奖励，当作位置和动作的修正，但不改变最终期望。第三，对无谓的弃牌做一个轻微惩罚，防止AI遇到加注就弃牌。
def shaped_reward(final_payoff, round_actions, is_late_position): r = final_payoff / (abs(final_payoff) + 1.0) if round_actions[-1] == "fold" and is_late_position: r -= 0.01 # 轻微惩罚过度的弃牌 return r需要注意的是，中间奖励会改变策略梯度方向，如果设置不合理，可能让AI学会“吃小利、输大局”。比如过早给小底池正奖励，AI就会变成跟注站。我的习惯是中间奖励幅度控制在主奖励的十分之一以内，并且定期做消融对比，确认加了这个项确实让胜率提升而不是下降。
4.3 Q网络与目标网络更新节奏：稳定性优先于收敛速度
DQN的稳定性很大程度来自目标网络。如果目标网络跟着在线网络每一步都更新，训练就会变成追逐自己的影子，Q值很容易发散。常见做法是每固定步数硬同步一次目标网络，或者用软更新系数tau让目标网络缓慢跟随。
这里的关键是更新步数不能拍脑袋。我一般先观察损失曲线：如果损失稳步下降且Q值不突变，说明同步频率合理；如果损失出现规律的大锯齿，大概率是目标网络更新太快。把硬同步从每5000步改成每10000步，或者把软更新的tau从0.01降到0.005，通常就能稳定下来。
另外，梯度裁剪也是这个小项目里性价比很高的操作。德州扑克的收益分布尾部很厚，一个大底池产生的TD误差会让网络权重一步跳很远。我在更新Q网络时给梯度范数加一个上限，一般取1.0，能显著减少训练初期的崩溃概率。
4.4 经验回放里的优先采样：关键样本不该被随机淹没
普通经验回放是对所有历史样本均匀采样，但在德州扑克里，不同样本的信息量差别很大。一次成功诈唬赢下大底池的样本，比一次普通跟注翻牌丢失小底池的样本重要得多。优先经验回放按TD误差给样本分配采样概率，能明显提升样本效率。
我实现的时候会在ReplayBuffer里额外记录每个样本的TD误差，采样时按误差大小做加权。这里有个小提醒：权重过大会让训练过于聚焦少量异常样本，导致前面学好的策略被带偏。一般加一个重要性采样修正参数，取值在0.4到0.6之间，具体数值视你的损失曲线波动程度调整。德州扑克AI的优化，很多时候不是让模型学得更快，而是让它在接近收敛时不震荡回去。
5. 德州扑克DRL实战避坑笔记：4个高频翻车场景的现象、原因与修复
5.1 训练损失像心电图一样震荡，完全不下降
现象：训练一开始loss就在零点几到十几之间来回跳，跑了三五千步也不收敛，Q值曲线像是随机噪声。
原因：最直接的诱因是奖励尺度方差太大。德州扑克一局输赢可以差出几个底池，加上TD误差里又叠了一次这个方差，损失自然剧烈震荡。另一个常见原因是目标网络更新过快，导致Q值一直在追一个移动靶。
解决：先给finished reward做缩放，用归一化底池收益替代绝对筹码差；再把目标网络同步周期拉长，从每2000步改到每10000步。同时加梯度裁剪，上限设1.0。做完这三步还没下降，再检查状态向量有没有混入未标准化的原始特征。
5.2 自博弈训练胜率很高，换一个对手就被按着打
现象：智能体和自己历史版本对打，胜率能到80%以上，但拉去跟一个简单的规则bot打，反而频繁弃牌、被动挨打。
原因：对手分布太窄，网络过拟合到了“当前版本对手”的特定打法上。自博弈池里如果只有自己，策略会朝着专门克制自己的方向演化，变成一种非常偏窄的应对模式。
解决：训练时在对手池里混入随机策略、规则策略和早期训练版本。每次开局随机抽一个对手，当前智能体跟它打完整局，每隔两轮训练把当前checkpoint加入池子。我要强调这个改动是必须做的，不是可选项。另外，评估时不要只测自博弈胜率，至少加一个固定规则bot做外部基准，否则你会在虚假的优越感里浪费很多时间。
5.3 训练很久，结果连“不乱弃牌的跟注站”都赢不了
现象：网络看起来在好好训练，loss也降了，但跟一个只会跟注从不加注的简单bot打，胜率和底池收益都很难看。
原因：奖励设置问题。如果你只给终局胜负做奖励，AI很容易学到的最优策略是“只玩超强牌、其余全弃”，因为这样输的少。面对跟注站型对手，这种策略尤其吃亏，因为你弃牌太频繁，对手用小注额就能不断蚕食盲注。
解决：给弃牌加一点负向奖励，并提高位置修正权重。具体做法是，在翻牌前如果处于后位且对手只是最小加注，弃牌会收到一个小的负奖励，逼着网络去学习跟注和加注场景下的收益。同时评估时把“每百手赢下的底池数”列出来，看AI是否真的在参与底池争夺，而不只是等待超强牌。
5.4 状态维度不一致导致训练中断，错误提示还看不明白
现象：训练跑着跑着突然报张数不匹配，或者loss正常但推理时偶尔返回NaN。
原因：德州扑克每个阶段的状态长度不一致。翻牌前可能只有手牌和动作序列，河牌之后加上了五张公共牌，如果特征组装的代码没做定长处理，batch里就会混入不同长度的向量。
解决：在特征函数出口处固定向量长度，不足的补0，多余的截断，并且在choose_action入口加一行shape断言。这种问题最坑的地方是它不一定在训练一开始出现，而是跑到某一局牌型变化时才爆出来。我现在每次构造状态后都会顺手打一条日志，记录向量形状和合法动作数量，跑了几百局就能从日志里看出规律。
6. 让AI强度可验证：底池收益对比、固定种子评估与训练日志复盘
6.1 评估协议：不要用胜率一锤定音
德州扑克AI评估里，单看胜率会骗人。一个“只玩AA、KK”的保守策略可能胜率高，但长期底池收益是负的。我更习惯用“每百手净底池收益”作为主指标，因为它直接反映策略的长期期望价值。和不同对手对打时，固定随机种子、各打2000局，然后记录平均底池收益和标准差，看两个版本之间的差异是否稳定复现。
6.2 消融实验：奖励塑形和动作掩码到底哪个在起作用
算法优化最怕的是把所有改动叠在一起，最后不知道是谁起了作用。我的做法是每次只改一个变量，跑同一个种子下的对比训练，记录三条曲线：收益均值、Q值均值、动作分布。比如要验证奖励塑形有没有用，就把原版和塑形版各训练相同步数，再做相同评估。下面这个表格是我某次对比的记录格式，仅供参考：
| 版本 | 每百手底池收益 | 对规则bot胜率 | 对随机策略胜率 |
|---|---|---|---|
| 基础DQN | -0.31 | 45% | 71% |
| DQN+动作掩码 | -0.18 | 52% | 78% |
| DQN+掩码+奖励塑形 | +0.22 | 63% | 84% |
只看胜率的话，基础版对随机策略也有七成胜率，但每百手收益是负的，说明它在靠保守策略苟胜。带上底池收益指标后，算法优化的价值就清楚多了。
6.3 我最后保留的一个习惯：每轮训练存档并写离线评估日志
我习惯把每轮训练结束后的模型checkpoint和评估结果写成一个CSV文件，包含模型步数、平均收益、Q值均值、动作分布、对手类型。隔天或者调参失败后，可以直接翻日志看是哪次改动引入了恶化。深度强化学习模型是个黑匣子，但训练过程不该是黑匣子。这个习惯帮我避免过无数次“改了参数回不去”的尴尬。希望这些踩坑记录和实现思路能帮到你，让德州扑克AI的优化少走弯路。
本文还有配套的精品资源，点击获取
