简介：一个基于深度强化学习的德州扑克AI算法优化项目，是作者在导师指导下完成并获98分的高分课程设计，面向计算机、电子信息工程、数学等专业大学生，适合课程设计、期末大作业或毕业设计阶段。项目覆盖从环境搭建到模型训练完整流程，核心是将深度强化学习用于不完全信息博弈场景，重点优化策略选择与对手建模能力。压缩包共165个文件、13.96MB，含58个py源码、48个pth权重、18个txt说明与18个csv性能数据，附pkl、json、xlsx等辅助文件，目录清晰，便于按模块检索。目前已有324人学习使用，项目整体结构独立，便于二次开发与算法验证。借助本项目可掌握DQN、策略梯度在德州扑克环境中的落地方式，结合模型权重与性能数据复现实验并对比调参效果，适合作为算法类毕业设计或大作业参考。
1. 德州扑克AI决策的起点：这份深度强化学习Python源码包能解决什么问题
德州扑克这类不完美信息博弈，和Atari、围棋有一个本质区别：最优策略不是“找到唯一解”，而是“让对手猜不透你”。反直觉的地方在于，AI真正变强的标志不是诈唬频率提高，而是动作分布更接近混合策略——每一个概率都经得起被针对。这份基于深度强化学习的德州扑克AI算法优化python源码+模型，正是围绕这个目标做的完整工程包，把环境编码、自对弈训练、模型保存和指标评估串成了一条可以复现的链路。它适合正在做AI方向课程设计、期末大作业或毕业设计的同学，也适合想看不完美信息博弈怎么从一个想法变成可运行代码的强化学习入门者。
2. 状态、动作与奖励建模：把牌局变成神经网络能吃的输入
2.1 状态编码：牌力、筹码与位置缺一不可
德州扑克每轮能看到的信息分成两块：公共的牌面和私有的手牌、筹码量、位置。常见做法是把52张牌编码成one-hot向量，手牌和公共牌各给一个52维块，再拼上归一化后的筹码、底池、下注轮次和庄家位置。这个meta块最容易被忽略，我在类似项目里看到的翻车，一半出在它上面——只给agent看牌面，不给筹码和位置，它学不会不同轮次、不同筹码深度下的策略差异。
import numpy as np def card_to_idx(card): # card 形如 "As"、"Kd"，将 点数+花色 映射到 0~51 rank = "23456789TJQKA".index(card[0]) suit = "SHDC".index(card[1]) return rank * 4 + suit def encode_state(hand_cards, board_cards, chips, pot, round_id, position): # 手牌 one-hot，两张手牌对应两个1 hand_vec = np.zeros(52, dtype=np.float32) for c in hand_cards: hand_vec[card_to_idx(c)] = 1.0 # 公共牌 one-hot，翻牌后应有3个1 board_vec = np.zeros(52, dtype=np.float32) for c in board_cards: board_vec[card_to_idx(c)] = 1.0 # 筹码和底池用 log1p 压缩，避免数值差距过大 meta = np.array([ np.log1p(chips) / 10.0, np.log1p(pot) / 10.0, round_id / 3.0, position ], dtype=np.float32) return np.concatenate([hand_vec, board_vec, meta]).astype(np.float32)这段代码的逻辑在于：one-hot把牌面变成模型能区分的离散特征，meta块把连续变化的筹码和轮次信息压缩到0~1附近。参数上有两个细节值得留意：一是log1p的原因——筹码跨度可能从几十到几千，不压缩会让loss被个别大数带偏；二是round_id除以3是简单归一化，如果项目里把翻牌前到河牌之外的回合也算上，这个分母要跟着改。我一般会在代码里加一条断言，确认拼接后的向量长度和网络输入层一致，维度对不上会直接报错，早报比晚报好。
2.2 动作空间与奖励塑形：只看输赢会让训练慢一个数量级
动作空间在德州扑克里天然是混合的：fold、check/call、raise和all-in，raise还带下注量。常见做法是离散化成固定几档，例如0=fold、1=check/call、2=min raise、3=pot raise、4=all-in。离散化牺牲了一点精细度，但配合MLP输出层最稳。如果想保留连续下注量，输出层要改成beta分布的参数，训练难度明显上升，新手不建议一上来就选这条路。
奖励设计是这类项目最核心的优化点。如果只按每局最终输赢给±1，一万局之内agent基本学不出东西，信号太稀疏。常见做法是给筹码变化量：每局结束后用(结束筹码-初始筹码)乘一个缩放系数作为reward，把稀疏信号变成稠密信号。这里有个我踩过的坑：reward缩放太大，agent会变得极度保守，只盯着不输钱，赢率反而上不去。
# 训练奖励的重算逻辑（对应项目里的 reward 模块） def compute_reward(chips_before, chips_after, hand_rank, reward_scaling=0.01): chip_diff = chips_after - chips_before # 手牌强度只给一个小额 bonus，加速早期学习，但不要让它主导训练 bonus = hand_rank * 0.5 return (chip_diff + bonus) * reward_scaling这段代码里reward_scaling是全局缩放系数，作用是控制loss量级；hand_rank的bonus只给一个小权重，帮助早期收敛。参数上，我一般把reward_scaling定在0.01~0.05之间，超过0.1就会看到训练曲线震荡加剧。bonus这个设计是可选的，如果训练后期发现策略被带偏，该激进时变保守，优先怀疑bonus给大了，直接归零对比一组就知道了。
2.3 项目结构与运行入口：拿到包先跑哪条命令
打开压缩包，文件组织大致是下面这张表的结构。先别急着读代码，花五分钟把目录对应关系看清楚，后面每一步都知道改的是什么地方。
| 目录/文件 | 作用 |
|---|---|
| poker_env/ | 环境封装：发牌、下注轮次、胜负结算 |
| agents/ | 算法主体：网络定义、经验buffer、训练逻辑 |
| train.py | 训练入口脚本 |
| evaluate.py | 评估入口脚本 |
| saved_models/ | 模型权重输出目录（best.pth / last.pth） |
| performance.csv | 训练指标记录，训练长跑的“体检报告” |
| 项目说明 | 环境依赖与运行步骤说明 |
项目说明里通常有环境依赖列表，Python版本、PyTorch版本和numpy版本要对着装齐。AI类项目依赖不一致是最常见的入门翻车点，我已经不止一次看到有人卡在import报错，最后发现是numpy版本过新。
# 先装依赖，建议用 conda 建独立环境 conda create -n poker-rl python=3.8 -y conda activate poker-rl pip install -r requirements.txt # 跑一个短训练，先确认流程能走通 python train.py --episodes 500 --log-interval 50 # 训练结束后评估模型 python evaluate.py --model_path ./saved_models/best.pth --opponent rule_bot --episodes 1000train.py里的--log-interval指定多少局写一次performance.csv；evaluate.py的--opponent用来切换评估对手，rule_bot是内置规则bot，random是随机对手。第一次跑通时不要动参数，先用默认配置确认环境没问题，再做任何修改。跑通的标志是：训练结束后performance.csv里出现了预期行数，evaluate.py输出了明确的胜率数字，而不是报错退出。
3. 算法优化主线：自对弈训练循环与评估指标怎么配合
3.1 算法选型：DQN在这类场景为什么不够用
很多入门者看到“德州扑克AI”，第一反应是拿DQN套上去。DQN在Atari这类完美信息游戏里很好用，但德州扑克是不完美信息博弈，你根本不知道对手手里是什么，最优策略必须包含随机性。DQN学出来的确定性策略容易被针对：对手摸清你check必然没牌，你就永远拿不到价值。所以这类项目的主线通常是CFR或NFSP，它们输出的都是动作概率分布，而不是单一动作。
项目标题里写“算法优化”，按我读这类源码的顺序，优化点通常落在这三个层面：特征层的编码方式、训练层的buffer更新节奏、评估层的指标选择。标题里的深度强化学习负责训练框架，而真正让AI变强的，是自对弈机制——让agent不断和“过去的自己”打，在对抗中逼近纳什均衡。把这一条理解了，后面读代码就能分清哪些是网络结构，哪些是博弈逻辑。
3.2 训练循环与经验存储：两个buffer的更新节奏要错开
NFSP这类算法，代码里通常有两个网络：best_response_net负责输出当前最优应对，strategy_net负责输出混合策略。两个网络的更新节奏不一样，训练时交替进行。一个典型的训练循环长这样：
# 训练主循环（对应源码中 train.py 的 core 逻辑） for episode in range(max_episodes): state, _ = env.reset() episode_data = [] done = False while not done: # best_response 和 strategy 两种来源交替采样，模拟博弈学习 if random.random() < epsilon: action = env.sample_action() else: mode = "best_response" if episode % 2 == 0 else "strategy" action = agent.act(state, mode=mode) next_state, reward, done, info = env.step(action) episode_data.append((state, action, reward, next_state, done)) state = next_state # 按来源分别写入两个buffer，混在一起会互相污染 agent.store_to_buffers(episode_data) if episode % update_interval == 0: agent.update_best_response(batch_size=256) if episode % strategy_interval == 0: agent.update_strategy(batch_size=256) if episode % eval_interval == 0: win_rate = evaluate(agent, opponent="rule_bot", episodes=200) expl = agent.compute_exploitability() logger.writerow([episode, win_rate, expl])这里的关键是更新节奏：best_response网络更新频率要高于strategy网络，因为最佳响应要“追上”当前策略，而strategy网络要慢慢逼近均衡，更新太频繁会震荡。参数上，update_interval一般设在50~200，strategy_interval是它的2~4倍，batch_size取256左右比较稳。看到这里你就明白为什么代码里要有两个buffer了——它们模拟的是博弈论里的两类学习信号，混在一个buffer里，两个网络都会学歪。
3.3 performance.csv字段与模型保存：别只看胜率曲线
performance.csv是这个包最值得盯的文件，它记录了每个评估点的训练指标。常见字段是episode、对随机对手胜率、对规则bot胜率、exploitability和平均loss。注意，这一列列字段里最可信的是exploitability，不是胜率。
| 字段 | 含义 | 判断参考 |
|---|---|---|
| episode | 训练局数 | 无 |
| winrate_random | 对随机对手的胜率 | 稳定在85%以上，说明基础牌理已学会 |
| winrate_rulebot | 对规则bot的胜率 | 能稳定跑赢固定策略bot，是工程可用的下限 |
| exploitability | 被最优反击策略剥削的期望损失 | 持续下降比胜率更可信 |
| avg_loss | 策略网络平均损失 | 不要求归零，只要不爆炸即可 |
模型保存一般有两个checkpoint：按exploitability最低保存的best.pth，和按最近训练保存的last.pth。评估时优先用best.pth，因为last.pth可能落在过拟合区间，胜率忽高忽低。我建议在评估脚本里写死模型路径，避免每次手动替换。另外一个实用的习惯：把评估和训练拆成两个独立进程，训练时定期重新载入best.pth做一次评估，这样即使训练中途崩溃，至少已经留下了一份“当前最优”的模型，不会因为意外退出而丢掉整个训练进度。
4. 稳定训练的调参与监控：学习率、奖励缩放和对手池怎么搭
4.1 一组能跑通的超参起点
深度强化学习的训练曲线是典型的黑匣子，但超参之间有固定搭配。以下面这份配置为起点，先跑通再调优，比从零摸索省时间：
| 参数 | 建议范围 | 影响 |
|---|---|---|
| learning_rate | 3e-4 ~ 1e-3 | 过大loss震荡，过小收敛慢 |
| batch_size | 128 ~ 512 | 小batch更新快但方差大 |
| memory_size | 5万~20万 | 太小会让策略遗忘旧经验 |
| strategy_net_lr | 1e-4 ~ 3e-4 | strategy网络要更保守 |
| reward_scaling | 0.01 ~ 0.05 | 控制奖励量级，最玄学的一个 |
| update_interval | 50 ~ 200 | 更新频率，影响训练速度 |
| eval_interval | 200 ~ 500 | 评估太频繁会拖慢训练 |
| opponent_pool_size | 3 ~ 5 | 对手池太小容易过拟合 |
我第一次跑这类项目时，把learning_rate直接设成0.001，结果loss前500局就爆了。后来发现学习率和reward_scaling是联动的：reward放大10倍，学习率就要缩小10倍。所以我的习惯是固定reward_scaling，先调学习率，等loss稳定后再回头动reward。
# 一份可直接改的训练配置（对应项目里的 config 模块） config = { "learning_rate": 3e-4, "batch_size": 256, "memory_size": 100_000, "strategy_net_lr": 1e-4, "best_response_lr": 3e-4, "reward_scaling": 0.01, "update_interval": 100, "strategy_interval": 300, "epsilon_initial": 0.6, "epsilon_decay": 0.9995, "epsilon_min": 0.05, }策略网络和最佳响应网络的学习率分开设，是这份配置里最值得保留的一点。strategy_net_lr更小，因为它要负责稳定逼近均衡，太激进会始终找不到平衡点；best_response_lr可以大一些，追赶速度要快。epsilon从0.6起步是因为自对弈早期如果直接按最优响应去打，混合策略根本还没形成。
4.2 对手池设计：只打固定bot会让agent产生错觉
自对弈训练最容易产生的假象是“胜率刷上去了”。如果对手池里只有一个固定bot，agent会专门针对这个bot的漏洞做最优应对，胜率很好看，但换一个对手立刻崩盘。常见做法是把最近几个checkpoint放进对手池，每次对局随机挑一个对手，让agent面对不同风格的对手，学到的策略才泛化。
# 对手池维护逻辑的示意 opponent_pool = [] checkpoint_dir = "./saved_models/checkpoints" def update_opponent_pool(agent, episode, pool_size=3): if episode % 1000 == 0: # 把当前agent的权重快照加入对手池 opponent_pool.append(agent.get_policy_snapshot()) if len(opponent_pool) > pool_size: opponent_pool.pop(0) agent.set_opponents(opponent_pool) def evaluate(agent, episodes=200): from random import choice results = [] for _ in range(episodes): # 随机挑一个历史对手，避免针对单一风格 opponent = choice(opponent_pool) results.append(play_one_episode(agent, opponent)) return sum(results) / len(results)pool_size是最值得调的参数：太小，比如只有1个，agent快速过拟合；太大，比如10个以上，每个对手的样本量变少，训练方差变大。我一般用3~5，训练中期每500~1000局更新一次。更新对手池的同时，我会顺手记录对每个对手的胜率分布，看是不是只赢其中某一个——如果胜率差异超过20个百分点，基本可以断定策略存在针对性漏洞。这套对手池维护的思路，和python量化交易里的样本外回测是同一套逻辑——只在见过的数据上表现好，不算真本事，换一个市场环境立刻现原形。
4.3 训练卡住时的检查清单
训练不动的时候，先别急着加训练量，按这个顺序排查：
- 看performance.csv最近几行有没有新数据。没有的话说明训练循环挂了，多数是环境step里出现异常被吞了，去后台日志里搜Traceback。
- 看loss是不是一直不下降。如果是，把learning_rate降一个量级再试。
- 看exploitability是不是在高位横盘。这说明策略陷入局部最优，需要增大探索，提高epsilon或者给strategy网络加temperature。
- 看两个buffer的样本量是否失衡。如果best_response buffer占了90%，strategy网络学不到东西，训练会退化成纯最优响应，等于放弃混合策略。
- 看单次评估的胜率波动。评估本身有方差，200局评估的胜率误差可能在5个百分点左右，同一组参数至少跑3次取均值，才值得作为调参依据。
5. 德州扑克AI训练避坑：四个高频翻车现场与排查方法
5.1 翻车现场一：训练几千局，胜率卡在50%不动
现象：跑了两三个小时，winrate_random一直在50%上下，对随机对手都打不出优势。
原因：状态编码里meta块没生效，agent看不到筹码和位置，等于蒙着眼睛打牌。最常见的是有人改了状态拼接顺序，导致meta被截断，或者归一化分母写死，特征全部挤在同一个值附近。
解决：先打印一个单步state向量，逐块核对取值范围。手牌one-hot应该有两个1，公共牌在翻牌后应该有3个1，meta每一项都应落在0~1附近。我处理过的这类问题，七成是维度拼接错误，三成是归一化写错。
5.2 翻车现场二：loss在降，打牌反而变差
现象：训练曲线很漂亮，avg_loss一路下降，但手动测试或对规则bot胜率反而低了。
原因：奖励塑形和真实胜率跑偏了，agent学的是优化手牌强度的bonus，而不是优化最终结果。上面提到的hand_rank bonus如果给到1.0以上，就会主导整个训练信号，让agent在牌好的时候乱加注，牌差的时候不敢弃牌。
解决：把reward_scaling和bonus临时归零，只看原始筹码差，重新训练500局对比胜率。这一步能快速判断是塑形信号的问题还是网络本身的问题。从那以后我每加大一次奖励塑形，都会跑一组消融对比，不敢再凭感觉往上加。
5.3 翻车现场三：exploitability后期反弹，策略越练越容易被针对
现象：前中期exploitability缓慢下降，后期突然抬头，甚至比训练中期还高。
原因：strategy网络退化成确定性策略，混合策略丢失。常见诱因是epsilon衰减过快，后期探索趋近于零；另一个诱因是strategy_interval设得太小，strategy网络更新太频繁，学不到稳定的概率分布。
解决：检查epsilon调度代码，看后期是不是已经跌破0.05；再把strategy_interval放大2~3倍，给strategy网络更多时间去逼近均衡。改完之后观察exploitability是不是重新进入下降通道。
5.4 翻车现场四：训练速度慢到没法调参
现象：一个episode要好几十秒，跑五千局遥遥无期，任何参数实验都做不了。
原因：环境模拟没有批量处理，而且动作空间里raise被拆成多档，每档都要走完一圈下注，单局步数膨胀。
解决：先确认用的是不是批量环境，一次处理32局甚至64局；如果项目结构暂时不支持，就把eval_interval从500提到200，评估局数从200降到50，先把实验周期压缩到能接受的范围。项目说明里如果有性能建议，优先按它来。
5.5 训练日志与模型文件的自检顺序
最后说一个习惯：每次训练前把performance.csv和saved_models备份一份。给自己留一张后悔药很有必要，我试过一次覆盖掉之前的best模型，悔得肠子都青了，只能重新跑了两天。
# 备份当前训练记录和模型，避免覆盖 cp performance.csv performance_$(date +%Y%m%d_%H%M%S).csv cp -r saved_models saved_models_$(date +%Y%m%d_%H%M%S)这段命令不复杂，但它保证你随时能回滚到上一个还不错的checkpoint。自检顺序是：先看performance.csv有没有新行，再看exploitability是否整体下行，最后确认best.pth相比last.pth是否有明显胜率优势。这三个都满足，再谈下一步调参。
6. 验证策略不是花架子：exploitability与双路对抗检查
6.1 用exploitability量化策略漏洞
胜率会骗人，exploitability不会。它的含义是当前策略被最强counter策略剥削时，平均每手牌损失多少底池。0是纳什均衡，10以内算相当稳健，50以上说明策略有明显漏洞，对方做针对性调整就能赢。为什么胜率会骗人？因为固定bot的漏洞是固定的，agent只要针对漏洞优化，胜率就能虚高，换成没见过的对手立刻打回原形。计算exploitability需要跑一批best response迭代，时间成本高，通常500局评估一次就够，不用每局都算。
| exploitability 区间 | 结论 |
|---|---|
| 0~10 | 策略稳健，接近均衡 |
| 10~50 | 有结构性漏洞，可继续优化 |
| 50以上 | 容易被针对，需要回炉重训 |
6.2 手动对抗与规则基线双路验证
量化指标之外，我固定会做两路验证：一是让agent和内置rule_bot打1000局，记录胜率和每局筹码曲线；二是打开交互模式自己上手打20~30局，重点观察它在转牌和河牌的下注分布。手动对抗时有个技巧：故意连续fold十几局，摸它的诈唬频率——混合策略下诈唬应该落在合理区间，如果一次都没有，说明随机性丢了。评估对手也值得换两种风格，紧凶和松弱各跑一遍，都能稳定胜出再写结论。
从那以后，我每调一轮训练参数，都会强制自己跑一遍500局评估加3次exploitability计算，确认指标没有反弹才进入下一轮。这套习惯帮我省下的重训时间，比调参本身还多。希望帮到你。
本文还有配套的精品资源，点击获取
