简介：围绕地铁列车运行控制与能耗管理场景，这份资源以Q学习算法为核心，构建了限速坡道条件下的列车节能优化方案，通过牵引制动策略的自适应调节实现能耗最小化，面向轨道交通智能化研究者与强化学习算法工程师。压缩包内共有54个文件，以Python源码、CSV运行数据、TensorFlow模型检查点、XML项目配置以及TXT、DOCX、MD说明文档为主，整体约789KB，目录按源码、数据、模型与文档划分，便于按需查阅与二次开发。目前已有79人学习。资源不仅提供限速坡道与典型站间场景的速度、能耗、时间数据，还完整实现了Q学习、深度Q网络及竞争深度Q网络等算法，并附有倒立摆、山地车等经典环境示例，可帮助读者理解强化学习原理并迁移至列车牵引制动控制。对于开展列车节能优化课题或强化学习应用的读者，这是一份轻量但完整的入门与改进参考。
1. 地铁列车节能优化为什么最后都绕回Q-learning：先想清楚问题再动手
做地铁列车运行控制的同学，几乎都会遇到同一个问题：站间限速多、坡道起伏不停，怎么跑才能在保证准点的前提下把牵引能耗压下来。传统做法是把节能寻优做成规划问题，靠既有运行模式库去检索，或者用遗传算法离线算一条“最优速度曲线”，但每条线路的坡道、限速、站间距都不一样，规则策略换一条线往往就不省电。这个项目标题换了个思路——用强化学习里的Q-learning，在限速坡道场景下训练一个策略，让列车自己学会在哪个位置加速、滑行还是制动，最终把牵引制动系统的智能调节和能耗最小化做成一个可复现的闭环。
和动态规划、模型预测控制这类方法不同，Q-learning不需要你把线路阻力、牵引特性曲线建得很精确，它靠“试探—反馈—修正”把策略学出来。场景越复杂、状态维度越多，这种免建模的优势就越明显。适合谁？适合手里有一条真实或仿真线路、但不想从头啃动力学建模的工程师，也适合刚入门强化学习、想找个非游戏落点的同学。下面按建模、训练、落地、避坑、验证五步讲透。
2. 把列车运行控制映射成强化学习：状态、动作、回报的一步到位建模
2.1 为什么是Q-learning而不是动态规划或深度强化学习
先回答一个绕不开的问题：节能速度曲线本质上是一个最优控制问题，动态规划（DP）理论上也能解，为什么实践中很多人最后绕回Q-learning？因为DP要的是“模型已知的全局最优”，你需要把线路阻力、牵引特性、再生制动回馈系数全部写成精确表达式；而地铁列车的实际阻力受轮轨磨损、天气、载客量影响很大，建得越精细，离现场越远。
Q-learning站在另一边：它不直接求模型，而是用一个Q表保存“每个状态下每个动作的长期回报估计”，通过不断试错把策略逼近最优。只要状态离散步长合理，Q表就能在普通笔记本上跑完训练；相比之下，深度强化学习（DQN/PPO那套）虽然能处理连续状态，却要额外调网络结构、经验回放和目标网络，对单列车这样一维纵向运动问题，属于杀鸡用牛刀。等你需要从历史运行数据里学，而不是在线仿真时，再考虑IQL这类离线强化学习方法也不迟。这里先用表格型Q-learning把闭环跑通，是最短路径。
2.2 状态空间怎么取才不至于Q表爆炸
列车运行时控的状态，最核心就是四个量：列车位置、当前速度、坡道千分率、当前限速。Q-learning是表格方法，连续状态必须离散化，否则Q表会爆炸。我一般按这个粒度起步：位置每50米一格，速度每5 km/h一档，坡道按千分率分5档，限速按实际线路限速档次分3档。以2公里区间为例，位置约40格，速度按0到80 km/h约17档，状态总数就是40×17×5×3，约1万个状态；每个状态配5个动作，Q表只有5万项，训练也好收敛。
如果把位置细分到10米、坡道细分到每1‰一档，状态数立刻超过50万，训练回合不变的情况下，很多状态根本不会被访问到，这就是常说的“维数灾难”。所以第一版宁可粗糙一点，先把闭环跑通，再决定哪里要加密。代码里状态编码一般这样写：
import numpy as np POS_STEP = 50.0 # 位置离散粒度 50 m SPD_STEP = 5.0 # 速度离散粒度 5 km/h GRADE_BINS = [-15, -5, 0, 5, 15] # 坡道千分率 5 档 LIMIT_BINS = [40.0, 60.0, 80.0] # 限速档位 km/h MAX_SPEED_BIN = 17 # 0~80 km/h 按 5 步长共 17 档 def state_index(pos, speed, grade, limit): pos_bin = int(pos // POS_STEP) spd_bin = min(int(speed // SPD_STEP), MAX_SPEED_BIN - 1) grade_bin = int(np.digitize(grade, GRADE_BINS)) limit_bin = int(np.digitize(limit, LIMIT_BINS)) # 四个维度压成一个整数，顺序随意但要保证不冲突 return ((pos_bin * MAX_SPEED_BIN + spd_bin) * 5 + grade_bin) * 3 + limit_bin这段代码做的事情是：把连续的位置、速度、坡道、限速四元组映射成一个唯一整数，供Q表直接做下标。逻辑上要注意两点：一是速度档位要封顶，超过线路最高速度时全部归到最后一档，避免索引越界；二是np.digitize返回的档位从0开始，正好可以和其他维度相乘拼接。参数上，POS_STEP决定位置精度，SPD_STEP决定速度控制精度，这两个值直接决定Q表大小和训练难度，第一次跑不建议低于50米和5 km/h。
2.3 动作空间：从牵引级位到惰行制动的五档设计
动作空间设计直接决定策略的细粒度。列车牵引手柄不是连续的，常见做法是五档语义动作：1代表全牵引，0.5代表轻牵引（用于巡航保持速度），0代表惰行，-0.5代表常用制动，-1代表强力制动。为什么不是像某些论文那样直接输出连续牵引力？因为Q-learning输出的是离散动作索引，动作越多，每个动作被采样的次数越少，收敛越慢。五个动作已经能把“牵引—巡航—惰行—制动”四种基本工况覆盖住。
牵引系统的智能调节，说白了就是在这几个工况之间切换。牵引对应电能消耗大户，惰行不耗电，制动最好优先用再生制动把能量回馈电网。动作空间里特意保留0.5轻牵引，是为了让列车在长下坡或接近限速点时能维持速度而不是反复牵引-制动切换，这对舒适度和能耗都有好处。实际仿真时，每个动作换算成力要加约束：全牵引力不能超过牵引特性曲线在该速度下的最大值，制动力也要按常用制动减速度限制，不能一上来就是紧急制动的力度。
2.4 回报函数的三项比拼：能耗、晚点时间与舒适度
回报函数是Q-learning里最“玄学”的部分，但也是节能效果的分水岭。第一版我建议这样构造：每个仿真步的即时奖励等于负的加权和，权重压在三件事上——牵引能耗、与目标运行时间的偏差、加速度变化率过大带来的不舒适。终止状态再单独给停车精度奖励。
# 每个 step 结算一次即时奖励，done 时叠加停车精度 LAMBDA_ENERGY = 1.0 # 能耗权重 LAMBDA_TIME = 2.0 # 时间偏差权重 LAMBDA_JERK = 1.0 # 冲击率权重 def calc_reward(energy_consumed, time_used, jerk, stop_error, done): reward = - (LAMBDA_ENERGY * energy_consumed - LAMBDA_TIME * abs(time_used - T_TARGET) - LAMBDA_JERK * abs(jerk)) if done: if stop_error <= 0.3: # 停车精度优于 30 cm reward += 200 else: reward -= 10 * stop_error return reward注意三件事。第一，能耗项不是只算牵引电机付出的功，还要把再生制动回馈的能量按系数从总能耗里扣掉，否则算法会倾向于少制动，后期停车精度反而崩掉。第二，时间项这里用了绝对值偏差，但晚点到站和早到站对运营的影响不同，后续可以改成不对称惩罚。第三，jerk是单位时间加速度变化率，也直接影响乘坐体验，但权重一开始不要超过能耗项，否则列车会为了平稳而一直慢悠悠滑行，把运行时间拉爆。这套权重初始值能保证列车先学会“准点到站”，再学会“省电到站”。
3. 在限速坡道场景下跑通Q-learning训练：状态离散化、奖励函数与超参的首次设定
3.1 最小环境与训练主循环的代码骨架
环境不需要一上来就搭多复杂的仿真，一个纵向单质点模型足够验证算法。列车质量按150吨带着回转质量系数，基本阻力用戴维斯公式的简化形式，坡道阻力由千分率和重力直接算出来，牵引力/制动力按动作对应的百分比乘以最大值。每个仿真步长取1秒，列车位置和速度用运动学公式推进，能耗按牵引力乘速度积分。
M = 150000.0 # 列车质量 kg，含乘客 GA = 1.06 # 回转质量系数 MAX_TRACTION = 200000.0 # 最大牵引力 N MAX_BRAKE = 200000.0 # 最大制动力 N DT = 1.0 # 仿真步长 s T_TARGET = 160.0 # 区间目标运行时间 s def step_env(pos, speed, grade, limit, action, dt=DT): # 五档动作映射到牵引力/制动力 if action == 1: force = MAX_TRACTION elif action == 0.5: force = MAX_TRACTION * 0.5 elif action == 0: force = 0.0 elif action == -0.5: force = -MAX_BRAKE * 0.5 else: force = -MAX_BRAKE basic_resistance = 8000 + 120 * speed + 1.2 * speed ** 2 # 单位 N，速度 km/h grade_resistance = M * 9.8 * grade / 1000.0 # 坡度阻力 N acc = (force - basic_resistance - grade_resistance) / (M * GA) speed_new = speed + acc * dt / 3.6 pos_new = pos + speed * dt / 3.6 + 0.5 * acc * dt * dt / 3.6 speed_new = max(0.0, speed_new) # 能耗：牵引为正，把再生制动按回馈系数折减 if force > 0: energy = force * speed * dt / 3600.0 / 0.85 elif force < 0: energy = force * speed * dt / 3600.0 * 0.6 # 回馈电网，能耗为负 else: energy = 0.0 return pos_new, speed_new, energy这段代码是训练闭环的物理内核。逻辑上有个容易忽略的细节：速度单位。动力学公式里加速度按m/s²算，但speed又习惯用km/h展示，所以speed_new的计算里除以3.6做单位换算。另一个细节是再生制动能量为负，会直接冲减总能耗，这正是Q-learning能学到“提前惰行、减少制动”的经济激励——如果仿真里把再生制动忽略，算法就不知道制动是浪费还是回收，策略会走偏。
参数上，戴维斯阻力三项系数是示意量级，真实线路要用列车牵引计算里的实测系数替换。DT取1秒能保证每回合仿真步数在200步以内，训练速度快；如果要精细还原牵引切除和过分相，再改到0.5秒，训练时间会翻倍。
3.2 Q-learning超参的第一次设定与调整顺序
Q表就一张二维表，形状是(状态数, 动作数)，用numpy.zeros初始化即可。训练主循环按标准Q-learning更新式走：先按ε-greedy策略选动作，执行一步环境拿到奖励和下一状态，再用贝尔曼方程更新Q值。注意回合内状态需要存储位置、速度、坡道、限速四元组，每次结算完把位置速度推进后重新查状态索引。
EPISODES = 4000 ALPHA = 0.2 # 学习率 GAMMA = 0.95 # 折扣因子 EPSILON_START = 1.0 # 初始探索率 EPSILON_MIN = 0.02 EPSILON_DECAY = 0.995 # 每回合衰减 Q = np.zeros((NUM_STATE, N_ACTION)) for episode in range(EPISODES): pos, speed = 0.0, 0.0 time_used, total_energy = 0.0, 0.0 done = False epsilon = max(EPSILON_MIN, EPSILON_START * (EPSILON_DECAY ** episode)) while not done: st = state_index(pos, speed, grade_at(pos), limit_at(pos)) if np.random.rand() < epsilon: action = np.random.choice([-1.0, -0.5, 0.0, 0.5, 1.0]) else: action = ACTIONS[np.argmax(Q[st])] pos_new, speed_new, step_energy = step_env(pos, speed, grade, limit, action) time_used += DT total_energy += step_energy jerk = (speed_new - speed) / DT / 3.6 # 简化冲击率 reward, done = calc_reward(step_energy, time_used, jerk, stop_error=abs(pos_new - LINE_END), done=done) st_new = state_index(pos_new, speed_new, grade_at(pos_new), limit_at(pos_new)) td_target = reward if not done: td_target += GAMMA * np.max(Q[st_new]) Q[st][ACTIONS.index(action)] += ALPHA * (td_target - Q[st][ACTIONS.index(action)]) pos, speed = pos_new, speed_new这个循环去掉线路和列车初始化后，大概六七十行就能跑。几个参数的调整顺序有讲究：如果训练不收敛，先看学习率ALPHA，超过0.3容易震荡；如果策略短视、只盯着眼前的终点冲，把GAMMA调高到0.97以上再试；如果探索不足导致Q表很多行一直是零，降低EPSILON_DECAY的衰减速度，让它多探索几百回合。每个回合样本量也就一百多步，4000回合不到一百万步，纯Python模拟几分钟出结果，完全不需要上GPU。
3.3 为什么要先保准点再谈节能
第一次跑通时有个很容易踩的坑：把能耗权重直接拉得很高，等着算法自己“悟”出省电策略。实际结果往往很尴尬——列车干脆原地不动或者一路惰行，能耗极低但晚点几百秒，整张Q表学到的是“不作为”。所以第一版必须把时间项权重压在能耗项之上，让列车先学会在目标运行时间附近到站，再逐步提高能耗权重。
我一般把λ_time设为2.0、λ_energy设为1.0起步，跑通后观察平均运行时间。如果列车普遍早到超过5秒，说明时间惩罚还不够，把λ_time往上加；如果普遍晚点，先检查是不是目标时间定得太紧，让线路最大能力都无法满足，再考虑下调λ_time。节能优化本质上是“在准点约束下省电”，不是“为了省电放弃准点”，顺序反了之后所有调参都是白费。
4. 牵引制动系统的智能调节落地：把Q表策略换算成运行指令的关键一步
4.1 策略表导出：四维状态怎么变成可执行动作
训练完成后Q表本身不是策略，argmax之后才是。将每个状态对应的最优动作单独存成一张策略表，线上运行时查表即可，连实时Q-learning更新都不需要。这样做的好处是：决策耗时是O(1)的数组索引，比任何在线规划都快；而且策略表可以离线审查——哪些位置段容易出现连续制动、哪个速度区间总在牵引，一目了然。
# 训练完成后导出策略表 policy = np.argmax(Q, axis=-1) # shape = (NUM_STATE,) def query_policy(pos, speed, grade, limit): st = state_index(pos, speed, grade, limit) return ACTIONS[policy[st]] # 用策略表在线跑一遍完整区间，记录速度和动作轨迹 def simulate_policy(policy, line_profile): pos, speed = 0.0, 0.0 trace = [] while pos < line_profile.length: act = query_policy(pos, speed, grade, limit) # 限速硬约束：接近限速区且速度过高时，强制制动 if speed > limit_at(pos) + 2.0: act = -1.0 pos, speed, _ = step_env(pos, speed, grade, limit, act) trace.append((pos, speed, act)) return trace这里最关键的逻辑是“限速硬约束写在策略表外面”。Q-learning训练时对限速的惩罚是软约束，策略偶尔会在限速边界超个一两公里时速；线上运行绝不能接受这种毛刺，所以查完策略表后要再加一道判断：当前速度超过该位置限速2 km/h时，直接强制切强力制动。这道保护写在查询函数里，等于给策略套了一层安全壳。
4.2 动作平滑：避免相邻状态下牵引制动来回切换
离散Q表策略有个典型毛病：相邻两个状态的最优动作可能差很远，表现在速度曲线上就是“牵引—惰行—牵引—制动”反复抖动。原因很简单，相邻状态Q值本来就接近，argmax对噪声极其敏感，动作边界就像刀刃一样。直接把这个策略交给牵引系统，司机和ATO都会崩溃。
常见做法是离线做动作平滑。把simulate_policy生成的轨迹拿出来，对动作序列做三点滑动平均，动作值在0附近的小抖动统一归到惰行；也可以在线加“惰行保持”：如果连续两步策略建议的动作在切换，强制在当前动作上保持2到3秒，用时间换平稳。平滑之后能耗可能会略微上升，但舒适度和可执行性大幅提升，这笔账划算。
4.3 从策略曲线到牵引制动级位的换算
策略表输出的是语义动作，真实列车的牵引系统只认手柄级位，中间还要过一次换算。全牵引映射到主手柄最高级位，轻牵引映射到维持当前速度所需的牵引百分比，惰行就是主手柄回零，常用制动按目标减速度计算制动级位。换算表要依据列车的牵引/制动特性曲线生成，同样速度下牵引力和制动力不是常数，不能用简单百分比一刀切。
这一步也是整个方案能不能被信号系统接受的关键。把Q-learning策略生成的速度曲线给到ATO后，ATO要能按固定步长追踪这条曲线，而不是每秒钟都发一个新指令。我在落地时偏好把策略表先离线跑一遍，输出标准速度曲线，再让ATO按曲线追踪，这样既保留Q-learning的节能效果，又不破坏既有控制系统架构。
4.4 策略可视化：用热力图检查Q表有没有学歪
策略表是个黑匣子，但它可以变成热力图：横轴是位置，纵轴是速度，颜色代表动作。一个训练正常的策略，热力图上应该能看到清晰的节能模式——出站全力牵引、中间段惰行滑行、进站前制动减速、坡道前提前调整。如果热力图上出现大片的随机噪声，或者制动区集中在坡道底部，说明状态粒度或奖励权重有问题，趁早回头调参，不要等上线再翻车。
5. 列车节能优化算法避坑指南：五个让训练直接翻车的细节
5.1 能耗越练越高：奖励权重和惰行偏好的三个陷阱
现象：训练几千回合后，列车曲线变成“全速冲—急停—再冲到站”，总能耗比简单的定时惰行策略还要高出近两成。
原因：时间惩罚权重压过了能耗项，算法发现只要按时到站就能拿高分，至于怎么到站不重要。它在Q表里找到了一个满足时间约束的局部最优，就是一直猛冲，而节能项的那点惩罚根本不足以改变动作选择。
解决：把λ_time从2.0下调，同时给惰行动作加一点偏好——惰行时额外给+0.5的即时奖励，等于明确告诉算法“什么都不做也有收益”。另一个更治本的办法是改成对比基准扣分：以全速追踪策略的能耗为基准，实际能耗低于基准给正奖励，高于基准给负奖励，这样算法优化的是“相对省电”而不是“绝对低能耗”。我自己第一次做的时候就被这个坑绊过，调了三天奖励函数才发现是时间权重作祟。
5.2 训练发散与限速失效：超参与软约束的调度坑
现象：Q值越更新越大，某个状态下的所有动作评分都在同方向上涨，策略却越来越差；或者训练时频繁冲过限速，明明限速项在奖励里有大惩罚，列车还是照闯不误。
原因：前者是学习率ALPHA太大或折扣因子GAMMA接近1，导致估计值自举过头，常见组合是ALPHA=0.5配GAMMA=0.99；后者是限速惩罚太软。限速超了只在那一刻扣分，但列车已经冲到80 km/h，之后就算制动力拉满也要滑行几百米才能降回40 km/h，这个速度惯性是单点惩罚管不住的。
解决：ALPHA控制在0.1到0.2，GAMMA不要超过0.97。限速防护必须硬约束和软约束一起上：软约束是奖励里给超限速叠加一次大惩罚，硬约束是训练时直接在动作选择里排除会让列车更快的动作——速度已经超限时，牵引动作根本不参与ε-greedy采样。这样算法连“试一下超速”的机会都没有，策略天然不会超限。
5.3 Q表动作抖动与停车精度不足的连锁反应
现象：策略曲线在巡航段频繁抖动，牵引和惰行交替出现；终点前反复冲停，停车误差超过一米，奖励一直拿不到终止加分。
原因：抖动来自相邻状态Q值接近时argmax不稳定；停车误差则来自位置离散粒度过粗。整个区间用50米一格的分段，终点前最后几十米根本分不出“该用多大制动力”的细节，列车在最后一个格子里只能靠运气停准。
解决：抖动用动作平滑和惰行保持解决，前面已经讲过。停车精度要从状态空间下手——把位置离散步长改成非均匀的：出站加速段和中间巡航段用50米，终点前200米加密到5米一格。状态数增加不多，但停车段的策略精细度完全不一样。奖励函数里再给一个明确梯度：停车误差低于0.3米加200分，误差每多0.1米扣10分，让算法有明确的优化方向。
5.4 惰行过度导致晚点成常态
现象：前几回训练节能效果喜人，能耗下降很猛，但区间运行时间总是超出目标5秒以上，列车在区间后段一路滑行到站。
原因：惰行偏好加过头了，+0.5的即时奖励让算法觉得“一直滑行最划算”，晚点惩罚要到终点才结算，又被GAMMA折现，中期奖励占不了便宜。
解决：把惰行的即时偏好改成“惰行且速度递减无牵引”时才给，不要无脑给；同时把晚点惩罚从线性改成阶梯式，超时5秒内小罚，超时10秒以上大罚，让算法对“轻微晚点”也有感知。另一种办法是把目标时间改成区间上下限，比如155到165秒都算准点，超过边界才开始惩罚，给算法留出惰行的自由度。
5.5 训练回合数不够，Q表高分区集中在初始状态
现象：训练曲线显示Q值还在涨，但策略已经跑得不错了；把训练回合数再翻倍，策略反而变差。
原因：后半段探索率已经衰减到很低，算法基本在走固定路线，Q表里大量状态只是偶尔被访问到，数值更新得很慢。这时候再加回合数，只是在反复强化同一条路径，Q表没有机会探索更好的方案。
解决：回合数不是越多越好。先看每个episode的车站间距和DT，估算一个状态被访问的期望次数；如果发现尾部大量状态从未被更新，就把EPSILON_MIN从0.02上调到0.08，让探索率维持在一个平台期。更稳妥的做法是训练中期做一次探索率重启，比如2500回合时把ε拉回0.3再衰减，相当于给算法第二次重新审视策略的机会。
6. 验证节能收益的一步到位做法：固定区间对比Q-learning策略与规则策略的能耗差
6.1 三策略对比的统计口径
训练结束后最常被问的一句话是“到底省了多少电”。回答这个问题需要一套统一口径：固定同一个区间线路，固定同一组坡道和限速，固定目标运行时间，跑三条策略做对比。第一条是全速追踪，到站最快但能耗最高，作为基准线；第二条是固定惰行，即常见的“加速到某速度就惰行，速度掉到下限再牵引”规则策略；第三条就是训练好的Q-learning策略。每条策略跑十次，记录区间运行时间、牵引总能耗和平均冲击率。
| 策略 | 区间运行时间 | 能耗（相对全速追踪） | 平均冲击率 |
|---|---|---|---|
| 全速追踪 | 最短 | 1.00 | 较高 |
| 固定惰行 | 目标时间±5s | 0.78～0.84 | 低 |
| Q-learning | 目标时间±5s | 0.68～0.75 | 中等 |
示例量级大致如此。Q-learning相对固定惰行通常还能再省8到12个百分点，来源主要是它把惰行点推得更晚、制动提前量更准，不再像规则策略那样“宁早勿晚”。注意每次跑都要从同样的初始条件出发，否则能耗差会被随机因素污染。
6.2 重训方差才是策略可信度的硬指标
单次训练结果好不能说明问题。我的习惯是把同一套超参换随机种子重训五次，统计五次策略的能耗均值和标准差。标准差超过8%说明训练噪声太大，可能是探索率衰减太快或状态粒度太粗；标准差低于3%才敢把策略交出去对比。这个习惯救过我一次：有一次单次训练能耗很好看，重训四次后发现另外三次能耗全部偏高，问题出在初始Q表全零、第一次探索路径把Q表带偏了。
验证时再画一张“能耗对比柱状图”，按牵引段、巡航段、制动段分段统计能耗差，一眼就能看出节能到底从哪里来。我现在的习惯是：跑完先看制动段的能耗是不是接近零，再看巡航段有没有出现持续牵引。如果制动段能耗很高，说明策略学的是“先冲后刹”；如果巡航段还在牵引，说明惰行点没找对。这两条对了，整体能耗差不了。希望这些细节能帮你把列车节能优化这个方向真正落地，而不是只停留在论文里。
本文还有配套的精品资源，点击获取
空间最优解)