干这行这么多年，我一直有个偏见：但凡看到“最优分配”四个字，论文里十有八九是凸优化加KKT条件。但做室内无线资源分配仿真做得多了，你就会发现，真实环境根本不给信道状态信息一个完美的全局视角，用户挪两步、门开一下，信道特性就变了。硬套凸优化模型，解出来的是某个瞬间的静态最优，下一毫秒可能就不是了。这也是我越来越倾向强化学习路线的原因——尤其深度Q学习，它能把“在一个持续变化的环境里反复做决策”这件事直接当作学习目标，不需要对信干噪比、干扰拓扑做太多理想化假设。
这篇我围绕一个实际跑通的Matlab仿真项目展开：基于深度Q学习（DQN）算法，在室内无线网络场景里做资源最优分配。项目目标是在一个高密度室内小蜂窝环境里，通过DQN学习出接近最优的发射功率、频域资源块分配策略，同时兼顾用户公平性和业务需求差异。全文会拆成六个部分：为什么室内资源分配非得转向强化学习，仿真环境怎么搭，DQN的状态动作奖励怎么设计，Matlab代码怎么写，训练曲线怎么判断，以及我踩过的几个坑。适合正在做通信资源分配相关课题、又不太想啃大篇幅强化学习理论，希望直接看可复现代码思路的朋友。
1. 室内无线资源分配为什么会走到DQN这一步
1.1 传统资源分配方法在室内场景里的尴尬
先说个典型场景：一个60平米办公室，塞了四个小基站，用户在工位之间走动，每人手里一部终端，有的在看视频，有的在传文件，有的只挂着微信。你要给每个用户分配频域资源块和发射功率，目标是让整体吞吐量尽量高，同时别让边缘用户完全饿死。
传统做法第一类是轮询调度（Round Robin）和最大载干比调度（Max C/I）。轮询简单，但完全不管信道差异，明明某个用户信号多差都分同样带宽，效率没法看。最大载干比调度的吞吐量最高，但这种“一切以信道好坏论英雄”的策略会让边缘用户永无翻身之日，公平性指标一塌糊涂，QoS直接违约。
第二类是用注水算法或者加权比例公平（PF）做优化。PF在很多标准教材里讲得头头是道，但落到室内场景有两个问题：一是比例公平要求知道所有用户当前的信道质量，并对所有可能分配方案做扫描，当资源块数量和用户数量上去之后，计算复杂度迅速升高；二是它本质上还是一个瞬时优化目标，而用户在移动、业务在变化，上一帧做好的分配决策，下一帧可能就让某个用户队列积压爆掉。
我最早做这套实验的时候，直接上过一个加权PF求解器，约束条件加了最大功率限制、最小速率保障，求解器跑得很慢，而且在信道估计误差稍微大一点的情况下，解出来的策略居然比启发式Max C/I还差。这个反直觉的结果让我意识到一个事情：室内场景里信道信息本身就不精准，指望一个对信道精度极其敏感的优化器去输出最优功率和频谱分配，策略的“最优”是纸面上的，不是实际环境中的。
1.2 为什么强化学习适合这种场景
无线资源分配本质上是序列决策问题。每一帧你观察一次信道状态、用户需求状态，然后决定这个时隙怎么分配功率和资源块，下一帧状态部分取决于上一帧的动作，也部分取决于随机信道衰落和用户运动。这种结构天然符合马尔可夫决策过程（MDP）。
强化学习的好处是它不要求你显式建模信道如何变化、用户如何移动，它只要求你给定状态、动作、奖励，然后通过试错学到“在某种状态下做某个分配决策到底值不值”。这特别关键，因为室内信道模型往往掺杂了大量多径衰落、阴影衰落、穿墙损耗，你用ITU-R室内模型也好，用射线追踪模型也好，总归都有估计误差。DQN接收的是来自这些不确定性观测的状态，学到的是一个对不确定性有鲁棒性的策略，而不是一个只能依赖满分信道信息的静态最优解。
另外，资源分配动作空间天然离散。我们在做功率分配时，不可能是连续无穷多个档位，一般约定成低、中、高几个发射功率档位；频域资源块分配更是离散的，要么把这几个子载波块分给这些用户，要么不分配。DQN这种基于动作值函数的方法处理中等规模的离散动作空间非常顺手，网络输出维度就是动作数，直接取argmax就得到策略，不用像策略梯度方法那样还要设计复杂的高斯策略。
2. 先把环境搭对：室内拓扑、业务模型与资源维度的选取
2.1 室内拓扑和用户运动模型
做DQN仿真，第一个要避免的误区就是“环境过于理想化”。有些论文直接把多天线室外宏蜂窝的小尺度衰落模型搬进来，然后说这是室内场景。室内场景的核心特点是：传播距离短、穿墙路径损耗明显、多径丰富但石壁带来的确定性损耗占主导。我搭的仿真环境参数如下：
- 室内尺寸：20m × 20m，单层，外墙厚度0.3m，内墙若干
- 接入点（AP）数量：4个，均匀分布在房间四角偏内位置
- 用户数量：8到16个可调，初始位置随机生成，移动速度0.5m/s到1.5m/s，方向随机
- 路径损耗模型：ITU室内路径损耗模型，L = 20log10(f) + Nlog10(d) + Lf(n) - 28，其中N为距离损耗系数，室内取28到32，Lf为穿墙损耗，一堵墙约10到15dB
- 衰落部分：瑞利衰落，但时间相关性通过一阶AR过程近似，避免每帧信道完全独立
用户运动我建议不要用太复杂的随机游走。真的跑过你就知道，如果用户像布朗运动一样高频转向，信道状态的相关性会被打得很碎，DQN很难学习到运动规律。更贴近实际的做法是：用户在几个工作站点之间做直线或缓慢曲线运动，到了站点停留一段时间再走。这样环境的时间相关性更强，强化学习学到的东西更有意义。
2.2 资源分配的对象：频域资源块、功率、用户调度
在LTE/NR风格的帧结构下，无线资源通常按资源块（RB）划分。我把频带设为10MHz，子载波间隔15kHz，一共50个资源块，不做载波聚合。每帧持续时间1ms，这正好对应一个传输时间间隔。这样一拍脑袋，如果用户数16个，资源块50个，全组合空间是50的16次方量级，DQN也不可能凭空处理。所以仿真里必须做降维处理。
我实际用的降维思路：先把50个RB分组成资源块组（RBG），每组大小按5个RB来，得到10个RBG。然后每次训练决策分配给每个用户一个RBG优先级，再结合用户调度，决定当前帧每个RBG分给哪个用户。动作空间不再面对50的16次方，而是10个RBG上的用户选择组合。这种方式在工程里很常见，牺牲少量频谱利用的精细度，换取决策空间的可处理性。
功率分配方面，每个RBG上的发射功率可以取离散档位：-3dBm、0dBm、3dBm、6dBm（相对基准功率）。这里注意，发射功率在整个仿真帧内保持不变，避免功率调整频率过高对射频前端造成负担，这在真实系统里也是合理的。
2.3 业务模型和优化目标
业务模型如果全做成满buffer持续下载，DQN最终只会学到纯粹的Max C/I。为了逼它变得“聪明”，我引入了三种业务流：
- 视频流：速率需求高，1Mbps到4Mbps不等，对时延敏感
- 网页浏览：平均速率需求中等，偶尔突发
- 传感数据：极低速率，但要求至少保证能传出去
然后优化目标定义为加权吞吐量减惩罚项。权重和用户当前积压队列长度相关，队列越长说明该用户越“饿”，在奖励里自然权重抬高。这样DQN在训练中会学到：不是信道最好的用户最重要，而是“信道不那么差且需求又急”的用户应该优先。这个设计跟我们实际运维的感觉是一致的——网络优化从来不只看物理层吞吐，还要看应用层体验。
仿真里还要统计另一个核心指标：Jain公平性指数，用来评价资源分配的公平性。Jain指数定义是均方与平方均值的比值，落在0到1之间，1表示绝对公平。尽管它不是奖励函数的一部分，但用来做训练后对比很有说服力。
3. 状态、动作、奖励：让DQN看懂无线资源分配问题
3.1 状态空间：不要只扔信道增益进去
我看过一些入门者写的DQN资源管理器，状态只用每个用户的信道增益，其他一概不管。这样训练出来的智能体往往只学会“分给信道最好的用户”，因为它的观察里根本没有业务需求这件事实。
我把状态设计成一个组合向量：
- 每个用户对每个RBG的信干噪比估计值，归一化到[0,1]
- 每个用户当前发送队列积压长度，同样归一化
- 每个用户的业务类型类别编码
- 当前帧索引、时隙索引的周期特征（帮助智能体感知时间维度）
- 上一帧的动作编码（帮助智能体理解动作带来的延迟影响）
直觉也很好理解：智能体得像一个真正的小区调度器，它不只知道谁信道好，还知道谁数据积压多、业务要求高、上一步干了什么。这样才能学会在信道质量和用户需求之间找平衡。
3.2 动作空间：组合动作如何离散化
单纯把每个RBG选一个用户，动作向量长度是16位，每一位有10个RBG可选，组合空间依然巨大。DQN的动作输出维度必须固定，如果动作维度是每个用户上分配哪个RBG，网络输出单元数就等于16×10=160，激活值取argmax选一个用户来匹配每个RBG吗？这看起来像多标签分类，但在DQN框架里需要定义成联合动作，复杂度还是偏高。
我的做法是先构造候选动作集合（Action List），这个集合不是所有组合，而是把“候选决策”封装成有限数量。具体分两步：
- 把当前帧用户在RBG上的信道质量按比例公平优先级排序，生成一个用户-资源块优先级矩阵
- 在这个优先级矩阵基础上，给出10个可选的策略模板：比如“完全比例公平分配”“偏向信道最优用户分配”“偏向最短业务队列分配”“功率首选低档位的保守分配”等等，模板可组合
这样动作空间就压缩到10个左右离散动作，每个动作对应一种分配策略倾向。在仿真里的效果是：DQN学的是“在不同室内干扰状态下哪种调度策略模板最合适”，而不是每次从零组合几十万种分配。这有一定降维损失，但换来了训练稳定，而且实测下来最终结果比随机选择或固定比例公平都高出不少。
3.3 奖励函数的设计教训
奖励函数是我在这个项目里调得最久的部分，没有之一。早期我直接用系统总吞吐量作为奖励，结果训练出的智能体疯狂把资源堆给信道最好的用户，边缘用户吞吐趋近于零，公平性惨不忍睹。后来我改成加权吞吐量，让队列积压长度大的用户权重高一点，收敛就好多了，但训练期间奖励曲线波动特别大，因为权重本身随状态变化，同一动作在不同状态下的奖励值方差很大。
最后我用的奖励拆成三项：
R = w1 * 系统归一化吞吐量增量 - w2 * 队列积压惩罚 - w3 * 功率开销惩罚
其中w1取1.0，w2取0.3，w3取0.1。归一化吞吐量增量是相对上一帧总吞吐量的变化，这样智能体学到的其实是“改善方向”，而不是绝对吞吐量。功率开销惩罚则鼓励它不要动不动就拉满功率，因为功率高会干扰相邻AP覆盖的用户，短期吞吐可能提高，但长期整体体验会下降。
这里最需要注意的一点：奖励不要直接等于某个绝对指标，比如总吞吐、总功耗。要转换成增量式、差分式的信号。DQN本身学的是回报的累积期望，奖励如果绝对很大但稀疏，梯度更新很容易被BN层归一化之后忽略掉；增量式奖励让每个决策都产生立即可学习的反馈信号。
4. Matlab里的DQN实现：从伪代码到可运行
4.1 如果你没有深度学习工具箱怎么办
Matlab有Deep Learning Toolbox，里面自带卷积和全连接层，很多朋友以为直接用trainNetwork就能训练DQN。这是错的。因为DQN要求每次与环境交互后立刻更新网络，这是增量学习，不是离线批量训练。trainNetwork是给静态数据集用的，接口设计上并不适合一帧一更新。
我的做法是：自己写一个三层全连接网络的前向和反向传播，不依赖工具箱。网络规模不大，三个隐藏层各64、128、64个神经元，用ReLU激活，输出10个动作的Q值。反向传播只需要链式法则，对于这种规模的MLP，Matlab矩阵运算几十行就搞定了。这个做法有个额外好处：你完全清楚每步梯度怎么流的，出bug容易定位。
4.2 记忆回放和目标网络这两个标配不能省
DQN能跑起来，最重要两个机制：经验回放（Experience Replay）和目标网络（Target Network）。经验回放就是把每次交互产生的状态转移四元组(s, a, r, s')存进一个环形缓冲区，训练时随机抽一批，打破样本间的时间相关性。这在无线信道模拟里尤其重要，因为信道状态有很强的时间相关性，如果训练样本都是顺次取的，网络会被近期样本带偏。
目标网络则解决一个更隐蔽的问题：DQN的TD目标公式q_target = r + γ * max(Q_target(s'))，如果目标Q也来自同一个正在更新的网络，那每次更新都在追逐一个移动的靶子，容易发散。目标网络是旧的参数副本，每N步才同步一次。N我取200，也就是200帧同步一次，实测下来比每帧同步稳。注意训练室内无线资源分配这个环境时，信道随机性较强，目标网络同步太勤快会让Q值估算方差爆高。
4.3 核心训练循环参考代码
下面是一个简化版本的Matlab核心训练循环，我注释写得很详细，照搬到自己的工作区里改改环境交互函数就能用。
% 超参数 learningRate = 5e-4; gamma = 0.95; epsilon = 1.0; % 初始探索率 epsilonMin = 0.02; epsilonDecay = 0.999; % 每帧衰减 bufferSize = 20000; batchSize = 64; targetUpdateFreq = 200; trainStart = 500; % 经验池超过这个量才开始训练 % 网络初始化 qNet = initMLP([stateDim, 64, 128, 64, nAction]); qTarget = qNet; % 经验回放缓冲区 replayBuffer = zeros(bufferSize, stateDim*2 + 2); % s,a,r,s' bufferIdx = 1; state = resetEnvironment(env); totalReward = 0; for step = 1:episodeLength % epsilon-greedy选择动作 if rand < epsilon action = randi([1, nAction]); else qValues = forwardNet(qNet, state); [~, action] = max(qValues); end [nextState, reward, done] = stepEnvironment(env, action); % 存入经验回放缓冲区 replayBuffer(bufferIdx, :) = [state, action, reward, nextState]; bufferIdx = mod(bufferIdx, bufferSize) + 1; if bufferIdx > trainStart % 随机采样一个batch batch = replayBuffer(randi(bufferSize, batchSize, 1), :); for i = 1:batchSize s = batch(i, 1:stateDim); a = batch(i, stateDim+1); r = batch(i, stateDim+2); s_next = batch(i, stateDim+3:end); % 计算TD目标 qNext = forwardNet(qTarget, s_next); targetQ = r + gamma * max(qNext); % 当前网络Q值 qArr = forwardNet(qNet, s); currentQ = qArr(a); % 损失对参数的梯度按MSE传播 loss = (targetQ - currentQ)^2; % 这里省略反向传播链式求导的具体代码， % 核心是按dL/dW = -2 * (targetQ - currentQ) * dQ/dW 更新 end % 更新qNet参数 updateNetParams(qNet, lossGradient, learningRate); end state = nextState; totalReward = totalReward + reward; if done state = resetEnvironment(env); totalReward = 0; end if mod(step, targetUpdateFreq) == 0 qTarget = qNet; end epsilon = max(epsilonMin, epsilon * epsilonDecay); end4.4 数值上的两个细节：奖励异常值与梯度裁剪
我训练过程中最先碰到的数值问题是奖励项偶尔出现极端值，比如某个用户在信道突变时测到的信干噪比特别高，导致吞吐量增量暴涨。经验回放缓冲区里有这种离群样本后，TD误差会飙到几十甚至上百，一次反向传播就能把网络权重推向训练前完全不同的区域，后面几十帧都缓不过来。
解决办法两招：一是奖励裁剪，把每帧奖励限制在[-1, 1]区间；二是梯度裁剪，梯度模长超过10就按比例缩放。这两招做完之后，训练明显稳了，奖励曲线不再动不动跳大台阶。
另外一个细节是状态归一化。信道增益、队列长度、功率消耗这几个特征量纲差别很大，不归一化的话，网络权重的梯度主要被量纲大的特征主导，量纲小的特征根本学不到。我最后把所有状态特征都映射到[0,1]，归一化函数放在环境向智能体返回状态时统一处理，而不是在状态喂给网络前单独做，这样训练和实测行为一致。
5. 训练曲线、参数调参与公平性评估
5.1 我的实验配置和基线方法
实验配置我设置为12个用户，4个AP，10个RBG，功率档位4档，每回合仿真步数500帧。用户业务混合：5个视频用户，5个网页用户，2个传感用户。基线对比方法选了三种：随机分配、比例公平调度、最大载干比调度。DQN在网络未完全收敛前会先探索一阵，所以评估时我用固定的epsilon=0.02，也就是将近99%的贪心概率，连续测10个回合取平均。
训练回合数我跑了大概400回合。每回合500帧，总交互量20万次左右。这个量级对三层MLP来说并不大，Matlab纯M语言实现一回合也就几秒到十几秒，400回合大概一个多小时。如果你用的是深度学习工具箱或者调用了GPU，会更快。但说实话，网络规模不大，没必要上GPU，CPU跑就行，反而省去一堆数据传输开销。
5.2 训练曲线怎么判断有没有学废
训练曲线一般有三种典型形态。第一种是奖励从一开始就缓慢上升，中间有一段小平台，之后继续上升，这是健康的学习。第二种是奖励前几百步猛涨，然后掉头向下，这种多半是目标网络同步频率太低，Q值估计已经偏离真实回报，等目标网络追上新参数时网络早已发散。第三种是奖励基本不涨甚至下降，但探索率已经衰减到很低，这通常是奖励设计没有提供足够的信号梯度，或者状态归一化出问题，网络对输入变化不敏感。
我建议大家在训练过程中把平均Q值也记录下来。平均Q值可以理解为“智能体对自己未来收益的乐观程度”。如果平均Q值持续上升但实际奖励不升，那它已经在自欺欺人，多半是TD误差太大或者targetQ过高估计。这时把gamma调低一点、目标网络更新频率调高一点，往往能压住过估计。
训练结束后，我还会保存一份评估阶段的逐帧记录，包括当前帧各用户的速率、队列积压、RBG分配结果。这条逐帧记录非常重要，因为只看平均值看不出策略的“分配脾气”，你要看它是不是在一段时间内疯狂饿着某个边缘用户，然后又突然补偿式地给它一大片资源。这种“情绪化”分配很影响实际体验，即使平均值好看也不行。
5.3 超参数调整经验表
下面是几个关键超参数对收敛效果影响的实际观察，供参考：
| 超参数 | 推荐范围 | 我实测的倾向 | 影响说明 |
|---|---|---|---|
| 学习率 | 1e-4 到 5e-4 | 3e-4附近最好 | 过大会导致梯度更新震荡，收敛性差 |
| 折扣因子γ | 0.9 到 0.99 | 0.95 | 室内信道变化较快，γ太大会让远未来回报失真 |
| 探索率初始值 | 0.7 到 1.0 | 0.9 | 起始探索太少会陷入局部策略 |
| 探索衰减因子 | 0.998 到 0.9999 | 0.999 | 衰减太慢浪费计算，太快策略固化 |
| 批次大小 | 32 到 128 | 64 | 受到GPU显存限制选32也可接受 |
| 目标网络同步步数 | 100 到 500 | 200 | 太频繁训练震荡，太稀疏Q值过估计 |
| 经验池容量 | 5000 到 50000 | 20000 | 容量太小样本多样不足，太大会慢 |
这些值不一定适合你的信道模型，我给三个可复现的调参策略：第一，扫描学习率，按10倍步长找量级再细调；第二，先固定其他参数跑完总训练的20%，观察平均Q值是否在稳步上升，如果不上涨果断改奖励设计而不是反复调学习率；第三，每改一个参数就保留一份模型副本，用评估脚本量化吞吐和公平指数，而不是只盯训练奖励曲线。
5.4 和基线方法的效果对比
跑完400回合后，我用相同室内信道种子序列把所有对比策略重新各跑一遍。结果让我确定了DQN方向的可行：
- 随机分配：系统平均吞吐最低，但公平指数看起来还可以。这种“均贫”不是我们要的，低吞吐下的公平没有意义。
- 最大载干比：平均吞吐较高，但Jain公平指数只有0.61，视频用户中的边缘用户速率低到不可用。
- 比例公平：平均吞吐和公平性都有中规中矩的表现，Jain指数约0.82。
- DQN：平均吞吐比比例公平高约12%，Jain指数0.84。更值得一提的是，视频用户的质差概率降低了，也就是队列积压超过阈值的时长占比明显更小。
这个结果也说明，DQN的优势不是碾压式的“吞吐暴涨”，而是在保证公平性的同时把整体效率往上抬。如果有人说DQN能比传统方法吞吐提升50%，那要么动作空间设计得很极端，要么基线方法没调好。真实的收益更多来自“多目标平衡”的灵活性。
6. 几个提升效果的改动与仿真过程中的避坑体验
6.1 从DQN到Double DQN：几乎白拿的改进
普通DQN有个理论上的毛病：max操作会过高估计Q值，因为这个最大值是从噪声估计里挑出来的。在无线资源分配这种高噪声环境里，过估计更明显。Double DQN的改动只是把目标网络输出的动作选择交给当前网络来选，再用目标网络算该动作的Q值，也就是td_target = r + γ * Q_target(s_next, argmax_a Q_current(s_next, a))。
实现上只改一行代码。我在项目里试过，同样的超参数下，Double DQN的训练曲线振荡幅度更小，最终公平指数还小幅提高。强烈建议直接上Double DQN，别浪费时间在普通DQN上调参。
6.2 优先经验回放：信道突变样本更有价值
普通经验回放随机采样，对每个样本一视同仁。但无线信道有深度衰落和突发干扰，这些“罕见但重要”的样本如果很少被采样到，智能体对突发场景的应对能力就会很差。优先经验回放会让TD误差大的样本有更高概率被抽到，训练重点自然就落在那些“让智能体意外”的转移上。
我在室内场景里用优先回放后，用户走到墙角深衰落区域时，资源分配策略明显变得更果断，不会磨磨蹭蹭迟迟不切换资源。代价是实现复杂度上升，要维护一个优先队列。如果刚入门，我建议先把普通回放跑通，再考虑优先经验回放，不然排错时多一个变量会很痛苦。
6.3 动作粒度对训练效率的双刃剑影响
前面我讲了把动作空间压缩到10个策略模板，这是一种做法。如果追求更细的控制，可以把动作空间扩到30个或者50个，但训练回合数会成倍增加。我试过直接把每个RBG上的功率档位和用户选择全排列放进动作空间，大概80个动作，结果网络规模没怎么变，但训练了600回合还很难收敛。
后来我用了一个折中：动作空间还是10个模板，但在模板内部允许小范围的功率微调。也就是说，智能体决定“这一帧偏重比例公平策略”，然后这个策略具体选用哪个功率补偿参数由模板内部的确定性规则给出。这样既保住了DQN的学习能力，又让资源分配的粒度不至于太粗。
6.4 事故现场还原：一次“训练成功但评估崩溃”的复盘
还是分享一个印象深刻的排错经历。有一版训练出来的DQN，训练奖励曲线相当漂亮，但我换到另一个室内拓扑下评估时，性能直接崩了。复盘原因是环境里有个变量没做归一化：拓扑变了之后，AP和用户之间的距离范围变了，信干噪比的自然范围也跟着变，但训练时网络已经锁定在原来的状态分布区间。这本质上是泛化问题。
那次之后，我形成了一个习惯：训练结束之后的评估阶段，必须至少用两种不同的室内拓扑，比如一个开阔办公区、一个隔断多的小房间布局，去看策略是不是“过拟合到某一个场景”。如果差很多，就要考虑把拓扑相关特征也拆出来放进状态，或者用域随机化训练，在训练时就随机化AP位置、墙位置、用户数量，让智能体学到的策略不依赖特定房间结构。
这个坑也直接影响了我的建议：如果你想把这个方法往真实系统里搬，别指望一个模型打天下，要么按小区场景分别训练，要么把拓扑信息写清楚放在状态里。
最后再说一个我自己很受用的工作习惯：每个版本的DQN训练完，除了保存.mat模型文件，一定要把这一版的超参数、状态定义、动作定义、评估日志四件套一起归档。不然过了两个星期你想复现当时的某个效果，对着旧的奖励曲线却想不起来当时用的是什么动作模板，那感觉真的很崩溃。做强化学习仿真，实验可复现性比单次跑出来的漂亮结果重要得多，尤其是当你需要面向实际部署做迭代时，这套归档习惯能救你很多次。
