多臂老虎机：不确定性环境下的序贯决策建模方法-平芜编程栈

1. 什么是多臂老虎机问题：一个被低估的决策建模基石

“多臂老虎机问题”这六个字，乍一听像赌场里的设备故障报告，但其实它早已悄悄渗透进你每天刷的推荐流、点的外卖广告、甚至医生开的治疗方案里。这不是玄学，而是一套被数学严格定义、被工业界反复验证的不确定性环境下的序贯决策框架。我第一次在某高校实验室调试推荐系统时，导师随手在白板上画了个三臂老虎机草图，说：“别急着调模型，先想清楚你是在解决bandit问题，还是在假装解决bandit问题。”——那会儿我才真正意识到，所谓“智能推荐”，底层逻辑往往就卡在这个看似简单的选择困境上。

它的核心就一句话：你面前有N个选项（比如N个广告位、N种药物剂量、N条短视频推送策略），每个选项背后藏着一个未知的收益概率分布；你每次只能选一个，获得一次反馈（点击/不点击、康复/恶化、完播/跳出）；目标是在有限尝试次数内，最大化总收益，同时尽可能少踩坑。这里没有上帝视角，没有完整数据集，只有实时、稀疏、带噪声的反馈流。它和传统机器学习最根本的区别在于：模型的训练过程本身就在影响数据的生成方式——你今天选了A，就永远失去了今天观察B真实效果的机会；而你昨天选B，又可能让今天的A效果发生偏移（比如用户疲劳效应）。这种“决策即实验”的闭环特性，让它成为连接算法理论与真实业务落地最关键的桥梁之一。

对新手来说，最容易掉进的误区是把它当成一个“分类问题”或“回归问题”来解。比如看到“广告点击率预测”，第一反应是堆特征、上深度网络。但现实是：如果你用离线历史数据训练出一个高精度CTR模型，再拿它去线上全量投放，结果很可能是灾难性的——因为模型学到的是“过去用户在旧策略下表现出的行为”，而你上线后策略变了，用户行为立刻漂移。多臂老虎机恰恰强制你面对这个冷酷事实：所有预测都必须在持续探索（exploration）与利用（exploitation）之间做动态权衡。它不承诺给你一个静态最优解，而是提供一套在不确定中稳健前行的导航协议。从这个角度看，它不是某个具体技术，而是一种思维方式——一种承认无知、拥抱反馈、在行动中学习的工程哲学。

2. 问题拆解与建模思路：为什么不能直接“猜最好的”？

2.1 核心矛盾：探索与利用的永恒张力

多臂老虎机问题的数学本质，是求解一个累积遗憾（cumulative regret）最小化的问题。遗憾，指的是你实际拿到的总收益，与“如果一开始就全知全能、永远选择最优臂”所能获得的最大收益之间的差值。这个差值越小，说明你的策略越聪明。但关键在于：最优臂本身是隐藏的，你必须通过试错去逼近它。这就引出了最根本的矛盾：

纯利用（Pure Exploitation）：每次都选当前观测到平均收益最高的臂。短期看很稳，但一旦初始观测有偏差（比如某臂偶然连中两次），你就可能死锁在一个次优选项上，永远发现不了真正的王者。实测过，某电商首页Banner轮播策略曾用纯利用，结果3天内流量全部被一个历史点击率略高的老素材吸走，新活动素材零曝光。
纯探索（Pure Exploration）：比如均匀随机选择每个臂。能保证所有臂都被覆盖，但代价是大量无效尝试——把预算浪费在已知低效的选项上。某在线教育平台曾用此法测试50个课程封面图，结果首周付费转化率暴跌40%，因为大量用户被导流到明显劣质的图上，直接流失。

所以，所有主流算法都在设计一个精巧的“开关”，动态调节探索与利用的比例。这个开关的响应速度、灵敏度、抗噪能力，直接决定了算法在真实业务中的鲁棒性。它不像调参那样可以靠网格搜索搞定，而需要深入理解业务场景的反馈延迟、噪声水平、臂间差异度等隐性特征。

2.2 臂的类型决定解法：从独立同分布到上下文感知

很多人以为多臂老虎机就是“几个按钮随机按”，其实臂的性质千差万别，直接决定了你该用哪套工具：

标准臂（Stochastic Bandit）：每个臂的收益服从一个固定但未知的概率分布（如伯努利分布：点击=1，不点击=0）。这是最基础的形态，适用于广告点击、邮件打开率等二值反馈场景。它的数学处理相对干净，UCB、Thompson Sampling等经典算法在此表现稳定。
对抗臂（Adversarial Bandit）：对手（可以是恶意攻击者，也可以是剧烈变化的市场环境）会根据你的历史选择，动态调整各臂的收益。比如黑产团伙针对你的风控策略，不断变换欺诈模式。此时，任何依赖统计稳定性的算法都会失效，必须转向Exp3这类基于指数加权的对抗算法。
上下文臂（Contextual Bandit）：每次决策前，你会收到一个上下文向量（如用户年龄、地域、历史行为序列），各臂的收益不仅取决于自身，更取决于上下文与臂的交互。这才是现代推荐系统的常态——“给25岁程序员推什么技术课”和“给45岁管理者推什么领导力课”，最优臂完全不同。它本质上是将bandit问题与函数逼近（如线性模型、神经网络）耦合，要求算法既能做决策，又能在线学习上下文-收益映射关系。
结构化臂（Structured Bandit）：臂之间存在已知结构，比如地理位置相近的门店销量相似，或药品分子结构相似则疗效相近。这时可以引入图神经网络或核方法，利用结构信息加速收敛，避免对每个臂都从零开始试错。

选择哪种建模路径，绝不是看论文炫技，而是要拿着业务日志反推：你的反馈延迟是秒级还是天级？单次反馈的方差有多大？用户群体是否高度异质？竞品动作是否会导致收益突变？我见过太多团队一上来就上Contextual Bandit，结果发现90%的用户上下文特征都是空值，最后退回到标准Bandit反而效果更好——模型的复杂度，永远要向数据的真实质量低头。

2.3 时间维度的陷阱：静态假设 vs 动态世界

教科书里常把多臂老虎机描述成“T轮决策”，仿佛时间是个均匀流逝的标尺。但真实世界里，时间本身就是最大的干扰变量。这里有三个致命陷阱：

非平稳性（Non-stationarity）：各臂的真实收益会随时间漂移。比如季节性商品，618大促期间某款防晒霜的转化率可能飙升300%，但7月过后迅速回落。若算法还固守历史均值，就会严重误判。解决方案不是简单增加遗忘因子，而是要设计检测机制——当连续K轮观测到某臂收益显著偏离其滑动窗口均值时，触发重置或局部探索。
延迟反馈（Delayed Feedback）：关键反馈（如用户是否最终付费、是否复购）往往滞后数小时甚至数天。而算法每轮都需要即时决策。常见错误是把“未反馈”等同于“负反馈”，导致过早淘汰潜力股。正确做法是引入等待队列，对延迟反馈设置权重衰减（如t小时后反馈权重为e^(-λt)），或采用Double Thompson Sampling等专门处理延迟的变体。
批量更新（Batch Updates）：线上系统通常不是单次请求单次响应，而是按分钟/小时聚合日志。这意味着你无法做到“每选一次臂就立刻更新模型”，必须适应批量到达的反馈数据。这要求算法具备增量学习能力，参数更新公式需支持批处理形式，否则会出现模型滞后于数据的现象。

这些时间维度的复杂性，使得一个在离线仿真中完美的算法，上线后可能水土不服。我的经验是：在AB测试前，必须用真实日志做“时间扭曲回放”——按原始时间戳顺序重放用户请求流，模拟线上延迟与批量特性，才能暴露算法的真实短板。

3. 主流算法原理与实操要点：从公式到代码的硬核解析

3.1 ε-Greedy：简单粗暴却意外有效的基线

ε-Greedy是所有bandit算法的“Hello World”，原理直白得令人感动：以概率ε随机选择一个臂（探索），以概率1-ε选择当前观测到平均收益最高的臂（利用）。ε通常设为0.1或0.05，代表10%的探索预算。

但它的实操远非调个参数那么简单。我曾在一个新闻App的标题党测试中，发现固定ε=0.1导致新标题永远无法突围——因为老标题历史数据多，均值稳定，新标题哪怕真实效果更好，也需要数十次随机曝光才能积累足够样本。后来我们改用衰减ε策略：ε_t = ε_0 / log(t+1)，让探索预算随时间缓慢下降。这样既保证初期充分探索，又避免后期过度扰动。

更关键的是如何定义“当前最高收益”。直接算历史平均？错。要考虑反馈延迟。我们维护一个滑动窗口（如最近1000次曝光），只计算窗口内已确认反馈的样本均值。对于未确认的，暂不计入。代码层面，这需要一个带时间戳的环形缓冲区，而非简单累加器。

# ε-Greedy核心逻辑（伪代码） class EpsilonGreedy: def __init__(self, n_arms, epsilon=0.1, window_size=1000): self.n_arms = n_arms self.epsilon = epsilon self.window_size = window_size # 每个臂的滑动窗口：存储(时间戳, 收益)元组 self.rewards_window = [[] for _ in range(n_arms)] self.total_counts = [0] * n_arms # 总尝试次数（含未反馈） def select_arm(self): if random.random() < self.epsilon: return random.randint(0, self.n_arms-1) # 随机探索 else: # 计算各臂在滑动窗口内的平均收益 avg_rewards = [] for i in range(self.n_arms): # 过滤出窗口内已确认的反馈（假设confirmed=True表示已反馈） confirmed_rewards = [r for t, r in self.rewards_window[i] if self.is_confirmed(t)] avg_rewards.append(np.mean(confirmed_rewards) if confirmed_rewards else 0.0) return np.argmax(avg_rewards) def update(self, arm, reward, timestamp): # 将新反馈加入对应臂的窗口 self.rewards_window[arm].append((timestamp, reward)) # 维护窗口大小：移除最老的记录 if len(self.rewards_window[arm]) > self.window_size: self.rewards_window[arm].pop(0)

提示：ε-Greedy的致命弱点是“探索无记忆”。它不会因为某臂连续失败就减少对其探索，也不会因为某臂偶发成功就加大投入。在臂间差异大的场景（如一个臂真实CTR 5%，另一个仅0.1%），它会浪费大量预算在劣质臂上。此时应切换到更智能的算法。

3.2 UCB1：用置信区间量化“不确定性”

UCB1（Upper Confidence Bound）算法的洞见在于：选择不应只看“当前最好”，更要看“最值得怀疑”。它给每个臂计算一个“上置信界”：均值 + 置信区间半径。半径越大，说明对该臂了解越少，越值得去探索。公式如下：

$$A_t = \arg\max_{i} \left( \bar{x}_i + \sqrt{\frac{2 \ln t}{n_i}} \right)$$

其中，$\bar{x}_i$ 是臂i的历史平均收益，$n_i$ 是尝试次数，$t$ 是总轮数。根号项就是置信区间半径——尝试次数$n_i$越少，半径越大；总轮数$t$越多，对所有臂的半径都增大，但对尝试少的臂增幅更大。

这个公式的精妙之处在于：它天然实现了“探索衰减”。随着$t$增大，所有臂的半径都变小，算法越来越相信历史均值；但对$n_i$极小的臂（如刚上线的新素材），其半径依然巨大，确保它必被选中。我曾在某短视频平台AB测试中，用UCB1替代人工轮播，新视频的冷启动曝光效率提升3倍，且72小时内就能准确识别出TOP10优质内容。

实操中要注意两个魔鬼细节：

对数底数的选择：公式中是自然对数ln，但有些实现用log2。底数不同，半径尺度不同，需统一。我们坚持用ln，因为其理论证明最坚实。
初始探索的强制触发：当某臂$n_i=0$时，公式分母为零。标准做法是首轮强制每个臂至少选一次（即“初始化轮”）。但若臂数N极大（如10万级个性化推荐），首轮全量尝试不现实。此时可采用“分层采样”：先按粗粒度分组（如按内容品类），每组内用UCB，再逐步细化。

# UCB1核心逻辑（简化版） class UCB1: def __init__(self, n_arms): self.n_arms = n_arms self.successes = [0] * n_arms # 累计成功次数（如点击） self.trials = [0] * n_arms # 累计尝试次数（如曝光） self.total_rounds = 0 def select_arm(self): self.total_rounds += 1 # 计算每个臂的UCB值 ucb_values = [] for i in range(self.n_arms): if self.trials[i] == 0: # 未尝试过的臂，UCB设为无穷大，确保必选 ucb_values.append(float('inf')) else: mean_reward = self.successes[i] / self.trials[i] # 置信区间半径：sqrt(2*ln(t)/n_i) radius = math.sqrt(2 * math.log(self.total_rounds) / self.trials[i]) ucb_values.append(mean_reward + radius) return np.argmax(ucb_values) def update(self, arm, reward): self.trials[arm] += 1 self.successes[arm] += reward # reward为0或1

注意：UCB1假设收益是独立同分布的，对非平稳环境敏感。若业务中存在明显的周期性（如工作日vs周末），需在公式中引入时间衰减因子，或切换到Sliding-Window UCB变体。

3.3 Thompson Sampling：贝叶斯思维的优雅落地

Thompson Sampling（汤普森采样）是近年来工业界最青睐的算法，因为它将bandit问题完美转化为一个贝叶斯后验采样问题。其思想极其朴素：我不直接计算哪个臂最好，而是为每个臂维护一个收益概率的“信念分布”（Prior），每次决策前，从每个臂的当前信念分布中随机采样一个值，然后选择采样值最大的那个臂。随着反馈到来，我用贝叶斯定理更新每个臂的信念分布（Posterior）。

对二值收益（点击/不点击），最自然的共轭先验是Beta分布。Beta(α, β)表示“相信该臂点击率是p”的强度，其中α可理解为“历史点击次数+1”，β为“历史未点击次数+1”。初始时设α=β=1（均匀先验，即认为任何点击率都等可能）。每次获得点击反馈，α+=1；未点击，β+=1。更新后，后验仍是Beta分布，采样高效。

它的优势是探索具有方向性：不会盲目探索所有臂，而是倾向于探索那些“信念分布重叠度高”的臂——即当前难以区分优劣的候选者。比如臂A后验是Beta(10,5)（均值0.67），臂B是Beta(8,7)（均值0.53），两者分布有较大重叠，TS会经常在这两者间切换；而臂C是Beta(2,20)（均值0.09），分布远离其他两者，几乎不会被采样。

实操中，我们遇到的最大挑战是大规模并行采样。当臂数达百万级时，为每个臂生成一个Beta随机数开销巨大。解决方案是：只对Top-K个高潜力臂采样。我们维护一个优先队列，按当前后验均值排序，每次只对队列前100名臂采样，其余臂的采样值设为0。经压测，K=100时效果损失<0.5%，但QPS提升5倍。

# Thompson Sampling核心逻辑（Beta-Bernoulli） class ThompsonSampling: def __init__(self, n_arms, alpha0=1.0, beta0=1.0): self.n_arms = n_arms self.alpha = [alpha0] * n_arms # 点击次数+1 self.beta = [beta0] * n_arms # 未点击次数+1 def select_arm(self): # 为每个臂从Beta(alpha_i, beta_i)采样 samples = [] for i in range(self.n_arms): # 使用numpy的beta分布采样（高效） sample = np.random.beta(self.alpha[i], self.beta[i]) samples.append(sample) return np.argmax(samples) def update(self, arm, reward): if reward == 1: self.alpha[arm] += 1 else: self.beta[arm] += 1

实操心得：Thompson Sampling对初始先验非常敏感。若α0, β0设得过大（如100），会导致冷启动期过长；过小（如0.1）则易受噪声干扰。我们的经验是：α0=β0=1是安全起点，若业务有强先验（如新广告预计CTR在1%-3%），可设α0=1, β0=99（对应均值1%）。

3.4 LinUCB：上下文感知的线性突破

当决策需要结合用户特征时，标准bandit算法就力不从心了。LinUCB（Linear Upper Confidence Bound）是第一个将线性模型与UCB思想成功融合的算法，它假设臂i在上下文x下的期望收益为：$E[r|x,i] = x^T \theta_i$，其中$\theta_i$是该臂的未知权重向量。

LinUCB的核心创新在于：它不再为每个臂单独维护统计量，而是为每个臂学习一个置信椭球（Confidence Ellipsoid）。每次选择臂时，它计算每个臂在当前上下文x下的“乐观估计”：$x^T \hat{\theta}_i + \alpha \cdot \sqrt{x^T A_i^{-1} x}$，其中$A_i$是该臂的特征协方差矩阵（衡量对$\theta_i$的了解程度），第二项就是置信区间半径。

这个公式意味着：对同一个用户x，算法会偏好那些它最不了解（$A_i^{-1}$大）或特征x与已知样本正交（$x^T A_i^{-1} x$大）的臂。这正是上下文探索的精髓——不是随机选臂，而是找“当前用户特征下最不确定的选项”。

我们将其部署在某金融APP的理财产品推荐中。用户特征x包括年龄、资产等级、风险测评分数等10维，臂是50款产品。LinUCB上线后，高风险产品的首次曝光准确率提升27%，因为算法能精准识别出“哪些用户特征组合下，某高风险产品的真实收益尚未被充分观测”。

实操难点在于矩阵求逆的数值稳定性。$A_i$随时间增长可能病态。我们采用递推更新：$A_i^{(t)} = A_i^{(t-1)} + x_t x_t^T$，并用Cholesky分解代替直接求逆，将计算复杂度从O(d³)降至O(d²)。

# LinUCB核心逻辑（简化） class LinUCB: def __init__(self, n_arms, d, alpha=1.0): self.n_arms = n_arms self.d = d # 特征维度 self.alpha = alpha # 每个臂的协方差矩阵 A_i (d x d) self.A = [np.eye(d) for _ in range(n_arms)] # 每个臂的 b_i 向量 (d x 1)，用于解 A_i * theta_i = b_i self.b = [np.zeros(d) for _ in range(n_arms)] def select_arm(self, x): # x 是 d维特征向量 p_scores = [] for i in range(self.n_arms): # 计算theta_i的最小二乘估计 theta_i = np.linalg.solve(self.A[i], self.b[i]) # A_i * theta_i = b_i # 计算置信区间半径：alpha * sqrt(x^T * A_i^{-1} * x) # 使用cholesky分解避免直接求逆 L = np.linalg.cholesky(self.A[i]) # 解 L * y = x，再解 L.T * z = y，则 z = A_i^{-1} * x y = np.linalg.solve(L, x) z = np.linalg.solve(L.T, y) radius = self.alpha * np.sqrt(np.dot(x, z)) p_score = np.dot(theta_i, x) + radius p_scores.append(p_score) return np.argmax(p_scores) def update(self, arm, x, reward): # 更新 A_arm 和 b_arm self.A[arm] += np.outer(x, x) self.b[arm] += reward * x

注意：LinUCB假设收益与特征呈线性关系。若业务中存在强非线性（如用户活跃度与转化率呈U型关系），需先对特征做非线性变换（如多项式、分箱），或升级到NeuralUCB等深度学习变体。

4. 工程落地全流程：从离线仿真到线上AB测试

4.1 离线评估：为什么AUC和RMSE在这里全是假象？

在推荐系统中，我们习惯用AUC、RMSE等指标评估模型。但对bandit算法，这些指标完全失真。原因很简单：AUC衡量的是模型对“所有样本”的排序能力，而bandit算法只关心“它实际选择的那些样本”的反馈。一个AUC高达0.95的模型，若因过度自信而长期忽略新臂，其线上遗憾可能爆炸。

正确的离线评估必须重放真实决策流。我们构建了一个“Bandit Simulator”框架：

数据准备：从生产日志中提取用户请求序列，每条记录包含：时间戳、用户ID、上下文特征x、候选臂集合、各臂的真实收益（需回溯确认，如用户最终是否购买）。
重放引擎：按时间戳顺序逐条处理请求。对每条请求，调用待测算法的select_arm(x)接口，得到选择的臂a；然后从日志中取出该臂对应的真实收益r，调用update(a, r)。
指标计算：全程记录每轮的遗憾（regret_t = 最优臂收益 - 实际选择臂收益），最终输出累积遗憾曲线、遗憾增长率、以及“达到稳定状态所需轮数”等核心指标。

我们曾用此框架对比UCB1和Thompson Sampling在某新闻推荐场景的表现。结果显示：UCB1在前1000轮遗憾更低（收敛快），但Thompson Sampling在10000轮后遗憾增速更慢（长期更优）。若业务追求快速见效，选UCB1；若追求长期ROI，Thompson Sampling胜出。这种细粒度洞察，是任何静态指标都无法提供的。

提示：离线仿真最大的陷阱是“数据泄露”。务必确保算法在t时刻只能访问t时刻及之前的数据。我们强制所有算法实现必须接收一个current_time参数，并在内部校验更新操作的时间戳合法性。

4.2 在线服务架构：如何扛住每秒十万次决策？

线上部署bandit算法，核心挑战是低延迟、高并发、强一致性。一个典型请求流程：用户打开APP → 后端获取用户特征 → 调用Bandit Service → 返回最优臂ID → 渲染内容。整个链路必须控制在50ms内，否则影响用户体验。

我们采用“计算与存储分离”的微服务架构：

Bandit Service（无状态）：纯计算模块，接收用户特征和候选臂列表，调用算法逻辑，返回臂ID。它不保存任何状态，所有状态存于Redis。
State Store（Redis集群）：存储每个臂的统计量（如Thompson Sampling的alpha/beta，LinUCB的A/b矩阵）。为防热点，我们对臂ID做哈希分片，分散到不同Redis实例。
异步更新管道（Kafka）：前端服务在用户行为发生后（如点击、付费），将事件发送到Kafka Topic。一个独立的Consumer服务消费事件，解析后更新Redis中的对应臂状态。这解耦了决策与更新，确保决策链路极致轻量。

关键优化点：

状态压缩：LinUCB的A矩阵是d×d，d=100时占内存约80KB。我们采用低秩近似：只保留A的前k个特征向量（k=10），将存储降至8KB，实测精度损失<1%。
批量更新：Consumer服务不是每条消息都更新Redis，而是按100ms窗口聚合，批量执行MSET命令，QPS提升10倍。
降级策略：当Redis不可用时，Service自动切换至本地内存缓存（LRU淘汰），并记录告警。本地缓存过期时间为5分钟，确保降级期间不至于完全失控。

这套架构在某千万级用户APP上线后，峰值QPS达12万，P99延迟<35ms，可用性99.99%。

4.3 AB测试设计：如何科学地证明“它真的更好”？

bandit算法的AB测试，比传统模型更复杂，因为对照组和实验组会相互污染。比如，若对照组用ε-Greedy，实验组用Thompson Sampling，它们各自选择的臂会影响全局用户池的反馈分布（如实验组推了更多新内容，可能改变用户整体兴趣分布）。

我们的黄金法则是：AB测试必须在完全隔离的流量桶中进行。具体步骤：

流量分层：在用户进入系统的第一层网关，按用户ID哈希，将全量用户划分为互斥的桶（如Control、TS-Exp1、TS-Exp2）。每个桶独立运行自己的bandit实例，状态完全隔离。
指标对齐：核心指标必须是桶内归一化的。例如，不比较“总点击量”，而比较“桶内人均点击次数”；不比较“总GMV”，而比较“桶内用户平均订单金额”。这消除桶间用户基数差异的影响。
停止规则：拒绝使用“固定天数”作为测试结束条件。我们采用序贯检验（Sequential Testing）：每24小时计算一次两组累积遗憾的差异，当p值<0.01且差异方向稳定（如实验组遗憾持续低于对照组）时，提前终止。这避免了“测试不足”或“测试过长”的双重风险。
长期监控：上线后，持续监控“臂的淘汰率”和“新臂的冷启动成功率”。若某算法上线后，90%的新臂在100次曝光内就被淘汰，说明探索不足；若新臂平均需要5000次曝光才稳定，说明探索效率低下。这些运营指标比短期ROI更能反映算法健康度。

我们曾用此方法测试LinUCB在某电商搜索排序中的效果。结果显示：实验组在第7天即达到统计显著（p=0.003），且长期监控发现，新品的首周曝光达标率从32%提升至68%。这直接推动了平台新品扶持政策的升级。

5. 常见问题与避坑指南：来自血泪教训的实战笔记

5.1 “算法上线后效果反而变差”——反馈延迟的隐形杀手

现象：某社交APP上线Thompson Sampling后，首周点击率下降15%，运营团队紧急叫停。

排查过程：

检查日志发现：算法选择的“高潜力臂”（新话题标签）曝光后，用户点击率确实高，但72小时后的完播率和分享率极低。
深入分析发现：算法使用的反馈信号是“2秒内点击”，而业务真正的目标是“7天留存”。2秒点击只是浅层信号，与长期价值弱相关。

解决方案：

信号分层：为不同时间粒度的反馈分配不同权重。定义复合奖励：$r = 0.3 \times r_{click} + 0.5 \times r_{watch_30s} + 0.2 \times r_{share}$。其中$r_{watch_30s}$和$r_{share}$有延迟，需在Kafka Consumer中等待确认后再更新。
延迟补偿：对延迟反馈，采用指数衰减权重：$w = e^{-\lambda \cdot delay}$，λ根据业务SLO设定（如7天留存，λ=0.01）。

实操心得：永远问自己——算法优化的目标，是否与业务的终极目标一致？不要被短期、易得的指标绑架。我们后来强制要求：所有bandit项目立项时，必须明确定义“主奖励信号”及其延迟容忍度，并写入SLA。

5.2 “新臂永远得不到曝光”——冷启动的破局三板斧

现象：某内容平台接入LinUCB后，新发布的视频几乎零曝光，创作者抱怨声四起。

根本原因：LinUCB的置信区间半径 $ \sqrt{x^T A_i^{-1} x} $ 在新臂$A_i$接近单位阵时极大，理论上应被频繁选择。但实践中，由于新臂缺乏历史数据，其特征向量x常被缩放为极小值（如归一化后），导致半径计算失真。

破局方案（我们亲测有效）：

主动注入先验：对新臂，不设$A_i=I$，而是设$A_i = I + \gamma \cdot x x^T$，其中γ是先验强度（如0.1）。这相当于“假设新臂与当前用户特征x有微弱正相关”，给予温和的初始曝光。
混合策略：新臂上线前72小时，强制采用“探索增强模式”：在Thompson Sampling采样后，若选中的是新臂，额外增加一次曝光（即双倍曝光）。72小时后自动退出。
跨臂知识迁移：利用内容相似性。若新视频与某爆款视频的文本/视觉特征余弦相似度>0.8，则将其alpha/beta初始化为爆款视频的80%。这使新臂起步即站在巨人肩膀上。

实施后，新视频72小时内的首曝成功率从12%跃升至89%。

5.3 “算法在A/B测试中胜出，但全量后崩盘”——规模效应的幻觉

现象：某金融产品推荐算法在1%流量AB测试中，ROI提升22%，全量后ROI反降8%。

根因分析：

AB测试时，1%流量的用户行为被算法显著改变，但剩余99%用户仍按旧策略行事，形成“稳定背景噪音”。
全量后，所有用户行为同步改变，引发系统级反馈循环：算法推更多高风险产品 → 用户风险偏好集体上移 → 原先的低风险产品转化率骤降 → 算法误判其为劣质臂 → 进一步减少曝光 → 形成恶性循环。

破解之道：

渐进式灰度：全量不一步到位。按1%→5%→20%→50%→100%五级灰度，每级观察72小时，重点监控“臂的分布熵”（衡量选择多样性）和“用户行为方差”。若熵值骤降或方差飙升，立即回滚。
引入稳定性约束：在算法选择逻辑中，加入多样性惩罚项。例如，Thompson Sampling采样后，若选中臂与过去10次选择的臂相似度>0.9，则降低其采样权重。
建立“反脆弱”护栏：当监测到某臂的尝试次数在24小时内激增300%，或某类用户（如新注册）的转化率波动超±20%，自动触发“探索冷却”，临时提高ε值。

这套组合拳让我们在后续三次全量发布中，均实现平滑过渡，最大波动控制在±2%以内。

5.4 “算法工程师说效果好，产品经理说看不懂”——沟通鸿沟的填平术

技术人常陷入“算法指标崇拜”，而业务方只关心“用户是否更爱用”。我们摸索出一套翻译话术：

不说“累积遗憾降低37%”，而说：“相当于每天少损失1200个有效点击，按CPC 0.5元算，月增收18万元。”
不说“Thompson Sampling的后验采样”，而说：“它像一个谨慎的老猎人，不会因为一只兔子跑得快就认定森林里只有兔子，而是会定期去不同区域看看，确保不漏掉突然出现的鹿群。”
不说“LinUCB的置信椭球”，而说：“它给每个产品打分时，不仅看历史表现，更看‘我们对这个产品的了解程度’。对刚上线的新基金，它会说‘虽然数据少，但值得一试’；对卖了十年的老产品，它会说‘数据够多，按老规矩办’。”

更重要的是，给业务方一个“干预旋钮”。我们在管理后台提供：