news 2026/5/30 14:27:16

全期望公式在DDIM中的应用实例

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
全期望公式在DDIM中的应用实例

全期望公式将问题分解为条件情形简化计算,在分层随机性、重复试验问题中非常有效。

其核心思想是先计算条件期望作为随机变量Y的函数,再对Y 取期望。

这里先探索全期望公式的应用示例,然后进一步探索其在DDIM推导中的所起的作用。

所用示例参考和修改自网络资料。

1 全期望公式

全期望公式(也称“塔定律”)是概率论中的重要定理,表述为:

对于随机变量X和Y,

其中,外层期望是对随机变量Y的分布取的,的期望等于其条件期望的期望。

在给定另一个随机变量的条件下,公式变为:

这里,内层期望是对X给定Y和Z下的条件期望,外层期望是对Y给定Z下的分布取的。

1.1 离散随机变量示例

设Y为离散随机变量:

在给定Y下,X的条件分布为:

- 若Y=1,X可能取 1 或 2,即P(X=1|Y=1)=0.5, P(X=2|Y=1)=0.5;

- 若Y=2,X可能取 2 或 3,即P(X=2|Y=2)=0.5, P(X=3|Y=2)=0.5。

求E[X]。

1)直接法

先求X的边缘分布,具体为

因为X可能取1、2或3。

X=1,P(X=1|Y=1)=P(X=1, Y=1)/P(Y=1), P(Y=1) = 0.6, P(X=1|Y=1)=0.5,因此 P(X=1, Y=1) = 0.3

又因为X=1时,Y只能取1,所以P(X=1, Y=2) = 0

所以,P(X=1) = P(X=1, Y=1) + P(X=1, Y=2) = P(X=1, Y=1) = 0.3

X=2,P(X=2|Y=1) = P(X=2, Y=1)/P(Y=1), 故P(X=2, Y=1) = P(X=2|Y=1) P(Y=1) = 0.5 * 0.6 = 0.3

P(X=2|Y=2) = P(X=2, Y=2)/P(Y=2), 故P(X=2, Y=2) = P(X=2|Y=2) /P(Y=2) = 0.5 * 0.4 = 0.2

故P(X=2) = P(X=2, Y=1) + P(X=2, Y=2) = 0.5

X=3, P(X=3|Y=2)=P(X=3, Y=2)/P(Y=2),故P(X=3, Y=2) = P(X=3|Y=2) P(Y=2) = 0.5 * 0.4 = 0.2

所以 E(X) = 1 * P(X=1) + 2 * P(X=2) + 3 * P(X=3) = 1 * 0.3 + 2 * 0.5 + 3 * 0.2 = 1.9

得E[X] = 1.9。

2)全期望公式:

计算条件期望:

E[X|Y=1] = 1 * P(X=1|Y=2) + 2 * P(X=2|Y=1) + 3 * P(X=3|Y=1) = 0.5 + 2 * 0.5 + 0 = 1.5

E[X|Y=2] = 1 * P(X=1|Y=2) + 2 * P(X=2|Y=2) + 3 * P(X=3|Y=2) = 0 + 2 * 0.5 + 3 * 0.5 = 2.5

对Y取期望:

E(X) = E(X|Y=1) * P(Y=1) + E(X|Y=2) * P(Y=2) = 1.5 * 0.6 + 2.5 * 0.4 = 1.9

1.2 连续随机变量示例

,且给定时,


由全期望公式:

因为

1.3 经典问题示例

这里采用矿工逃生问题示例。

矿工有三个门可选(等概率):
- 门1:3小时到达地面;
- 门2:5小时返回原点;
- 门3:7小时返回原点。
每次选择独立,求逃出时间的期望

设Y为第一次选择的门:

-

-(返回后重试)

-(返回后重试)

由全期望公式:

解得:

整理得(小时)。

1.4 条件期望作为随机变量


设Y为掷骰子的点数(1到6等概率),定义X为在给定Y下从二项分布中生成的数:若Y=y,则,求

已知二项分布的期望为,故

又因为

由全期望公式可得如下结论。

2 DDIM推导中具体应用

全期望公式在DDIM中,主要用来由定义的边缘分布与DDPM一致。

2.1 变量对应关系说明


-
-
-

应用全期望公式:

具体含义说明如下

给定的期望,等于:
1. 先固定,求的条件期望(这是的函数)
2. 再对这个函数关于在给定下的分布求期望

2.2 具体计算步骤

已知条件分布:

其中:

第一步:内层条件期望

第二步:外层期望

需要计算

已知的分布:

因此:

计算外层期望:

2.3 计算结论解释

应用DDIM后,依然得到:

这正是DDPM中的期望。

这说明无论取何值,只要条件分布按上述形式定义,边缘分布的均值就与DDPM一致。

这个等式允许间接计算边缘分布的矩,而无需显式地写出边缘分布的密度函数。

通过将的生成过程分解为两步(先由生成,再由生成)。

可以利用已知的简单分布()和设计的条件分布来计算复杂的边缘分布特性。

类似地,对于方差

使用全方差公式(Law of Total Variance):

- 第一项:条件方差的期望 =

- 第二项:条件期望的方差 =

相加得:,也与DDPM一致。

2.4 全期望公式作用总结

全期望公式在DDIM推导中起到了关键作用。

1)连接了条件分布和边缘分布,通过中间变量架起了桥梁

2)简化了计算,避免了对联合分布直接积分求边缘分布的复杂计算

3)验证了构造的正确性,证明了无论如何选择,只要条件分布按特定形式定义,边缘分布就能保持与DDPM一致

这正是DDIM能够设计非马尔可夫前向过程而保持训练目标不变的理论基础。

reference

---

SD稳定扩散模型理论基础的探索

https://blog.csdn.net/liliang199/article/details/156280004

DDIM扩散模型改进采样策略的推理探索

https://blog.csdn.net/liliang199/article/details/156433365

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/28 12:26:40

树莓派项目与微信小程序通信联动:跨端交互操作指南

树莓派 微信小程序:打通硬件与前端的跨端通信实战指南 你有没有想过,用手机上的微信小程序动动手指,就能远程查看家里的温湿度、控制风扇开关,甚至实时监控树莓派摄像头的画面?这听起来像是智能家电的高级功能&#x…

作者头像 李华
网站建设 2026/5/28 12:26:45

大模型Token售卖新模式:绑定HunyuanOCR推理按次计费

大模型Token售卖新模式:绑定HunyuanOCR推理按次计费 在AI服务日益普及的今天,企业对OCR技术的需求早已从“能不能识别”转向“是否用得起、管得住”。传统的OCR系统要么部署成本高昂,依赖多模型级联和专用硬件;要么按调用次数打包…

作者头像 李华
网站建设 2026/5/28 12:26:44

智能客服知识库构建:HunyuanOCR提取产品说明书文字

智能客服知识库构建:HunyuanOCR提取产品说明书文字 在智能客服系统越来越“聪明”的今天,用户早已不再满足于“请稍等,我为您查询一下”这类机械回应。他们期望的是秒级响应、精准解答,尤其是面对复杂的产品参数或使用规范时——…

作者头像 李华
网站建设 2026/5/21 10:36:46

从零开始学erase:构建最简擦除程序示例

从一个崩溃的循环说起&#xff1a;为什么你的erase总在出问题&#xff1f;你有没有写过这样的代码&#xff1f;std::vector<int> vec {1, 2, 3, 4, 5}; for (auto it vec.begin(); it ! vec.end(); it) {if (*it % 2 0) {vec.erase(it); // 删除偶数} }看起来逻辑清晰…

作者头像 李华
网站建设 2026/5/20 20:19:06

HunyuanOCR对emoji混合文本的处理逻辑解析

HunyuanOCR对emoji混合文本的处理逻辑解析 在当今社交媒体、即时通讯和跨文化内容传播的浪潮中&#xff0c;图像中的文本早已不再是单纯的字母或汉字。一条微信聊天截图里可能同时包含中文语句、英文缩写与一连串生动的emoji&#xff1b;一张海外电商商品图上&#xff0c;“限时…

作者头像 李华
网站建设 2026/5/21 3:45:46

LaTeX论文排版助手:用HunyuanOCR快速识别扫描版PDF公式

LaTeX论文排版助手&#xff1a;用HunyuanOCR快速识别扫描版PDF公式 在撰写学术论文时&#xff0c;你是否曾为手动输入一页页文献中的复杂数学公式而感到头疼&#xff1f;尤其是面对那些字迹模糊的扫描版PDF或老期刊复印件&#xff0c;一个积分符号可能要反复核对三次才能确认上…

作者头像 李华