无监督神经网络模型：VAE与GAN的深入剖析
1. 变分自编码器（VAE）
在处理图像数据时，我们希望尽可能缩小模型预测与实际图像之间的差异。如果能自由选择合适的均值（µ）和标准差（σ），就能更精确地对特定图像进行建模，而图像损失会促使我们朝着这个方向优化。同时，我们也希望这些值尽可能接近0和1，这就引入了变分损失。
从概率分布的角度来看，我们的目标是最小化两个概率分布N(0, 1)和N(µ(I), σ(I))之间的差异。衡量两个分布差异的一个标准方法是Kullback - Leibler散度，其公式为：
[ D_{KL}(P || Q) = \sum_{i} P(i) \log \frac{P(i)}{Q(i)} ]
例如，当对于所有的i，P(i) = Q(i)时，两者的比值始终为1，而log 1 = 0。因此，变分自编码器（VAE）的目标可以描述为：在最小化图像损失的同时，最小化$D_{KL}(N(\mu(I), \sigma(I)) || N(0, 1))$。幸运的是，对于最小化后者存在一个封闭形式的解，通过一些代数运算和巧妙的思路，我们可以得到前面提到的变分损失函数。
2. 生成对抗网络（GAN）
生成对抗网络（GAN）是一种无监督的神经网络模型，其工作原理是让两个神经网络模型相互竞争。在MNIST数据集的场景中，第一个网络（生成器）负责从零开始生成MNIST数字，第二个网络（判别器）则接收生成器的输出或真实的MNIST数字样本。判别器的输出是它对输入数据来自真实样本而非生成器生成样本的概率估计。
判别器的决策对两个模型都起到误差信号的作用，但方向相反。如果判别器能准确做出判断，这对生成器来说意味着较大的误差
