无监督神经网络模型中的自动编码器详解
在无监督神经网络模型中，自动编码器（AE）是一类重要的模型，它包括基本的自动编码器、卷积自动编码器和变分自动编码器等不同类型，下面将对这些类型进行详细介绍。
基本自动编码器
基本自动编码器在处理图像时，假设输入图像大小有128个“像素”，类似于高度和宽度等于 $\sqrt{128}$ 的图像。使用平方误差损失函数，因为目标是预测像素值而非类别归属。对于非线性部分，采用Sigmoid函数。
选择Sigmoid激活函数而非ReLU的原因在于，之前在网络中不太关注传递的实际值，最终都会经过Softmax函数，主要保留相对值。而自动编码器会比较输入和输出的绝对值。在对Mnist图像进行数据归一化时，将原始像素值除以255，使其范围从0到1，Sigmoid函数的值域恰好也是从0到1，这意味着神经网络无需学习将值限定在该范围内，相比ReLU（只有下限约束），使用Sigmoid函数学习生成这些值更简单。
由于自动编码器有多个相似的层（这里都是全连接层），使用layers模块会很方便。例如，由以下公式描述的模型可以简洁地编码为：
E1 = layers.fully_connected(img, 256, tf.sigmoid) E2 = layers.fully_connected(E1, 128, tf.sigmoid) D2 = layers.fully_connected(E2, 256, tf.sigmoid) D1 = layers.fully_connected(D2, 784, tf.softmax)
