Making Convolutional Networks Shift-Invariant Again笔记

1. 论文基本信息

标题：Making Convolutional Networks Shift-Invariant Again
作者：Richard Zhang
机构：Adobe Research
刊物：ICML 2019
发表时间：2019年

2.研究背景与意义

现代卷积神经网络对微小平移高度敏感，因为下采样层（如最大池化、步长卷积）违背了奈奎斯特采样定理，未经低通滤波直接抽样导致高频混叠。本文指出最大池化可拆分为密集取最大值与朴素下采样，并在两者之间插入低通滤波器实现抗锯齿，从而恢复平移等变性。令人意外的是，该经典信号处理方法不仅提升了平移稳定性和对各类扰动的鲁棒性，还提高了ImageNet分类准确率，表明其是一种有效的正则化手段，且与ResNet、DenseNet等主流架构兼容。

3. 研究方法与实验设计

论文作者想改进的是这里。左边这个最大池化等价于右边这个。而朴素下采样（每隔 s 个点取一个值，其余丢弃）在信号处理中相当于直接丢弃高频信息，而没有先做低通滤波。当输入发生微小平移时，密集特征图中的峰值位置会相应移动，但下采样的固定采样点却可能“错过”原来的峰值，转而采到一个完全不同的值。这导致输出对输入平移极度敏感，平移等变性被破坏。

这是对上面模型的改进。主要就是在取最大值后面，加一个固定卷积核的卷积，作用是保证下采样前信号带宽与采样率匹配，消除平移敏感性。

4.核心结论和创新点

现代卷积网络对输入平移高度敏感：常用的下采样层（最大池化、步长卷积、平均