DistributedSampler 多卡训练：样本重复与漏喂的源码排查

第一次把DistributedSampler塞进训练脚本的时候，我以为它只是给DataLoader多加一个参数，跟shuffle=True差不多。结果八卡跑起来 loss 曲线像心电图，梯度一路乱跳，排查了两个晚上才发现问题根本不在通信、不在学习率，而在于每个 epoch 里有 5 条样本被八个进程轮流重复喂了八遍，尾部还有几条样本从头到尾没进过模型。DistributedSampler就是那个把「一份数据集怎么切给 N 个进程」这件事管起来的组件，它看起来只有十来个参数，实际决定了每个 rank 看到什么、看到多少、看到几次。这篇内容适合所有正在把单卡脚本往 DDP 上搬的人，也适合已经跑通多卡但一直怀疑数据侧有问题的人，我会把源码里的关键分支、参数之间的耦合关系、以及我自己踩过的几个坑全部摊开讲清楚。