dropClust：高效处理大规模单细胞RNA聚类
在单细胞测序技术飞速发展的今天，研究者们已经能够以前所未有的分辨率解析复杂组织的细胞异质性。然而，随着数据规模的指数级增长——动辄数万甚至数十万个细胞、数万个基因——传统的分析流程开始显得力不从心。尤其是在聚类这一关键步骤上，许多主流工具在面对“68k PBMC”这类超大规模数据时，要么内存爆表，要么耗时数小时，更糟糕的是，还可能遗漏那些稀有但至关重要的细胞类型。
正是在这样的背景下，dropClust应运而生。它不是简单地对现有方法进行优化，而是从底层逻辑出发，重新思考了“如何在保证精度的前提下实现可扩展性”这一核心问题。其设计哲学可以用一句话概括：用最小的代价发现最大的结构，并将这种结构泛化到全体细胞。
我们以经典的68k PBMC（外周血单个核细胞）数据为例。这个数据集包含 68,579 个细胞和 32,738 个基因，是一个典型的高维稀疏矩阵——超过98.3% 的元素为零。这种“dropout效应”既是技术限制的结果，也给基于距离的聚类算法带来了巨大挑战：两个本应相似的细胞，可能因为随机的技术噪声导致表达谱差异巨大，从而被错误地分到不同簇中。
传统方法如 Seurat 中的 KNN 图构建，需要计算所有细胞对之间的相似度，时间复杂度高达 $O(n^2d)$，当细胞数量突破五万大关时，计算成本几乎不可接受。而简单的随机采样虽然能提速，却极易丢失小细胞类型的代表性样本，造成系统性偏差。至于 KMeans 等经典聚类算法，不仅需要预设簇数（现实中往往未知），还对初始值敏感，难以捕捉复杂的非线性结构。
dropClust 的突破在于，它没有试图硬刚这些难题，而是巧妙绕开瓶颈，构建了一条全新的技术路径。整个流程可以看作是一场精心策划的“侦察-建模-扩散”行动：
首先，通过Structure Preserving Sampling (SPS)机制，从原始数据中提取一个既能代表整体结构、又保留稀有类别的小型子集；接着，在这个精简后的数据上执行精细聚类；最后，利用 LSHForest 快速索引，将聚类结果高效地“广播”回全部细胞。
这套策略的核心优势是：真正的聚类操作只作用于几千个细胞，而非几十万。这使得原本需要数小时的任务，压缩到了十几分钟内完成。
整个 pipeline 的起点是标准的数据预处理。以 68k PBMC 为例：
- 基因过滤：仅保留至少在3个细胞中 UMI ≥ 3 的基因，将基因数从 ~33k 缩减至约 7,000；
- UMI 归一化：按公式
$$
x_{ij}^{‘} = \frac{x_{ij}}{\sum_k x_{ik}} \times \text{median}\left(\sum_k x_{ik}\right)
$$
消除文库大小差异； - 高变基因选择：选取变异系数（CV）最高的前 1,000 个基因，作为最具判别力的特征；
- 对数变换：使用 $\log_2(x + 1)$ 压缩动态范围。
经过这四步，数据维度已降至68,579 × 1,000，为后续操作打下基础。
接下来进入 dropClust 的核心阶段 ——结构保持采样（SPS）。
第一步是粗粒度结构探测。从原始细胞中随机抽取约 1/3（或不少于 20,000）构成子集 $C_s$。在这个子集上，dropClust 并未采用昂贵的全连接 KNN，而是引入LSHForest（局部敏感哈希森林）来构建近似最近邻图。
LSHForest 的思想非常巧妙：它通过一组哈希函数，将每个细胞映射成一个二进制标签（如10110...），并建立多棵前缀树。查询时，系统会寻找最长前缀匹配路径，快速定位潜在邻居。相比传统方法 $O(n^2)$ 的复杂度，LSHForest 实现了接近 $O(n \log n)$ 的检索效率，极大加速了图构建过程。
有了近似邻接关系后，再应用Louvain 社区发现算法进行初步聚类。Louvain 是一种贪心优化模块度 $Q$ 的图划分方法：
$$
Q = \sum_i \left( e_{ii} - a_i^2 \right),\quad a_i = \sum_j e_{ij}
$$
其中 $e_{ij}$ 表示社区 $i$ 与 $j$ 之间边权重占比。该算法通过迭代合并节点来最大化网络内部连接密度，最终输出一组粗略但稳健的细胞群落。
但这只是开始。真正的创新体现在第二步：非均匀采样。
如果按照常规做法，从每个聚类中等比例抽取样本用于后续分析，那么原本就稀少的小类仍然会被进一步稀释。dropClust 提出了一种指数递减采样函数：
$$
r_i = r_{\min} + (r_{\max} - r_{\min}) \cdot \exp(-\alpha \cdot s_i)
$$
其中 $r_i$ 是第 $i$ 类的采样率，$s_i$ 是其相对大小（标准化后）。这意味着：越小的类，获得的相对采样机会越大。参数 $(r_{\min}, r_{\max}, \alpha)$ 则通过模拟退火自动优化，确保总采样数接近目标值（例如 5,000 细胞）。
这一设计直接解决了“稀有类消失”的痛点。实验表明，即使某类仅占总体的 1%，只要其表达模式足够独特，仍有机会被充分采样并保留下来。
得到约 5,000 个代表性细胞后，下一步是进一步降维。此时虽然已有 1,000 个高变基因，但仍显冗余。dropClust 采用了一种结合 PCA 与 GMM 的智能筛选策略。
具体来说：
- 对子矩阵做 PCA，提取前 50 个主成分（PCs）；
- 对每个 PC 上的投影值拟合高斯混合模型（GMM）；
- 统计每个 PC 对应的 GMM 成分数目；
- 仅保留那些能被 ≥3 个高斯成分描述的 PCs。
背后的直觉很清晰：如果某个主成分只能用单个高斯分布拟合，说明它反映的是全局趋势或噪声；而若能被多个高斯成分刻画，则意味着它在不同细胞群体间存在显著差异，具备强分类能力。
最终，有效特征被压缩至约200 个，形成一个高度浓缩的信息空间。
在此基础上，运行平均连接层次聚类（Average-Linkage Hierarchical Clustering）变得轻而易举。使用欧氏距离衡量细胞相似性，自底向上合并最相近的簇，直到达到预定结构。由于数据规模已大幅缩减，这一步通常只需几分钟即可完成，输出一棵清晰的聚类树（dendrogram）和对应的标签。
最关键的一步来了：如何将这几千个“已知身份”的细胞所学到的知识，推广到剩下的六万多“无标签”细胞？
dropClust 再次启用 LSHForest，构建一个基于已聚类细胞的快速索引。对于每一个待分配细胞 $c_u$：
- 查询其 k=5 个最近邻（来自已聚类集合）；
- 统计这些邻居所属类别的频次；
- 采用“多数投票”原则，将其归入出现次数最多的类别。
这种方法既避免了重新训练模型的开销，又充分利用了局部结构一致性，实现了高速且鲁棒的后验分配。整个过程可在几分钟内完成，真正做到了“以点带面”。
实际效果如何？在 68k PBMC 数据上的 t-SNE 可视化显示，dropClust 成功识别出14 个主要细胞群，包括 CD4+/CD8+ T 细胞、B 细胞、单核细胞、NK 细胞、树突状细胞、巨核细胞以及红系前体细胞等，与已知的免疫细胞图谱高度吻合。
量化评估同样亮眼。使用调整兰德指数（ARI）与真实标签对比：
| 方法 | ARI |
|---|---|
| dropClust | 0.87 |
| Seurat | 0.79 |
| KMeans-based | 0.68 |
| Random Sampling | 0.61 |
dropClust 显著领先，尤其在稀有类检测方面表现突出。进一步测试中，在 Jurkat 和 293T 混合数据中设置稀有类频率低至1%，它是唯一能成功检出的方法。
速度方面，在配备 20 核 CPU 和 100GB RAM 的服务器上：
| 方法 | 运行时间（分钟） |
|---|---|
| dropClust | 12 |
| Seurat | 48 |
| KMeans | 25 |
| 全量层次聚类 | >120 |
其效率达到传统方法的1/4 到 1/10，同时内存占用极低——全程仅需处理约 5,000 个细胞。
即便在没有真实标签的数据上，轮廓系数（Silhouette Score）也给出了积极反馈：
| 数据集 | 细胞数 | Silhouette Score |
|---|---|---|
| 小鼠视网膜 (GSE63473) | 49,300 | 0.52 |
| 小鼠胚胎 (GSE65525) | 2,700 | 0.61 |
较高的得分表明聚类结果具有良好的内聚性与分离性，结构合理。
总结来看，dropClust 的成功并非依赖某一项尖端技术，而是源于一套环环相扣的工程智慧：
- 它不追求在全量数据上暴力求解，而是通过 SPS 主动保留结构信息；
- 它不盲目降维，而是借助 GMM 判断哪些主成分真正承载生物学意义；
- 它不在每次查询时重复计算，而是用 LSHForest 建立长效索引；
- 它不做孤立聚类，而是形成“采样-学习-泛化”的闭环。
这套思路特别适合那些超大规模、高度稀疏、含有稀有亚群的单细胞数据。对于关注干细胞、肿瘤微环境或罕见免疫亚型的研究者而言，dropClust 提供了一个兼具速度与灵敏度的理想选择。
当然，它也有适用边界。当 dropout 率超过 99.5% 或数据质量极差时，建议先进行去噪预处理。此外，尽管其自动化程度高、参数自适应优化，但在某些特殊场景下仍可与其他工具（如 Seurat、Scanpy）配合使用，进行下游功能富集或轨迹推断。
开源实现在 GitHub 上简洁高效，易于集成到现有分析流程中。它的出现提醒我们：面对大数据挑战，有时候最快的路，恰恰是先停下来，选对一小部分代表，看清方向，再迅速铺开。
📌站在巨人的肩上，走的更远。
