Memory-Efficient Federated Fine-Tuning of Large Language Models via Layer Pruning

论文《MEMORY-EFFICIENT FEDERATED FINE-TUNING OF LARGE LANGUAGE MODELS VIA LAYER PRUNING》总结与翻译

一、论文主要内容总结

1. 研究背景与问题

• 联邦微调的价值与挑战：联邦微调能够在保护数据隐私的前提下实现大型语言模型（LLM）的适配，但高昂的内存成本限制了资源受限设备（如边缘设备，通常内存仅4-12GB）的参与。例如，使用LoRA（低秩适应）微调LLaMA2-7B模型需26.9GB内存，远超边缘设备能力。
• 现有方案的不足：现有内存优化方法分为两类，一是“秩异质性”（根据设备资源分配不同LoRA秩），二是“零阶优化”（仅通过前向传播更新参数以避免存储中间激活值），但两者效果有限——模型参数占总内存的绝大部分（如LLaMA2-7B中占92.8%），而LoRA模块和激活值占比极低，优化后仍无法突破“内存墙”。

2. 核心方法：FEDPRUNER框架

FEDPRUNER是一种通过智能层剪枝解决联邦微调内存约束的创新范式，核心是“宏-微协同剪枝框架”，并衍生出细粒度变体FEDPRUNER+。

（1）宏观层面：功能驱动的层编排（FDLO