大模型在专业领域应用中存在局限性，需通过微调从"通才"变"专家"。微调分为全参数微调(FFT)和参数高效微调(PEFT)两类。FFT调整全部参数，性能高但成本大且易过拟合；LoRA作为PE主流方案，只需训练<1%参数，显著降低成本且稳定性好。文章提供了两种方法的代码实现，帮助开发者根据需求选择合适的微调策略。
Why 微调
以 GPT、Gemini、Qwen 为代表的大模型，已经具备了通用语言理解与生成能力，但在真实业务中，我们往往会遇到三个问题：
1 领域不匹配：专业领域如金融、法律、生物信息等，术语密集、表达规范，大模型只能“懂个大概”，但不够专业。
2 任务不聚焦：有时候我们希望模型稳定地完成某一类或几类任务（如分类、代码补全），而不是“什么都会一点”。
3 风格与约束：通用大模型的回复格式、语气、推理路径、合规要求，往往需要被“教会”，而不是靠 prompt 碰运气。
那么这时候，我们就需要微调（Fine-tuning）来让大模型“从通才变专家”。
大模型微调的分类
一
Full Fine-tuning（全参数微调）
全参数微调，顾名思义，就是模型的所有参数都参与反向传播，所有参数都进行调整，本质是在原模型基础上“整体再训练一遍”，更像“重塑一个新模型”。其特点如下：
- 理论性能上限最高
- 不需要在模型里引入额外结构
- 计算和存储成本高
- 容易过拟合 / 灾难性遗忘
PEFT（Parameter-Efficient Fine-Tuning，参数高效微调）
PEFT，与FFT相比，并不更新模型的所有参数，其冻结原模型参数，而额外只训练少量额外参数。众多PEFT方法中，LoRA（Low-Rank Adaptation）是目前最主流、工程上最成熟的方案。与FFT相比，特点如下：
| Full Fine-tuning | LoRA（PEFT） | |
| 需训练参数 | 100% | 通常 <1% |
| 训练成本 | 非常高 | 显著降低 |
| 小数据稳定性 | 较差 | 很好 |
| 多任务扩展 | 困难 | 容易 |
代码的实现
二
Full Fine-tuning
#1 加载预训练模型 model = torch.load(args.pretrain_checkpoint) model = model.to(device) #超参数 #--- Prepare Optimizer ---# optimizer = optim.Adam(model.parameters(), lr=args.lr, amsgrad=True) #--- Prepare Scheduler ---# scheduler = StepLR(optimizer, step_size=args.gamma_step, gamma=args.gamma) #2 准备微调训练集 my_trainset = SCDataset(train_rna, train_protein, args.enc_max_seq_len, args.dec_max_seq_len) my_testset = SCDataset(test_rna, test_protein, args.enc_max_seq_len, args.dec_max_seq_len) train_loader = torch.utils.data.DataLoader(my_trainset, **train_kwargs, drop_last=True, sampler=train_sampler) test_loader = torch.utils.data.DataLoader(my_testset, **test_kwargs, drop_last=True, sampler=test_sampler) #3 FFT训练 for epoch in range(start_epoch+1, args.epochs + 1): torch.cuda.empty_cache() train_loss, train_ccc = train(args, model, device, train_loader, optimizer, epoch) scheduler.step() #4 保存最终模型 model.save_pretrained("./full_ft/final_model")Low-Rank Adaptation (LoRA)
from peft import LoraConfig, get_peft_model # ========================= # 1. 加载预训练模型 # ========================= model = torch.load(args.pretrain_checkpoint) model = model.to(device) # ===== 新增：LoRA 配置 ===== lora_config = LoraConfig( r=8, lora_alpha=32, lora_dropout=0.1, bias="none", task_type="SEQ_2_SEQ_LM", target_modules=["q_proj", "v_proj"] ) # ===== 新增：包装为 PEFT / LoRA 模型 ===== model = get_peft_model(model, lora_config) # 可选但强烈推荐：确认只有 LoRA 在训练 model.print_trainable_parameters() # ========================= # 超参数,准备优化器 & Scheduler # ========================= optimizer = optim.Adam( filter(lambda p: p.requires_grad, model.parameters()), lr=args.lr, amsgrad=True ) scheduler = StepLR( optimizer, step_size=args.gamma_step, gamma=args.gamma ) # ========================= # 2. 准备微调训练集 # ========================= my_trainset = SCDataset( train_rna, train_protein, args.enc_max_seq_len, args.dec_max_seq_len ) my_testset = SCDataset( test_rna, test_protein, args.enc_max_seq_len, args.dec_max_seq_len ) train_loader = torch.utils.data.DataLoader( my_trainset, **train_kwargs, drop_last=True, sampler=train_sampler ) test_loader = torch.utils.data.DataLoader( my_testset, **test_kwargs, drop_last=True, sampler=test_sampler ) # ========================= # 3. PEFT（LoRA）训练（流程不变） # ========================= for epoch in range(start_epoch + 1, args.epochs + 1): torch.cuda.empty_cache() train_loss, train_ccc = train( args, model, device, train_loader, optimizer, epoch ) scheduler.step() # ========================= # 4. 保存最终模型（LoRA adapter） # ========================= model.save_pretrained("./lora_adapter")如何学习AI大模型？
如果你对AI大模型入门感兴趣，那么你需要的话可以点击这里大模型重磅福利：入门进阶全套104G学习资源包免费分享！
这份完整版的大模型 AI 学习和面试资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
这是一份大模型从零基础到进阶的学习路线大纲全览，小伙伴们记得点个收藏！
第一阶段：从大模型系统设计入手，讲解大模型的主要方法；
第二阶段：在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；
第三阶段：大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；
第四阶段：大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；
第五阶段：大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
第六阶段：以SD多模态大模型为主，搭建了文生图小程序案例；
第七阶段：以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
100套AI大模型商业化落地方案
大模型全套视频教程
200本大模型PDF书籍
👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；
• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；
• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。
LLM面试题合集
大模型产品经理资源合集
大模型项目实战合集
👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
