LlamaFactory 微调实战:微调 Qwen/DeepSeek 模型
导语:理论的尽头是实践。我们已经理解了 LoRA 的原理,并学会了如何“指挥”GPT-4 为我们生产高质量的微调数据。现在,万事俱备,只欠“开炉炼丹”。本章将是一次纯粹的、从头到尾的动手实战。我们将使用LlamaFactory,一个在开源社区广受欢迎的、对新手极其友好的“一站式”大模型微调框架,将我们上一章制作的“AI 皮肤科医生”数据集,真正地“炼”到一个强大的开源大模型(如 Qwen1.5, DeepSeek-V2)中。你将学会如何配置环境、设置参数、启动训练、并最终测试你亲手微调出来的、独一无二的垂直领域专家模型。系好安全带,我们的“炼丹”之旅,正式开始!
目录
- “炼丹炉”的选择:为什么是 LlamaFactory?
- 一体化、易用性、可扩展性
- 支持丰富的模型、数据集和微调方法
- 第一步:环境搭建与准备
- 硬件要求:一块拥有至少 24GB 显存的 NVIDIA 显卡(如 RTX 3090/4090)
- 克隆 LlamaFactory 仓库
- 安装依赖:
pip install -e .[torch,deepspeed]</