微调(fine-tuning)和 LoRA:全量微调与 LoRA 有什么不同
微调是把已经训练好的模型再多教一点。LoRA 不是微调的反面,而是微调的一种方法。来看看全量微调和 LoRA 的区别,以及该怎么选。
看图理解
-
全量微调 full fine-tuning
机械臂拨动调音台上的所有旋钮。模型的全部权重都重新训练。
-
LoRA Low-Rank Adaptation
调音台用玻璃罩锁住。只调节插在侧面的那块小面板。
LoRA 是微调的一种方法
微调就是拿一个已经好的,用你自己的再训练一点。LoRA 不是微调的反面。它是微调的方法之一。
只说“微调”时,通常指的是更新所有的全量微调(full fine-tuning)。LoRA 是只训练极小一部分的轻量方法。这类轻量方法叫 PEFT(高效微调)。
全量微调 full fine-tuning
更新模型的所有权重。
parameter-efficient fine-tuning
只训练极小一部分,其余保持不变。
- LoRA
加上两个小,只训练这两个。
在后的模型上用 LoRA,占用的更少。
所以真正要选的不是“微调还是 LoRA”,而是“全量微调还是 LoRA”。
微调的两种方法
两种方法都从同一个模型出发。区别在于改动这个模型的多少权重。
预训练模型
-
全量微调
full fine-tuning
用新数据把预训练模型的全部权重重新训练一遍。
- 训练什么
- 如果是 7B 模型,7,000,000,000 个参数全部都会改变。
- 得到什么
- 结果是一个完整的新模型,大小和原模型一样。
-
LoRA
Low-Rank Adaptation
LoRA(Low-Rank Adaptation)把原始权重 W 冻结,在旁边加上两个小矩阵 A 和 B,只训练这两个。
- 训练什么
- 训练的参数通常只有原模型的 0.1–1%。
- 得到什么
- 结果是一个小小的文件,加在原模型上使用。
LoRA 的公式
模型把权重存放在叫做矩阵的大数字表里。LoRA 不修改表 W。它把两张小表 B 和 A 相乘,再把结果加在 W 上。
W′ = W + ΔW = W + B·A
每个矩阵的大小
- W
- d 行 × d 列。不改动。
- B
- d 行 × r 列。要训练。
- A
- r 行 × d 列。要训练。
- r
- r 叫做秩(rank),比 d 小得多。 (r ≪ d)
LoRA 建立在一个假设上:微调带来的权重变化量 ΔW,用一个就能足够好地近似。
用数字看能小多少
以 d = 4,096、r = 8 的一层为例。
全量微调
16,777,216
训练的参数
整个 W:d × d = 4,096 × 4,096
LoRA
65,536
训练的参数
B 和 A:2 × d × r = 2 × 4,096 × 8
约为全部的 1/256
LoRA 通常只用在层的部分矩阵上。所以从整个模型来看,训练的参数只有原模型的 0.1–1%。
全量微调和 LoRA 对比
| 项目 | 全量微调 | LoRA |
|---|---|---|
| 训练什么 | 全部权重 | 只有新加的低秩矩阵 |
| 和训练时间 | 大 | 小得多,用 把模型量化后还会更小 |
| 结果的大小 | 整个模型,几 到几十 GB | 一个适配器文件,几 MB 到几百 MB |
| 应对多个任务 | 每个任务都需要一份完整的模型 | 一个基础模型,只更换适配器 |
| 速度 | 和原模型一样 | 把适配器合并进 W 后和原模型一样 |
| 忘记原有知识 | 风险大 | 相对较小,因为原始权重被冻结 |
| 表达能力 | 最高 | 受秩 r 的限制 |
是指模型在学新东西时,丢掉了原来已经会的东西。
该选哪一种
实际工作大多用 LoRA 完成。全量微调用在 LoRA 不够用的时候。
适合用 LoRA 的情况
大多数实际工作- 想让一个大的基础模型带上某种说话风格、某个领域的用语或特定的。
- 资源有限。
- 需要按不同用途运行多个版本。
适合用全量微调的情况
LoRA 不够用的时候- 必须大幅改变模型的行为,比如基础模型几乎不懂的新语言或新领域。
- 数据和计算资源都很充足。
- 模型非常小。
超小模型不需要 LoRA
超小模型只有几百万到几千万个参数,全部训练的成本本来就很低,所以 LoRA 几乎带不来好处。LoRA 是模型越大效果越明显的技术。
出处
本页用通俗的话概括了下面的论文和文档,核对于 2026-11-10。如有出入,以原文为准。