OkayStudy
ZH English 한국어 日本語 中文 हिन्दी বাংলা اردو Español Português Français Deutsch Русский العربية Bahasa Indonesia Tiếng Việt ไทย Türkçe

如何开启通知

此浏览器或网址无法使用通知。请使用支持通知的浏览器,通过安全连接访问BaeumNova。

如果通知被屏蔽,请在浏览器设置中允许通知。

  1. 打开地址栏旁的站点设置或浏览器的站点设置,将此网站的通知设为允许。
  2. 在设备设置中允许浏览器发送通知,并检查勿扰模式或专注模式。
  3. 返回BaeumNova并刷新页面。通知开启后,铃铛将不再显示。

在iPhone或iPad上,将BaeumNova添加到主屏幕,从主屏幕打开后允许通知。

访客

登录后即可查看您的课程安排。

条款与政策

开始

一步步开始英语课程

点击步骤即可前往。

免费体验

  1. 选一位免费体验导师

    点照片上有[免费体验]的导师。

  2. 点带礼物标记的时间

    在课表里点带礼物图案的免费时间。

  3. 登录并预约

    登录后马上预约成功,不用付款。

  4. 摄像头和麦克风测试

    上课前先检查摄像头和麦克风。

  5. 查看已预约的课程

    查看已预约课程的时间和老师。

  6. 进入课程

    到时间后进入视频教室。

  7. 查看已上过的课程

    回顾已结束课程的记录。

  8. 评价老师

    下课后评价老师。

介绍自己

  1. 上传我的头像

    有照片老师更容易认出你。

  2. 做自我介绍

    在自我介绍版块打个招呼。

上课

  1. 预约课程

    在喜欢的老师的时间表上预约。

  2. 用 PayPal 支付课程费

    在 PayPal 上付款——PayPal 一确认,你的课程就预约好了。

  3. 查看已预约的课程

    查看已预约课程的时间和老师。

  4. 进入课程

    到时间后进入视频教室。

  5. 查看已上过的课程

    回顾已结束课程的记录。

  6. 评价老师

    下课后评价老师。

微调(fine-tuning)和 LoRA:全量微调与 LoRA 有什么不同

微调是把已经训练好的模型再多教一点。LoRA 不是微调的反面,而是微调的一种方法。来看看全量微调和 LoRA 的区别,以及该怎么选。

返回术语表 出处核对于 2026-11-10
两台调音台并排放着:左边几只机械臂在拨动所有的旋钮;右边的调音台被玻璃罩锁住,只有一只机械臂在调节插在侧面的一块小面板

看图理解

  1. 全量微调 full fine-tuning

    机械臂拨动调音台上的所有旋钮。模型的全部权重都重新训练。

  2. LoRA Low-Rank Adaptation

    调音台用玻璃罩锁住。只调节插在侧面的那块小面板。

LoRA 是微调的一种方法

微调就是拿一个已经好的,用你自己的再训练一点。LoRA 不是微调的反面。它是微调的方法之一。

只说“微调”时,通常指的是更新所有的全量微调(full fine-tuning)。LoRA 是只训练极小一部分的轻量方法。这类轻量方法叫 PEFT(高效微调)。

微调 fine-tuning

全量微调 full fine-tuning

更新模型的所有权重。

parameter-efficient fine-tuning

只训练极小一部分,其余保持不变。

  • LoRA

    加上两个小,只训练这两个。

  • 在后的模型上用 LoRA,占用的更少。

所以真正要选的不是“微调还是 LoRA”,而是“全量微调还是 LoRA”。

微调的两种方法

两种方法都从同一个模型出发。区别在于改动这个模型的多少权重。

预训练模型

  1. 全量微调

    full fine-tuning

    用新数据把预训练模型的全部权重重新训练一遍。

    训练什么
    如果是 7B 模型,7,000,000,000 个参数全部都会改变。
    得到什么
    结果是一个完整的新模型,大小和原模型一样。
  2. LoRA

    Low-Rank Adaptation

    LoRA(Low-Rank Adaptation)把原始权重 W 冻结,在旁边加上两个小矩阵 A 和 B,只训练这两个。

    训练什么
    训练的参数通常只有原模型的 0.1–1%。
    得到什么
    结果是一个小小的文件,加在原模型上使用。

LoRA 的公式

模型把权重存放在叫做矩阵的大数字表里。LoRA 不修改表 W。它把两张小表 B 和 A 相乘,再把结果加在 W 上。

W′ = W + ΔW = W + B·A

W′微调后使用的权重 W原始权重 冻结 ΔW变化量
ΔW变化量 B小矩阵 训练 A小矩阵 训练

每个矩阵的大小

W
d 行 × d 列。不改动。
B
d 行 × r 列。要训练。
A
r 行 × d 列。要训练。
r
r 叫做秩(rank),比 d 小得多。 (r ≪ d)

LoRA 建立在一个假设上:微调带来的权重变化量 ΔW,用一个就能足够好地近似。

用数字看能小多少

以 d = 4,096、r = 8 的一层为例。

全量微调

16,777,216

训练的参数

整个 W:d × d = 4,096 × 4,096

LoRA

65,536

训练的参数

B 和 A:2 × d × r = 2 × 4,096 × 8

约为全部的 1/256

一层中训练的参数数量(d = 4,096,r = 8)
  • 全量微调 16,777,216
  • LoRA 65,536

两根柱子用的是同一个刻度,所以 LoRA 的柱子几乎只是一个点。

LoRA 通常只用在层的部分矩阵上。所以从整个模型来看,训练的参数只有原模型的 0.1–1%。

全量微调和 LoRA 对比

全量微调 vs LoRA
项目 全量微调 LoRA
训练什么 全部权重 只有新加的低秩矩阵
和训练时间 大 小得多,用 把模型量化后还会更小
结果的大小 整个模型,几 到几十 GB 一个适配器文件,几 MB 到几百 MB
应对多个任务 每个任务都需要一份完整的模型 一个基础模型,只更换适配器
速度 和原模型一样 把适配器合并进 W 后和原模型一样
忘记原有知识 风险大 相对较小,因为原始权重被冻结
表达能力 最高 受秩 r 的限制

是指模型在学新东西时,丢掉了原来已经会的东西。

该选哪一种

实际工作大多用 LoRA 完成。全量微调用在 LoRA 不够用的时候。

适合用 LoRA 的情况

大多数实际工作
  • 想让一个大的基础模型带上某种说话风格、某个领域的用语或特定的。
  • 资源有限。
  • 需要按不同用途运行多个版本。

适合用全量微调的情况

LoRA 不够用的时候
  • 必须大幅改变模型的行为,比如基础模型几乎不懂的新语言或新领域。
  • 数据和计算资源都很充足。
  • 模型非常小。

超小模型不需要 LoRA

超小模型只有几百万到几千万个参数,全部训练的成本本来就很低,所以 LoRA 几乎带不来好处。LoRA 是模型越大效果越明显的技术。

出处

本页用通俗的话概括了下面的论文和文档,核对于 2026-11-10。如有出入,以原文为准。

可预约时间已过

与 Lyen 语音对话 选择语言和主题,用声音和 Lyen 对话

Lyen 会用 English · 한국어 · 日本語 · हिन्दी 朗读回答。其他语言只用文字回答。

与 Lyen 的语音对话仅限会员。请先注册会员。