OkayStudy
ZH English 한국어 日本語 中文 हिन्दी বাংলা اردو Español Português Français Deutsch Русский العربية Bahasa Indonesia Tiếng Việt ไทย Türkçe

如何开启通知

此浏览器或网址无法使用通知。请使用支持通知的浏览器,通过安全连接访问BaeumNova。

如果通知被屏蔽,请在浏览器设置中允许通知。

  1. 打开地址栏旁的站点设置或浏览器的站点设置,将此网站的通知设为允许。
  2. 在设备设置中允许浏览器发送通知,并检查勿扰模式或专注模式。
  3. 返回BaeumNova并刷新页面。通知开启后,铃铛将不再显示。

在iPhone或iPad上,将BaeumNova添加到主屏幕,从主屏幕打开后允许通知。

访客

登录后即可查看您的课程安排。

条款与政策

开始

一步步开始英语课程

点击步骤即可前往。

免费体验

  1. 选一位免费体验导师

    点照片上有[免费体验]的导师。

  2. 点带礼物标记的时间

    在课表里点带礼物图案的免费时间。

  3. 登录并预约

    登录后马上预约成功,不用付款。

  4. 摄像头和麦克风测试

    上课前先检查摄像头和麦克风。

  5. 查看已预约的课程

    查看已预约课程的时间和老师。

  6. 进入课程

    到时间后进入视频教室。

  7. 查看已上过的课程

    回顾已结束课程的记录。

  8. 评价老师

    下课后评价老师。

介绍自己

  1. 上传我的头像

    有照片老师更容易认出你。

  2. 做自我介绍

    在自我介绍版块打个招呼。

上课

  1. 预约课程

    在喜欢的老师的时间表上预约。

  2. 用 PayPal 支付课程费

    在 PayPal 上付款——PayPal 一确认,你的课程就预约好了。

  3. 查看已预约的课程

    查看已预约课程的时间和老师。

  4. 进入课程

    到时间后进入视频教室。

  5. 查看已上过的课程

    回顾已结束课程的记录。

  6. 评价老师

    下课后评价老师。

请求走过的路

一间办公室:机器人接待员把问题卡片只送到众多专家办公桌中的三张,只有亮着灯的这三位专家在工作
一眼看懂整条路

从 AI 学过的文字到你屏幕上的回答

先收集文字,用它做出()。然后做好的模型一次算出一个下一个来回答()。上面这条路上会改变;下面这条路上权重保持不变,模型只做计算。

XSLM 真实计算 这些数字是用默认设置真实运行小型学习模型 XSLM 得到的值。只有标着「示意例子」的条形用的是人工设定的分数。

做出模型 — 训练 权重会变

  1. 收集数据
  2. 整理数据
  3. 变成词元和数字
  4. 一遍遍训练

训练循环:预测 → 和正确答案比较 → 计算损失 → 调整权重

使用模型 — 推理 权重固定

  1. 有人提问
  2. 把输入变成数字
  3. 模型计算
  4. 选出下一个词元
  5. 变回文字
  6. 显示在屏幕上

回答循环:计算下一个词元 → 选一个 → 接在输入后面 → 再计算(遇到结束标记或达到长度上限就停止)

  • 数据(文字)
  • 词元
  • 权重
  • 概率
  • 句子
各种文字经过一台整理机器,变成一叠整齐的数据

① 准备要学习的数据

收集网页、书、和对话文字,由和人一起筛掉重复的和质量低的文字。其中一部分留作测试用(验证数据)。

XSLM XSLM:15 行 → 去掉重复 → 训练用 12 行 · 验证用 3 行

详细了解
一条文字被切成词元小块,每块连着一行数字

② 把文字变成数字

把句子切成一个个词元小块,每块配一个编号,再用这个编号取来一组数字()。

  1. Q:␣29
  2. s22
  3. u24
  4. n18
  5. ↵1
  6. A:␣30
  7. t23
  8. h13
  9. e11
  10. ␣2
  11. s22
  12. u24
  13. n␣31
  14. is␣35
  15. w25
  16. a7
  17. r21
  18. m.39
  19. ↵1

XSLM 词表 40 个 · 这句话有 19 块

详细了解
机器人猜出被遮住的小块,量出差距,再转动调节旋钮

③ 一边预测一边学习权重

把下一块遮住,让模型来猜。和正确答案的差距()被往回送,一点点调整权重。

预测往前走 修正往回走

XSLM 同一个窗口再算一次:损失 3.7050 → 3.6684

详细了解
设计图、权重、分词器和设置装进一个箱子,载入服务器

④ 做好可以使用的模型

训练结束后,用从未见过的验证数据衡量模型的水平,再把的结构、学到的权重、和设置保存成一个包。大型聊天模型在此之前还要做额外的训练和。把这个包载入。

XSLM XSLM:矩阵 9 个 · 权重 1,248 个 · 验证损失 3.7568 → 3.7298

详细了解
问题小块经过模型变成概率条,最大的那块接到后面

⑤ 计算下一个词元

把问题变成数字送进模型。每个候选都会得到一个分数,分数变成,然后选出一块。选出的一块接在后面,模型再计算一次。

示意例子 — 按词 如果模型学得更久 the sun is …
  • warm63.2%
  • hot23.2%
  • blue10.4%
  • run3.1%

权重固定 这时权重不会改变。

详细了解
词元变成文字,出现在笔记本电脑的聊天窗口里,背后是整条路

⑥ 变成人能读懂的回答

选出的编号被变回文字,把它发给,显示在聊天窗口里。

the sun is warm.

XSLM 的运行器等回答全部写完再一次发送;大多数聊天机器人是一边写一边流式发送。

详细了解

自己试一试

跟着同一句话 "⁨the sun is warm.⁩",按下按钮,看看词元、嵌入、权重和概率有什么不同。

词元编号和嵌入

按下一块:它的编号和那组数字(嵌入)会一起亮起来。

词元编号 — 只是指向这一块的编号,本身没有意思
t 23

嵌入 — 由训练决定的 8 个数字

训练前
  1. 0.11
  2. -0.03
  3. 0.28
  4. -0.12
  5. 0.09
  6. -0.03
  7. 0.01
  8. 0.07
训练 20 步之后
  1. 0.11
  2. -0.03
  3. 0.28
  4. -0.12
  5. 0.09
  6. -0.02
  7. 0.01
  8. 0.07

训练一步 权重会变

刚开始的模型在这句话的窗口上,一步一步地做:预测 → 量出损失 → 调整权重。

  1. Q:␣
  2. s
  3. u
  4. n
  5. ↵
  6. A:␣
  7. ?
要猜的那块
t
正确那块的概率
3.2%
损失
3.7050
  1. 训练前 · 损失 3.7050

回答一步 权重固定

只训练了 20 步的 XSLM 在问题后面一次选一块。权重是固定的。

目前的回答 Q:␣sun↵A:␣

  • Q:␣5.4%
  • .3.8%
  • A:␣i3.4%
  • A3.1%
  • t3.1%
  • 其余所有候选81.3%

选出的一块 —

概率表示一个候选接下来出现的可能性,不是回答正确的可能性。模型只学了 20 步,所以还会选出奇怪的小块 — 里的正确答案是 "⁨the sun is warm.⁩"。

同一条路,一步一步全看

1 从我的手到程序 第 1 个地方 4 步
  1. 一个键被按下

    键盘里那台小小的电脑发现哪个键动了,把它变成一个数字,顺着线送出去。

  2. 操作系统接住它

    里的驱动把这个数字变成,排好队交给此刻在最前面的那个窗口。

  3. 程序从队列里取出来

    每个都在跑一个循环,一次取一个事件来处理。字出现在输入框里,就是这一步。

  4. 麦克风走的是另一条路

    声音以每秒几万次测量值的形式到来。在文本看到之前,语音转文字模型先把说话的部分变成文字 — 不过有些较新的模型可以直接听声音。

2 把要送的东西装好 第 1 个地方 7 步
  1. 系统提示词

    写程序的人事先定好的规矩排在最前面 — 你是什么,该怎么回答。

  2. 到目前为止的对话

    之前的几轮对话按顺序放进去。因为有上限,应用会先丢掉、缩短或概括最早的那些 — 没放进去的内容,模型根本看不到。

  3. 你附上的东西

    图片或文件以服务能接受的形式附上:原始、文件 、链接,或者一长串叫作 的字母。对于 ,服务可能抽出其中的文字、把页面拍成图片,或用 来读。

  4. 翻你自己的资料(RAG)

    这就是 。你的问题被变成数字(或关键词),再把你的文档里与它最匹配的几段找出来,一起装进去。模型本身并没有重新 — 找到的段落也仍然需要核对。

  5. 工具清单

    应用允许的每个工具,名字和输入格式都像菜单一样写出来。应用可以列出自己的工具,也可以从 那里取得。

  6. 技能和命令

    别人事先写好的成捆指令 — — 在任务需要时被插进来。技能包还可能带着脚本和参考文件,所以在信任它之前先读一读。

  7. 塞进上限里

    整个包袱都按来计数。一旦超过上限,应用就得剪掉、缩短或拿掉一些东西 — 通常先从最旧的内容下手。

3 跨越互联网 第 2 个地方 4 步
  1. 找地址

    把的名字换成数字地址()。

  2. 开路,再上锁

    在发送任何东西之前,你的电脑和服务器先开出一条路,并商定一把秘密钥匙,这样中间谁也读不到经过的内容( 和 ;较新的 用 把两件事一起做了)。

  3. 表明身份

    在请求的头部附上钥匙()或票据(令牌)。算在谁账上,就在这里定下来。

  4. 把请求送出去

    到目前为止装好的一切,变成一个请求,通常用 写成,然后发出去。如果双方需要一直说下去 — 比如实时语音 — 就会让连接保持打开。

4 服务器门口 第 3 个地方 3 步
  1. 门卫

    看看钥匙对不对、叫得是不是太频繁,然后交给一台闲着的计算机器。

  2. 排队

    请求不会马上被计算,而是先排一小会儿队。轮到的时候,会拿着早已装载好的那一份数字,把排着队的好几个问题一起算。

  3. 检查进来的东西

    开算之前,先看看这个请求有没有违反规矩。

5 服务器内部 — 机器和运行时 第 3 个地方 3 步
  1. 数字文件正睡着

    训练完的模型,就是存储设备上一个很大的文件。它本身不做任何计算。本站的也是四个文件,加起来大约 398MB。

  2. 运行时装载一次

    服务器启动时(或应用准备就绪时),运行时读入那个文件,做好运行的准备,并把它留在里,所以不会每个问题都重新打开。如果内存不够,或者服务器重启,就得再加载一次。

  3. 加速器接下乘法

    同样的乘法要做上天文数字那么多次,于是交给专为此打造的芯片,旁边配着快速内存让数字待着。普通 也能做,只是会慢一些。

一台服务器里的摆法
一台服务器计算机
普通处理器和内存
存储设备上的权重文件
模型运行时 — 负责装载和照看的程序
加速器和它旁边的快速内存

运行时并不住在里面。它是另一个独立跑着的程序,负责读文件、把数字放到那块芯片旁边的内存里。

把多个请求捆在一起是第 17 步,把算过的留着是第 27 步 — 这两件事都由这个程序来做。

6 模型开始算 第 4 个地方 7 步
  1. 切成词元

    文字被切成这个模型的认识的小块,每一块都得到一个固定的编号(ID)。换一个模型,同样的文字可能被切成不同的小块。

  2. 编号变成一串数字

    每个 ID 都会挑出一长串在训练中学到的数字()。ID 编号本身没有意义;用法相近的小块,最后可能变得相似的,是这些数字串。

  3. 标上顺序

    每个词元排在第几个,也会用数字告诉模型 — 没有它,模型就分不清「狗咬人」和「人咬狗」。各个模型的做法不同,(RoPE)是常见的一种。

  4. 互相看(注意力)

    :对每一个词元,模型都要算出该看前面每个词元多少,再按这个比例把它们的信息混合起来。它只往回看 — 从不看还没写出来的词元。

  5. 一层层地乘和加

    这些数字要穿过很多层 — 大模型有几十层 — 每一层都做一次注意力,再做一轮乘法和加法。每过一层,数字就挪动一点;一共有多少层,要看是哪个模型。

  6. 给全部打分

    最后一层给它认得的每一个词元打分 — 视模型而定,几万到几十万个分数一次出来。

  7. 挑一个

    最后的分数被变成()。让概率更尖或更平, 和 top-p 只留下最可能的几个,然后抽出一个词元。总是拿最高分的做法叫作(greedy)。

7 一个词元一个词元,反复来 第 4 个地方 3 步
  1. 接到后面

  2. 算过的省着用

    前面词元已经算好的数字会被保存下来(),而不是重算一遍。这样省时间,但占内存;整体速度还取决于文字有多长、服务器有多忙,以及。

  3. 回到第 20 步

    多了一个词元的文字,再一次穿过模型 — 多亏第 27 步,已经算过的部分可以直接再用。就这样一圈又一圈,直到出现表示「结束」的词元,或者到达长度上限。

把答案一路写下去的循环就是它 — 每一个词元都回到第 20 步。

8 回来的路 第 2 个地方 4 步
  1. 把词元编号还原成能读的文字

  2. 边出边送

    不等整段答案写完,做出多少就推出多少,一小块一小块地送()。

  3. 检查出去的东西

    送出去的文字,也要看看有没有违反规矩。

  4. 记下用了多少

    数一数送进去和送出来的词元各有多少。账单就是从这里出来的。

9 程序接住它 第 5 个地方 4 步
  1. 按顺序把到达的小块拼起来

  2. 画到屏幕上

    读懂 ,把它变成标题、列表和框画出来。每到一个片段就重画一次——文字像打字一样变长,是因为第 30 步的流式输出。

  3. 找出工具请求

    程序一直盯着,看答案里有没有夹着约定格式的。

  4. 核对参数

    那个工具是不是真有、参数长相对不对,都要在动手之前查一遍。

10 借手的循环 第 5 个地方 4 步
  1. 请求许可

    凡是有风险的事 — 删除文件、执行命令 — 做得好的应用会先问你。这道确认放在应用里,而不在模型里;把它关掉,是人做的决定。

  2. 真的动手

    应用照模型的要求去做:改一个文件、执行一条命令,或者调用另一个程序(MCP 服务器)— 只在它被授予的之内。

  3. 把结果装回去

    出了什么、失败的话为什么,都作为新的一行装进第 6 步那段对话里。

  4. 回到第 15 步

    重新装好、里面放着那个结果的包袱,再发出去一次。这样反复下去,直到模型说完成了,或者应用因为上限、取消或出错而让它停下。

人们所说的,指的就是这个循环 — 一次又一次回到第 15 步。

走进模型文件

数字、精度、内存——以及让数字运转的运行时

  1. 模型文件 乐谱
  2. 运行时 指挥
  3. CPU · GPU 演奏者
三种常见的运行时
擅长
在多种设备上运行多种
在自己的电脑上运行 ()
在个人 PC 上运行超大 模型
查看详情

模型是学习得到的海量数字与计算结构。运行时把这些结构载入内存,并在CPU、等计算设备上真正执行它们。

可以把模型文件想成乐谱,CPU和GPU是演奏者,运行时则是读谱并协调演奏的指挥。

— 一种跨通用引擎,可运行图像、语音、语言等多类模型,并通过连接针对不同的加速器。

— 一种专注于让和以较少配置运行或端多种硬件上的引擎,常与格式的模型文件配合使用。

— 为了在个人电脑上运行超大模型(在众多专家中只挑一部分来计算的模型)而做的运行时。它把 GPU、CPU、主内存(RAM)以及它们之间的连接合在一起,当作一台机器来用。

什么是参数?

参数与张量的关系
    • 矩阵
        • = 1个
[0.2, −0.7, 1.3] 1个向量・3个标量数字・3个参数
0.10.2−0.30.7−0.40.9 这是一个2 × 3,但里面有6个数字,所以贡献了6个。

里的B是Billion(十亿),不是Byte。8B模型不是有80亿个,而是大约有80亿个参数,每个参数都只是一个数(标量)。

参数与权重

参数
  • 权重
  • 偏置
  • 嵌入
  • 归一化系数
y = w₁x₁ + w₂x₂ + b

都是参数,但参数不全是权重。

查看详情

参数(英文 parameter)是模型在学习中得到或调整的一个标量数字。向量、矩阵和张量是装数字的容器,其中每一个标量数字都算一个参数。

权重(英文 weight)是最典型的一类参数,它决定输入对结果产生多强的影响。、嵌入和等也可能是参数。

一个参数并不是装着一条知识的盒子。如果张量或矩阵是大抽屉柜,参数就是其中一个数字格;位数表示这个数字记录得有多精细。

一个参数占多少位?

每参数位数
  • 32 bit · 4 B
  • / BF16 16 bit · 2 B
  • 8 bit · 1 B
  • 4-bit 4 bit · ≈ 0.5 B
查看详情

参数是一个数字,却能用不同保存。减少位数通常能节省内存,但实际文件还会有、等额外。

为什么8B模型大约是8GB?(按8位计算)

权重容量 ≈ 参数量 × 每参数位数 ÷ 8
8B
  • FP16 ≈ 16 GB
  • 8-bit ≈ 8 GB
  • 4-bit ≈ 4 GB
32B
  • FP16 ≈ 64 GB
  • 8-bit ≈ 32 GB
  • 4-bit ≈ 16 GB
70B
  • FP16 ≈ 140 GB
  • 8-bit ≈ 70 GB
  • 4-bit ≈ 35 GB

表中是只计算权重并采用十进制单位的简化理论值。实际量化文件还存有缩放因子、元数据和其他结构,因此可能更大。

查看详情

使用8位精度时,每个参数约占1字节。因此80亿参数的纯权重大约需要8GB。同样的参数量采用不同精度,容量也会不同。

MoE — 只有少数专家工作的模型

MoE(Mixture of Experts)意思是“多个专家的组合”。模型内部有许多专门的处理部分(专家),并根据输入只挑选其中一部分来计算。

一间办公室:机器人接待员把问题卡片只送到众多专家办公桌中的三张,只有亮着灯的这三位专家在工作
就像一家有 30 位专家的公司,每个问题只由需要的 3 位来处理。这并不是说专家正好是 30 位或 3 位。
Qwen3-Coder 30B-A3B — 每个词元只让 128 个专家中的 8 个参与计算
一个词元
路由器 — 挑选专家
进入下一步计算
  • 为这个词元挑选的专家
  • 这次休息的专家(仍在内存中)

读懂名字 — Qwen3-Coder 30B-A3B

30B整个模型约有 300 亿个参数。
A3B处理一个词元时,约有 30 亿个参数参与计算(A = Active)。
参数数量(B = 10 亿)
  • 整个模型 — 内存要装下的量 ≈ 30.5B
  • 每个词元要计算的量 ≈ 3.3B

效果 — 比每次都计算全部 300 亿个参数的模型计算量更少。

内存 — 可能被选中的专家都要准备好,所以仍然需要能装下整个模型的 RAM。

因此,在没有 GPU 的 CPU 服务器上(例如 12 vCPU·48GB RAM),MoE 是有利的候选。它能把大模型放进内存,同时减少每次的计算量。不过实际速度仍取决于 CPU 和内存的性能。

查看详情

MoE 中的专家并不像人一样各自负责固定的领域,而是在训练中自然分出角色的小型。路由器也是训练出来的:它为每个词元给专家打分,挑出最合适的几个。所以在同一句话里,不同词元选中的专家也可能不同。

数字来源: 官方(2026-10-23 核对)

真正运行时还需要更多内存

运行模型时,内存是这样分配的 示例
  • 权重
  • KV缓存
  • 计算缓冲区
  • 运行时开销

越长,KV缓存越大

运行内存 = 权重 + KV缓存 + 计算缓冲区 + 运行时开销
查看详情

权重文件只是起点。推理还需要保存先前词元的KV缓存、临时和运行时开销。因此理论上4GB的模型实际可能需要5~8GB甚至更多;上下文越长,KV缓存通常越大。

小小的数字怎样表达大量知识?

一个点只是一种颜色,但很多点聚在一起,就成了一幅画
查看详情

8位能表示256个等级,但单个参数里并没有存放“首尔是韩国首都”这样的句子。知识分散在数十亿参数跨越许多层相互作用所形成的整体模式里。

一个只是一个颜色值;数百万像素排列起来,就会出现人脸或风景。模型知识也以相似方式从分散的数字模式中涌现。

AI模型是由向量、矩阵和张量组织起来的海量标量参数模式。精度决定理论权重容量;运行时把权重载入内存,再用额外的工作内存在可用硬件上执行模型。

接着读

可预约时间已过

与 Lyen 语音对话 选择语言和主题,用声音和 Lyen 对话

Lyen 会用 English · 한국어 · 日本語 · हिन्दी 朗读回答。其他语言只用文字回答。

与 Lyen 的语音对话仅限会员。请先注册会员。