OkayStudy
ZH English 한국어 日本語 中文 हिन्दी বাংলা اردو Español Português Français Deutsch Русский العربية Bahasa Indonesia Tiếng Việt ไทย Türkçe

如何开启通知

此浏览器或网址无法使用通知。请使用支持通知的浏览器,通过安全连接访问BaeumNova。

如果通知被屏蔽,请在浏览器设置中允许通知。

  1. 打开地址栏旁的站点设置或浏览器的站点设置,将此网站的通知设为允许。
  2. 在设备设置中允许浏览器发送通知,并检查勿扰模式或专注模式。
  3. 返回BaeumNova并刷新页面。通知开启后,铃铛将不再显示。

在iPhone或iPad上,将BaeumNova添加到主屏幕,从主屏幕打开后允许通知。

访客

登录后即可查看您的课程安排。

条款与政策

开始

一步步开始英语课程

点击步骤即可前往。

免费体验

  1. 选一位免费体验导师

    点照片上有[免费体验]的导师。

  2. 点带礼物标记的时间

    在课表里点带礼物图案的免费时间。

  3. 登录并预约

    登录后马上预约成功,不用付款。

  4. 摄像头和麦克风测试

    上课前先检查摄像头和麦克风。

  5. 查看已预约的课程

    查看已预约课程的时间和老师。

  6. 进入课程

    到时间后进入视频教室。

  7. 查看已上过的课程

    回顾已结束课程的记录。

  8. 评价老师

    下课后评价老师。

介绍自己

  1. 上传我的头像

    有照片老师更容易认出你。

  2. 做自我介绍

    在自我介绍版块打个招呼。

上课

  1. 预约课程

    在喜欢的老师的时间表上预约。

  2. 用 PayPal 支付课程费

    在 PayPal 上付款——PayPal 一确认,你的课程就预约好了。

  3. 查看已预约的课程

    查看已预约课程的时间和老师。

  4. 进入课程

    到时间后进入视频教室。

  5. 查看已上过的课程

    回顾已结束课程的记录。

  6. 评价老师

    下课后评价老师。

请求走过的路

一间办公室:机器人接待员把问题卡片只送到众多专家办公桌中的三张,只有亮着灯的这三位专家在工作
一眼看懂整条路

从 AI 学过的文字到你屏幕上的回答

先收集文字,用它做出()。然后做好的模型一次算出一个下一个来回答()。上面这条路上会改变;下面这条路上权重保持不变,模型只做计算。

XSLM 真实计算 这些数字是用默认设置真实运行小型学习模型 XSLM 得到的值。只有标着「示意例子」的条形用的是人工设定的分数。

做出模型 — 训练 权重会变

  1. 收集数据
  2. 整理数据
  3. 变成词元和数字
  4. 一遍遍训练

训练循环:预测 → 和正确答案比较 → 计算损失 → 调整权重

使用模型 — 推理 权重固定

  1. 有人提问
  2. 把输入变成数字
  3. 模型计算
  4. 选出下一个词元
  5. 变回文字
  6. 显示在屏幕上

回答循环:计算下一个词元 → 选一个 → 接在输入后面 → 再计算(遇到结束标记或达到长度上限就停止)

  • 数据(文字)
  • 词元
  • 权重
  • 概率
  • 句子
各种文字经过一台整理机器,变成一叠整齐的数据

① 准备要学习的数据

收集网页、书、和对话文字,由和人一起筛掉重复的和质量低的文字。其中一部分留作测试用(验证数据)。

XSLM XSLM:15 行 → 去掉重复 → 训练用 12 行 · 验证用 3 行

详细了解
一条文字被切成词元小块,每块连着一行数字

② 把文字变成数字

把句子切成一个个词元小块,每块配一个编号,再用这个编号取来一组数字()。

  1. Q:␣29
  2. s22
  3. u24
  4. n18
  5. ↵1
  6. A:␣30
  7. t23
  8. h13
  9. e11
  10. ␣2
  11. s22
  12. u24
  13. n␣31
  14. is␣35
  15. w25
  16. a7
  17. r21
  18. m.39
  19. ↵1

XSLM 词表 40 个 · 这句话有 19 块

详细了解
机器人猜出被遮住的小块,量出差距,再转动调节旋钮

③ 一边预测一边学习权重

把下一块遮住,让模型来猜。和正确答案的差距()被往回送,一点点调整权重。

预测往前走 修正往回走

XSLM 同一个窗口再算一次:损失 3.7050 → 3.6684

详细了解
设计图、权重、分词器和设置装进一个箱子,载入服务器

④ 做好可以使用的模型

训练结束后,用从未见过的验证数据衡量模型的水平,再把的结构、学到的权重、和设置保存成一个包。大型聊天模型在此之前还要做额外的训练和。把这个包载入。

XSLM XSLM:矩阵 9 个 · 权重 1,248 个 · 验证损失 3.7568 → 3.7298

详细了解
问题小块经过模型变成概率条,最大的那块接到后面

⑤ 计算下一个词元

把问题变成数字送进模型。每个候选都会得到一个分数,分数变成,然后选出一块。选出的一块接在后面,模型再计算一次。

示意例子 — 按词 如果模型学得更久 the sun is …
  • warm63.2%
  • hot23.2%
  • blue10.4%
  • run3.1%

权重固定 这时权重不会改变。

详细了解
词元变成文字,出现在笔记本电脑的聊天窗口里,背后是整条路

⑥ 变成人能读懂的回答

选出的编号被变回文字,把它发给,显示在聊天窗口里。

the sun is warm.

XSLM 的运行器等回答全部写完再一次发送;大多数聊天机器人是一边写一边流式发送。

详细了解

自己试一试

跟着同一句话 "⁨the sun is warm.⁩",按下按钮,看看词元、嵌入、权重和概率有什么不同。

词元编号和嵌入

按下一块:它的编号和那组数字(嵌入)会一起亮起来。

词元编号 — 只是指向这一块的编号,本身没有意思
t 23

嵌入 — 由训练决定的 8 个数字

训练前
  1. 0.11
  2. -0.03
  3. 0.28
  4. -0.12
  5. 0.09
  6. -0.03
  7. 0.01
  8. 0.07
训练 20 步之后
  1. 0.11
  2. -0.03
  3. 0.28
  4. -0.12
  5. 0.09
  6. -0.02
  7. 0.01
  8. 0.07

训练一步 权重会变

刚开始的模型在这句话的窗口上,一步一步地做:预测 → 量出损失 → 调整权重。

  1. Q:␣
  2. s
  3. u
  4. n
  5. ↵
  6. A:␣
  7. ?
要猜的那块
t
正确那块的概率
3.2%
损失
3.7050
  1. 训练前 · 损失 3.7050

回答一步 权重固定

只训练了 20 步的 XSLM 在问题后面一次选一块。权重是固定的。

目前的回答 Q:␣sun↵A:␣

  • Q:␣5.4%
  • .3.8%
  • A:␣i3.4%
  • A3.1%
  • t3.1%
  • 其余所有候选81.3%

选出的一块 —

概率表示一个候选接下来出现的可能性,不是回答正确的可能性。模型只学了 20 步,所以还会选出奇怪的小块 — 里的正确答案是 "⁨the sun is warm.⁩"。

全景 — 五个地方

  • 我的电脑
  • 远处的机器
1

我电脑上的程序

、、应用。它接住你的请求,决定要送出什么。

第 1 个和第 5 个地方是同一台电脑——我的电脑

第 3 个地方里面 — 远处的计算机器

只有一次
  1. 上的大文件保存着学到的数值,以及加载所需的信息。
  2. 把它读进来,放到专门用来计算的芯片上,然后就一直摆在那儿。
每一次
  1. 门卫核对钥匙,请求排队等着轮到自己。
  2. 计算就冲着早已放在上面的那些数字来跑。

一步一步看

一共八步。到第八步,路会分成两条。

1

我把它送出去

键盘和鼠标的动作经过,交给你正在看的那个。麦克风不一样:只有在你允许时,程序才会接收声音,用把它变成文字 — 或者把声音送给能直接听的。

路不是一条,是两条

把这两条画成同一条路,正是可怕的误会的源头。它们并不一样。

8 路在这里分岔

只是对话

  1. 屏幕上的文字
  2. 到此为止
查看详情

文字在屏幕上流过,就到此为止。你的电脑上什么也没发生。本站的 Lyen 学习助手走的就是这条路。

借一双手

  1. 找出工具请求
  2. 请求许可
  3. 真的动手
  4. 把结果装回去

结果装进第 2 步的包袱,再从第 3 步出去

查看详情

回来的仍然只是文字。当这段文字是一个工具请求 — 「改一下这个文件」 — 时,你电脑上的会先检查,再替它去做。然后把结果装进第 2 步的包袱,从第 3 步再次送出去,对话就这样继续。这样的往返,就是人们所说的。

做得好的程序,在删除文件或执行命令之前会先问你 — 而决定关掉这个提问的,是人。这个提问就是保险栓:它由程序来执行,而不是对模型的一句客气嘱咐。

练习检查危险命令

如果一定要打个比方

模型是只会计算的零件;身体是你电脑上的程序,或者包在它外面的服务。会计算的零件没有手 — 它自己不能创建文件,也不能打开应用,只能用文字提出请求。真正动起来的一切,都是程序在它被允许的范围内做的。

  • 是身体, 模型是它的计算零件 — 身体可以换掉这个零件。同一个编辑器,明天就能接上另一家公司的模型。

  • 同一个计算零件,同时应付着彼此素不相识的众多人的请求。活着的东西做不到这种事。

再说两件事

计算机器并不总在远方

本站的学习助手经过我们的服务器

请求可以走的三条路
1 · 我的 2 · 3 · 远程机器 4 · 计算 5 · 我的屏幕
就在我自己的里 是 否 否 是 是
经由我们的 是 是 是 是 是
在远处那家公司的机器上 是 是 是 是 是

走中间那条路(经过我们的)时,真正的计算也是在第三条路上、在远方某家公司的机器上发生的。我们的服务器只负责核对请求并把它搬运过去。

查看详情

小模型可以在你自己的电脑里运行。本站的语音就是这样:下载好以后,把文字变成语音的工作就在你的设备上完成。聊天则不同 — 那些消息仍然经由 BaeumNova 送到服务。

打开 Lyen 学习助手,随便问点什么。把它送到我们的服务器,服务器再交给远处的计算机器。文字一小块一小块回来,那是第 6 步;这些文字在屏幕上一点点长出来,那是第 7 步。Lyen 走的是只对话那条路,从不碰你电脑上的文件。

Lyen 学习助手就是这样。我们的服务器只负责把请求递过去,并不运行模型。

计算真正发生的地方。他们内部用的是哪种运行时,并没有公开。

给大人的注解

写给需要更精确说法的人。

词元

模型并不读单词。把文字切成 — 有时是整个单词,有时是几个字母,有时只是一个 — 每一个都变成一个数字。不同的模型切同一句话的方式不同,所以同一段文字算出来的词元数也可能不同。

流式传输

一边生成一边把局部输出推送出去,通常走 。每一块有多大,各家产品并不相同;有的不是按词元,而是按句子送。

模型的种类

有 (大语言模型)、(小语言模型)、(视觉语言模型),还有生成图像和视频的。LLM 和 SLM 主要是大小不同,VLM 还能读图片,扩散模型主要输出图像和视频(也有写文字的扩散语言模型)。

怎么挑

下一个词元怎么选,是一项设置。把调低,模型更常选最高分,同样的输入会得到更相似的回答;调高,回答就更多变。就算调到零,实际的服务也不保证每次给出一模一样的答案,而且更稳定的答案并不是更正确的答案。

RAG · MCP · 技能

这些是往包袱里多装东西的几种方式的名字。 搜索文档并附上找到的内容; 是把 AI 应用连接到外部工具和的;是事先准备好的成套指令。哪些能用,由应用的设置和决定 — 从来不是模型自己说了算。

运行模型的程序(运行时)

本站实际用的是 ()和 ()。在服务器上跑大语言模型时,用的是干同样活儿的另一些程序 — 、、 等等。哪家公司用哪一个,并没有公开。

权重、参数数量与容量公式

(英文 weight)是在中学到的数值。(英文 parameter)包括权重、等通过训练确定的值。模型大约有700亿个参数;减少的是保存每个数值所需的位数,而不是参数数量。这里的“权重容量”指保存这些模型参数所需的总空间。

权重容量()≈ 参数数量 × 每个参数的存储位数 ÷ 8。因为1字节等于8位,所以要除以8。将70B保存为4位:70,000,000,000 × 4 ÷ 8 = 35,000,000,000字节,也就是十进制单位的35 。这个数值不包含量化附加信息和的工作。

Q4、Q6、Q8:用更少的空间保存同一组数值

、Q6、Q8通常表示每个大约用4、6、8位保存。同一个的理论容量分别为35 、52.5 GB和70 GB。以16位的140 GB为基准,它们分别为25%、37.5%和50%。

这些是估算值,并不是准确的下载大小。等方式会混合使用不同,并加入缩放系数和。量化会用较粗略的近似值表示数值,因此可能降低回答质量;它并不会删除。

70B的理论权重容量(十进制GB)
  • FP16 / BF16 140 GB · 100%
  • Q8 70 GB · 50%
  • Q6 52.5 GB · 37.5%
  • Q4 35 GB · 25%
未量化的原版一定是16位吗?

不是。许多公开的原始采用或BF16,两者都是16位浮点格式。每个数值占用的空间相同,但数值范围和不同。这里为了比较,使用16位原版作为示例。

“原版”并不规定存储位数:发布的检查点也可能采用(32位)、混合精度,或已经过的权重。需要查看以及实际的。把所有原版都称为“16位”是不正确的。

文件变小,内存和GPU使用量也会减少吗?

保存后的,通常会让文件变小。如果运行在中仍保留紧凑表示,权重占用的内存也会减少。只在加载时量化,上的原始文件可能不变;如果加载时把权重展开成更高,内存占用又可能增加。

内存 ≈ 权重 + + 临时 + 运行程序。量化权重并不会自动量化KV缓存。对话越长、同时处理的请求越多,可能需要越多。、使用率和速度不会与位数简单成正比,还取决于支持、数值解包计算和传输。

模型就是一个装着数值和程序的文件吗?

通常下载时,占空间最多的是按组织的、学到的数值。模型可以保存在一个文件中,也可以拆成多个分片,配置和文件还可能单独保存。配置描述模型结构;分词器把文本片段映射为。

可以把张量、结构和分词器信息放在一起。保存张量和元数据,结构配置往往另存为文件。还可以描述。描述结构与包含执行它的引擎是两回事。、等运行是独立的,它们读取这些信息,再用或执行计算。

可以把它们比作食谱、称好分量的食材和厨师:模型提供要做什么计算以及所用的已学习数值,运行程序负责执行步骤。说普通模型文件里包含完整的执行程序,会让人产生误解。

接着读

可预约时间已过

与 Lyen 语音对话 选择语言和主题,用声音和 Lyen 对话

Lyen 会用 English · 한국어 · 日本語 · हिन्दी 朗读回答。其他语言只用文字回答。

与 Lyen 的语音对话仅限会员。请先注册会员。