OkayStudy
ZH English 한국어 日本語 中文 हिन्दी বাংলা اردو Español Português Français Deutsch Русский العربية Bahasa Indonesia Tiếng Việt ไทย Türkçe

如何开启通知

此浏览器或网址无法使用通知。请使用支持通知的浏览器,通过安全连接访问BaeumNova。

如果通知被屏蔽,请在浏览器设置中允许通知。

  1. 打开地址栏旁的站点设置或浏览器的站点设置,将此网站的通知设为允许。
  2. 在设备设置中允许浏览器发送通知,并检查勿扰模式或专注模式。
  3. 返回BaeumNova并刷新页面。通知开启后,铃铛将不再显示。

在iPhone或iPad上,将BaeumNova添加到主屏幕,从主屏幕打开后允许通知。

访客

登录后即可查看您的课程安排。

条款与政策

开始

一步步开始英语课程

点击步骤即可前往。

免费体验

  1. 选一位免费体验导师

    点照片上有[免费体验]的导师。

  2. 点带礼物标记的时间

    在课表里点带礼物图案的免费时间。

  3. 登录并预约

    登录后马上预约成功,不用付款。

  4. 摄像头和麦克风测试

    上课前先检查摄像头和麦克风。

  5. 查看已预约的课程

    查看已预约课程的时间和老师。

  6. 进入课程

    到时间后进入视频教室。

  7. 查看已上过的课程

    回顾已结束课程的记录。

  8. 评价老师

    下课后评价老师。

介绍自己

  1. 上传我的头像

    有照片老师更容易认出你。

  2. 做自我介绍

    在自我介绍版块打个招呼。

上课

  1. 预约课程

    在喜欢的老师的时间表上预约。

  2. 用 PayPal 支付课程费

    在 PayPal 上付款——PayPal 一确认,你的课程就预约好了。

  3. 查看已预约的课程

    查看已预约课程的时间和老师。

  4. 进入课程

    到时间后进入视频教室。

  5. 查看已上过的课程

    回顾已结束课程的记录。

  6. 评价老师

    下课后评价老师。

BPE 分词器:不断合并最常连在一起的两块的字节对编码

BPE(Byte Pair Encoding)是把文本切成词元的一种方法。词元是模型处理的带编号的小块。它不断把最常连在一起出现的两块合成一块。本页说明为什么需要它、怎么训练和使用,以及相关的术语。

返回术语表 出处核对于 2026-11-11
长长的传送带上排着一列小方块。中间一只机械臂找到挨在一起的一个橙色方块和一个薄荷色方块,把它们推到一起;右边的托盘里放着由两个方块合成的长方块

看图理解

  1. 小块

    把文本切成最小的单位。

  2. 常见的一对

    找出最常连在一起出现的两块。

  3. 新的一块

    把这一对合成新的一块。

什么是 BPE

BPE 是 Byte Pair Encoding(对编码)的缩写。它是把文本切成的一种方法,词元是模型能处理的带编号的小块。

它最早是 1994 年提出的一种压缩方法。现在用来造。 系列的模型都用这种方法。

核心想法只有一个:不断把最常连在一起出现的两块合成一块。

这就像给常说的话起一个简称。人们会把每天都说的长词语缩短来叫,BPE 对字符也是这样做的。

为什么需要它

模型不能直接读文字。它只处理数字。把文本变成数字有三种方法。

把文本变成数字的三种方法
方法 优点 缺点
按字符 小,没有不认识的词 文本变得很长,很慢
按单词 文本变短 词表会涨到几百万个词,没见过的词处理不了
BPE(按小块) 介于两者之间。常见的保持完整,少见的切成小块 需要先训练
把单词 ⁦"lower"⁩ 用三种方法切开
  • 按字符 lower 5 块
  • 按单词 lower 1 块
  • BPE(按小块) lower 2 块

在韩语里

韩语的词尾变化很多,比如 먹었습니다, 먹었어요, 먹었는데。所以按单词切特别吃亏。BPE 会自己学会像 먹었 + 습니다 这样切。

BPE 学到的切法
  • 먹었습니다
  • 먹었어요
  • 먹었는데

相同的一块词尾

怎么训练

BPE 分词器查看一批训练用的文本(语料库),学习该合并哪些对。一共四步。

  1. 切开

    把全部文本切成最小的单位(字节或字符)。这就是最初的词表。

  2. 数对

    数一数每一对相邻的小块各出现了多少次。

  3. 合并

    把出现最多的一对合成新的一块,加进词表。

  4. 重复

    重复第 2 步和第 3 步,直到词表达到想要的大小。

重复第 2 步和第 3 步,直到词表够大

跟着例子做

用文本 ⁦"aaabdaaabac"⁩ 来试一试。一开始有 11 个字符。

  1. 开始

    aaabdaaabac

    11 块

  2. ⁦"aa"⁩ 是出现最多的一对(4 次)。把它合并为 ⁦Z⁩ = ⁦"aa"⁩ 。

    ZabdZabac

    9 块

  3. ⁦"ab"⁩ 是出现最多的一对(2 次)。把它合并为 ⁦Y⁩ = ⁦"ab"⁩ 。

    ZYdZYac

    7 块

  4. ⁦"ZY"⁩ 是出现最多的一对(2 次)。把它合并为 ⁦X⁩ = ⁦"ZY"⁩ 。

    XdXac

    5 块

下一步要合并的一对新合成的小块

在第 2 步,⁦"Za"⁩ 也出现了 2 次。次数相同时选哪一对,每个分词器按自己定好的规则来。这里选了 ⁦"ab"⁩ 。

11 个字符变成了 5 块。合并的顺序(⁦aa → Z, ab → Y, ZY → X⁩)就是分词器学到的内容。 词表一开始有 4 个字符,加上 3 次合并,变成 7 个。

怎么使用

训练好的分词器做两件事。

编码

把新文本切成最小的单位。然后按学到的顺序套用训练时学到的合并规则,得到一串。

解码

把词元编号变回小块,再拼起来,就得到原文。

用上面学到的规则转换新文本 ⁦"baaab"⁩
文本
baaab
小块
bX
词元编号
[1, 6]
文本
baaab

词表(编号 : 小块)0 : a1 : b2 : c3 : d4 : Z5 : Y6 : X

先编码再解码,得到的必须和原文完全一样。

术语

讲 BPE 时总会一起出现的词。

小块和编号

词元 token
模型处理的最小文本块。它可以是一个字符、词的一部分,或者整个词。
词元 ID token ID
每个词元的编号。真正送进模型的就是这个值。
词表 vocabulary, vocab
全部词元的清单。
词表大小 vocab size
最初单位的数量加上合并的次数。词表越大,文本越短,但模型的表也越大。例如 是 256 个字节加 50,000 次合并,再加 1 个,一共 50,257 个。

合并

对 pair
挨在一起的两个词元。
合并 merge
把一对合成一个新词元。
合并规则 merge rules
按顺序记下的合并过的对的清单。保存分词器,就是保存这份清单。
语料库 corpus
用来训练分词器的一批文本。

还可以了解

字节级 BPE byte-level BPE
不从字符开始,而是从 字节(0 到 255)开始的 BPE。最初的词表固定为 256 个。任何字符或表情符号都能处理。
特殊词元 special token
不是文字内容、而是用作信号的词元。例如表示文本结束的 <eos> ,和把文本补到固定长度的 <pad> 。
OOV out of vocabulary
词表里没有的词。字节级 BPE 不会出现这种情况。

出处

本页用简单的话概括了下面的论文和文档,核对于 2026-11-11 。如有出入,以原文为准。

可预约时间已过

与 Lyen 语音对话 选择语言和主题,用声音和 Lyen 对话

Lyen 会用 English · 한국어 · 日本語 · हिन्दी 朗读回答。其他语言只用文字回答。

与 Lyen 的语音对话仅限会员。请先注册会员。