BPE トークナイザー — いちばんよく並ぶ二つのかけらをまとめるバイトペア符号化
BPE(Byte Pair Encoding)は、文章をトークンに分ける方法です。トークンは、モデルが扱う番号つきのかけらです。いちばんよく並んで出てくる二つのかけらを一つにまとめることをくり返します。なぜ必要か、どう学習してどう使うか、関連する用語を説明します。
絵で見ると
-
小さなかけら
文章をいちばん小さな単位に分けます。
-
よく並ぶペア
いちばんよく並んで出てくる二つのかけらを探します。
-
新しいかけら
そのペアを新しいかけら一つにまとめます。
BPE とは
BPE は Byte Pair Encoding(ペア符号化)の略です。文章を、モデルが扱える番号つきのかけらであるに分ける方法です。
もともとは 1994 年に出た圧縮の方法です。いまはを作る方法として使われています。 系のモデルはすべてこの方式を使っています。
大事な考えは一つです。いちばんよく並んで出てくる二つのかけらを一つにまとめることをくり返します。
よく口にする言葉に短い名前をつけるのと同じです。人が毎日使う長い言葉を略して呼ぶように、BPE は文字を同じように短くします。
なぜ必要か
モデルは文字を読めません。数字だけを扱います。文章を数字に変える方法は三つあります。
| 方法 | よい点 | 悪い点 |
|---|---|---|
| 文字ごと | 語彙が小さく、知らない単語がありません | 文章がとても長くなり、が遅くなります |
| 単語ごと | 文章が短くなります | 語彙が数百万個にふくらみ、初めて見る単語を扱えません |
| BPE(かけらごと) | 二つの中間です。よく出るものはまるごと、めったに出ないものは細かく分けます | 先に学習させる必要があります |
- 文字ごと lower かけら 5 個
- 単語ごと lower かけら 1 個
- BPE(かけらごと) lower かけら 2 個
韓国語では
韓国語は 먹었습니다, 먹었어요, 먹었는데 のように語尾がさまざまです。そのため単語ごとに分ける方法はとくに不利です。BPE は 먹었 + 습니다 のように分けることを自分で学習します。
- 먹었습니다
- 먹었어요
- 먹었는데
同じかけら語尾
学習のしかた
BPE トークナイザーは、学習用の文章の集まり(コーパス)を見て、どのペアをまとめるかを学習します。四つのステップがあります。
-
分ける
文章ぜんたいをいちばん小さな単位(バイトまたは文字)に分けます。これが最初の語彙です。
-
ペアを数える
となり合う二つのかけらのペアが、それぞれ何回出てくるかを数えます。
-
まとめる
いちばん多く出たペアを新しいかけら一つにまとめ、語彙に加えます。
-
くり返す
語彙がほしい大きさになるまで、ステップ 2 と 3 をくり返します。
語彙が十分な大きさになるまでステップ 2 と 3 をくり返す
例でたどる
文章 "aaabdaaabac" でやってみましょう。11 文字から始めます。
-
最初
aaabdaaabac
かけら 11 個
-
"aa" がいちばん多いペアです(4 回)。Z = "aa" としてまとめます。
ZabdZabac
かけら 9 個
-
"ab" がいちばん多いペアです(2 回)。Y = "ab" としてまとめます。
ZYdZYac
かけら 7 個
-
"ZY" がいちばん多いペアです(2 回)。X = "ZY" としてまとめます。
XdXac
かけら 5 個
次にまとめるペア新しくできたかけら
ステップ 2 では、"Za" も 2 回で同じ回数です。回数が同じときにどのペアを選ぶかは、トークナイザーごとに決めた規則に従います。ここでは "ab" を選びました。
11 文字が 5 個のかけらになりました。まとめた順番(aa → Z, ab → Y, ZY → X)が、そのままトークナイザーが学習した内容です。 語彙は最初の 4 文字に 3 回のマージが加わり、7 個になりました。
使い方
学習が終わったトークナイザーは二つの仕事をします。
エンコード
新しい文章をいちばん小さな単位に分けます。次に、学習で覚えたマージ規則を覚えた順番どおりに当てはめて、のリストにします。
デコード
トークン番号をかけらに戻してつなげると、もとの文章になります。
- 文章
baaab- かけら
- bX
- トークン番号
[1, 6]- 文章
baaab
語彙(番号 : かけら)0 : a1 : b2 : c3 : d4 : Z5 : Y6 : X
エンコードしてからデコードした結果は、もとの文章とまったく同じでなければなりません。
用語
BPE を説明するときにいっしょに出てくる言葉です。
かけらと番号
- トークン token
- モデルが扱う文章のいちばん小さなかけらです。一文字のことも、単語の一部や単語まるごとのこともあります。
- トークン ID token ID
- トークンごとに付いた番号です。実際にモデルに入るのはこの値です。
- 語彙 vocabulary, vocab
- トークンぜんぶのリストです。
- 語彙サイズ vocab size
- 最初の単位の数にマージの回数を足した値です。大きいほど文章は短くなりますが、モデルのの表が大きくなります。たとえば は、256 個のバイトに 50,000 回のマージと 1 個のを足して 50,257 個です。
まとめる
- ペア pair
- となり合って並ぶ二つのトークンです。
- マージ merge
- ペア一つを新しいトークン一つにまとめることです。
- マージ規則 merge rules
- まとめたペアを順番に書いたリストです。トークナイザーを保存するとは、このリストを保存することです。
- コーパス corpus
- トークナイザーの学習に使う文章の集まりです。
知っておくとよいこと
- バイトレベル BPE byte-level BPE
- 文字ではなく のバイト(0〜255)から始める BPE です。最初の語彙は 256 個に決まっています。どんな文字や絵文字でも扱えます。
- 特殊トークン special token
- 文章の中身ではなく、合図として使うトークンです。文章の終わりを示す <eos> や、長さをそろえるために埋める <pad> などがあります。
- OOV out of vocabulary
- 語彙にない単語です。バイトレベル BPE では起こりません。
出典
このページは下の論文と文書をやさしい言葉でまとめたもので、2026-11-11 に確認しました。内容が違うときは原文が正しいです。
- Neural Machine Translation of Rare Words with Subword Units (arXiv)(新しいタブで開きます)
- Language Models are Unsupervised Multitask Learners — GPT-2 (OpenAI)(新しいタブで開きます)
- Hugging Face — LLM Course: Byte-Pair Encoding tokenization(新しいタブで開きます)
- OpenAI — tiktoken(新しいタブで開きます)
- Wikipedia — Byte-pair encoding(新しいタブで開きます)