人工知能
原文の表記 · AI
データから規則を見つけて答えを作るプログラム
人工知能は、膨大な例を見てそこにある規則を見つけ出し、その規則で答えを作ったり判断したりするプログラムです。生き物ではなく、人のように考えているわけでもありません。次に来る可能性が最も高いものを、とても速く計算しているだけです。
もっと学ぶ
大規模言語モデル
原文の表記 · LLM
膨大な文章を学び、文の続きを書く人工知能
大規模言語モデルは、膨大な文章を読んで「どの言葉の後にどの言葉が来やすいか」を学んだモデルです。あなたが文を書くと、次に来そうな語を選び続けて答えを作ります。だから流暢に聞こえても内容が間違っていることがあります。
もっと学ぶ
プロンプト
原文の表記 · Prompt
人工知能に書いて渡す文 — あなたの指示
プロンプトとは、あなたが人工知能に打ち込む文そのものです。呪文ではありませんが、書き方は大切です。自分が誰で、何がほしくて、どんな形式で受け取りたいかをはっきり書くほど答えは良くなります。答えが気に入らないときは、言い争うよりプロンプトを書き直す方が早いです。
もっと学ぶ
システムプロンプト
原文の表記 · System prompt
会話が始まる前にあらかじめ与えておく指示
システムプロンプトは、あなたのメッセージより前に置かれる指示です。この助手が誰で、いつも守るべきこと、決してしてはいけないことを定めます。画面には普通見えませんが、すべての答えに影響します。リエンの教育方針もここに入っています。
トークン
原文の表記 · Token
人工知能が実際に数える文字のかたまり
人工知能は文字や単語のまま読むのではなく、文章をトークンという小さなかたまりに切って扱います。短い語は一つ、長い語はいくつかに分かれます。長さの上限も API の料金も文字数ではなくトークン数で数えるので、費用や容量の話には必ずこの語が出てきます。
コンテキストウィンドウ
原文の表記 · Context window
人工知能が一度に見ていられる文章の量
コンテキストウィンドウは、人工知能が作業する机です。今の質問、これまでの会話、貼り付けた資料が、すべてその上に載っていなければなりません。会話がその大きさを超えると古い部分から机の外へ押し出され、人工知能は本当にもう見られなくなります。長い会話で最初の話を忘れたように見えるのは、このためです。
ハルシネーション(誤生成)
原文の表記 · Hallucination
根拠がないのにもっともらしく作られた答え
この分野でこの語が指すのは一つだけ、すなわち誤っている、または根拠のない出力を、確信ありげに述べることです。人が幻を見る体験とは何の関係もありません。機械は何も体験していません。モデルは出典を確かめるのではなく、もっともらしい語を選んでいるために起こります。人名・数値・引用は必ず別途確認してください。
温度(temperature)
原文の表記 · Temperature
無難で一定な答えと意外な答えを調節するつまみ
温度は、モデルが次の語をどれだけ大胆に選ぶかを決めます。低くすると最も確からしい語ばかり選ぶので、答えは安定して再現しやすくなります。事実確認やコードに向きます。高くすると確率の低い語にも手を伸ばすので、答えは多様になる代わりに誤りも増えます。発想を広げたいときに向きます。
パラメータ(parameter)
原文の表記 · Parameter
モデルが学習しながら調整する無数の数値の一つ
パラメータは英語で parameter(たくさんあるときは parameters)と呼びます。モデルが学習しながら自分で調整する数値のすべてです。重みが最も多く、バイアス、埋め込み、正規化の係数もパラメータです。7B モデルには約 70 億個あります。多いと動かすのが重くなりますが、自動的に良くなるわけではありません。
もっと学ぶ
学習(訓練)
原文の表記 · Training
例を繰り返し見せてモデルの数値を整えていく作業
学習とは、モデルが作られる過程です。例を一つずつ見せると答えを推測し、どれだけ外れたかを教えると数値を少しずつ正解の方へ動かします。これを何十億回も繰り返すと規則が定着します。時間も費用もかかるため、モデルは一度学習させて何度も使い回します。
ファインチューニング(微調整)
原文の表記 · Fine-tuning
すでに学習済みのモデルに自分の例を追加で教えること
モデルを一から作るのではなく、完成済みのモデルに自分が用意した少量の例で追加学習させ、口調や分野を寄せる方法です。一から学習するよりずっと安く済みます。ただし初心者の段階では、プロンプトをより明確に書くだけで解決することがほとんどです。
もっと学ぶ
推論(実行)
原文の表記 · Inference
学習済みのモデルを実際に動かして答えを得ること
推論とは、モデルを普段どおり使うこと自体です。文を入れるとモデルが計算し、答えが出てきます。このとき モデルは何も新しく学びません。実行の前後でモデルはまったく同じです。人工知能サービスの費用や速度の話は、たいていこの段階を指します。
検索拡張生成(RAG)
先に資料を探し、それを見ながら答えさせるやり方
この方式では、まずシステムが質問に関係する段落をあなたの資料から探し出し、その段落を人工知能に渡して「これを根拠に答えなさい」と指示します。人工知能が記憶だけで答えなくなるため、作り話が大きく減り、どの資料を使ったかも確認できます。
エージェント
原文の表記 · Agent
道具を使い、自分で手順を進める人工知能
普通のチャットボットは返事を書くだけです。エージェントはファイルを読む、検索する、コマンドを実行するといった道具を与えられ、結果を見ながら次に何をするかを自分で決めて目標へ進みます。その分だけ役に立ち、同時に危険も増えます。だから何に触れてよく、何に触れてはいけないかを明確に決めておく必要があります。広い意味では、エージェントはモデルとハーネスを合わせたものです — LangChain はこれを "Agent = Model + Harness" と書いています。
サブエージェント
原文の表記 · Sub-agent
メインのエージェントが仕事の一部を任せるために起動する助っ人エージェント
サブエージェントは、自分専用の新しいコンテキストウィンドウで働きます。だからたくさんのファイルを読んだり広く検索したりしても、結果だけを報告し、メインの会話を短く保てます。サブエージェントには狭い仕事を一つと、必要な道具だけを渡しましょう。そして、その報告もほかの下書きと同じように確認しましょう。
もっと学ぶ
Ralph Loop(ラルフ・ループ)
仕事が本当に終わるまで、エージェントに同じプロンプトを何度も渡すこと
エージェントが止まろうとすると、フック(hook)が同じプロンプトをもう一度渡します。エージェントは、ファイルや Git にすでに保存した作業の続きから進めます。ループには、確かめられるゴールと、最大の回数のような上限が必要です。そうしないと、いつまでも回り続けることがあります。
もっと学ぶ
スキル
原文の表記 · Skill
必要なときに人工知能が読み込む再利用可能な手順書
スキルとは、ある一種類の仕事のための指示書と、必要ならスクリプトまで収めた小さなフォルダです。その仕事が出てきたときだけ読み込むので、すべての会話がすべての知識を抱え込まずに済みます。同じ説明をプロンプトに何度も書いているなら、それはスキルにすべき合図です。
もっと学ぶ
ニューラルネットワーク
原文の表記 · Neural network
例から規則を学ぶ、単純な計算のつながり
ニューラルネットワークは、とても単純な計算を何層にも重ねてつないだ仕組みです。人が規則を書くのではなく、たくさんの例を見せると自分の数値を少しずつ直して正解に近づいていきます。名前は脳細胞のたとえから来ていますが、中身はコンピューターが行う計算であり、考える生き物ではありません。
もっと学ぶ
機械学習
原文の表記 · Machine learning
規則を書く代わりに、例で教えるやり方
普通のプログラミングでは、人が規則を書きます。機械学習では代わりに、答えの付いた例を何千と見せて、規則をコンピューター自身に見つけさせます。だから写真や音声のようにきっちり割り切れないものをうまく扱える一方、例が偏っていると自信満々に間違えることもあります。
もっと学ぶ
ディープラーニング
原文の表記 · Deep learning
層を何重にも重ねた機械学習 — 今の人工知能の土台
ディープラーニングは、層を何重にも重ねたニューラルネットワークで行う機械学習です。前の層は写真の輪郭のような単純なものをとらえ、後ろの層ほど顔のような複雑なものを見分けます。今よく話題になる人工知能は、対話モデルも含めてほとんどがこの方式で作られています。
もっと学ぶ
原文の表記 · Transformer
今の言語モデルをほぼ支えているネットワーク設計
トランスフォーマーは2017年に発表されたニューラルネットワークの構成方法で、入力中のすべての語が互いを一度に見比べられるようにします。そのおかげで長い文でも前後がぶれずにつながります。GPT の T はこれを指しており、名前を知っている対話モデルはほぼすべてトランスフォーマーです。
もっと学ぶ
GPT について詳しく見る
重み(weight)
原文の表記 · Weight
入力をどれだけ強く反映するかを決める、学習で得た数値
重みは英語で weight(たくさんあるときは weights)と呼びます。ニューラルネットワークの中の各つながりにある数値で、入力にかけ算され、その入力が結果にどれだけ影響するかを決めます。人が入力するのではなく、答えが良くなるまで学習が少しずつ動かして見つけます。モデルのファイルはほとんどがこの数値なので、オープンモデルとは重みをダウンロードできるモデルのことです。
もっと学ぶ
プロンプトエンジニアリング
原文の表記 · Prompt engineering
人工知能がうまく答えられるように尋ねる技術
プロンプトエンジニアリングは、依頼文を上手に書くための実践的な技術です。どんな役割で、何のために、どんな形の答えを、そして本人には分からない事実は何かを一緒に伝えます。プログラミングというより、新しい同僚に仕事を説明する作業に近いものです。同じモデルでも、尋ね方ひとつで見事にも役立たずにも見えます。
もっと学ぶ
チャットボット
原文の表記 · Chatbot
普段の言葉で会話するプログラム
チャットボットとは、ボタンを押す代わりに普段の文でやり取りするプログラムのことです。昔のものは決まった台本をなぞるだけで、少し外れるとすぐ行き詰まりました。今は多くの場合、対話画面の裏に言語モデルがいます。このサイトのリエンもチャットボットであり、どのチャットボットとも同じく人ではなく、規則どおりに動くソフトウェアです。
もっと学ぶ
MCP
人工知能に道具や資料をつなぐ共通の差込口
MCP は Model Context Protocol の略で、人工知能の助手がファイルを読む・データベースを調べる・他のサービスを呼ぶといった、自分の外側に手を伸ばすときの共通の約束事です。これがない頃は道具ごとに専用の接続を作る必要がありました。人工知能の助手にとっての USB 端子だと考えると分かりやすいでしょう。形が一つなので、それに合わせて作ったものは差し込むだけで動きます。エージェントが MCP クライアントで、自分の機能をエージェントが使えるように差し出すプログラムが MCP サーバーです — たとえば WebMCP は、ウェブサイトがウェブブラウザーを通して自分の機能をエージェントが使えるように差し出すものです。
もっと学ぶ
MCP サーバー(MCP server)
MCP で AI アプリにツールとデータを提供するプログラム
MCP サーバーは、自分にできること — 呼び出せるツール、読めるデータ、用意されたプロンプト — を MCP で提供するプログラムです。MCP に対応したアプリならどこからでも接続して使えます — Claude Code、Codex、Claude Desktop、自分で作ったプログラム。自分のコンピューターで動いて標準入出力でやり取りすることも、Web 上で動いて HTTP でやり取りすることもあります。サーバーが提供するものはエージェントが実行するので、インストールする前に中身を読みましょう。
もっと学ぶ
確率
原文の表記 · Probability
あることがどれくらい起こりやすいかを表す 0 から 1 の数
確率は、あることがどれくらい起こりやすいかを 0(決して起きない)から 1(必ず起きる)までの数で表したもので、よくパーセントでも書きます。言語モデルは、次に来うるすべてのトークンに確率を付け、その合計はちょうど 1 になります。確率が高いのは、その言葉が学習したパターンによく合うというだけで、文の内容が正しいという意味ではありません。
もっと学ぶ
言語モデル
原文の表記 · Language model
次に来そうなトークンを計算するプログラム
言語モデルは、文章を受け取り、次に来うるすべてのトークンの確率を計算するプログラムです。トークンを一つ選んで文の末尾に付け、また計算する、という繰り返しで文章を書きます。いまの大規模言語モデル(LLM)は膨大な文章で学習したニューラルネットワークですが、言語モデルはとても小さくてもかまいません。このサイトのバイグラムのように、単語の回数を数えた表一つでも言語モデルです。
もっと学ぶ
サンプリング
原文の表記 · Sampling
重み付きのくじ引きで次のトークンを選ぶこと
言語モデルが文章を書くとき、次に来うるトークンそれぞれに確率が付きます。サンプリングは、いつも最上位を取るのではなく、確率の高いものほど当たりやすいくじ引きで一つを選びます。だから同じ質問でも違う答えが出ることがあり、同じ答えがまた出ることもあります。温度・top-k・top-p は、このくじ引きのしかたを変える設定です。
もっと学ぶ
貪欲法(greedy decoding)
原文の表記 · Greedy decoding
いつも一番確率の高い次のトークンを選ぶこと
貪欲法はくじ引きをせず、毎回いちばん確率の高い候補を選びます。同じ入力なら毎回同じ結果になるので、事実やコードには向きますが、文が単調になり、同じ言い回しを繰り返しがちです。各段階で最上位を選んでも、文全体として最善になるとは限らず、答えが正しくなるわけでもありません。
もっと学ぶ
バイグラム
原文の表記 · Bigram
隣り合う二つの単語の組。数えて次の単語を予測する
バイグラムは、隣り合って現れる二つの単語の組です。バイグラムモデルは、学習用の文の中で、ある単語の後にどの単語が何回続いたかを数え、その回数を確率に変えます。直前の一語しか見ないので学習用の教材であり、現代のニューラル言語モデルのしくみとは違います。「人工知能を作る」画面で自分で作ってみられます。
もっと学ぶ
次のトークン予測
原文の表記 · Next-token prediction
次に来るトークンを当てることをくり返して、文章を作るやり方。
言語モデルが文章を作る基本のしくみです。それまでの文脈を見て、次に来るかもしれないすべてのトークンの確率を計算し、1つを選んで最後につなげます。長くなった文脈で、答えが終わるまでこれをくり返します。
もっと学ぶ
確率分布
原文の表記 · Probability distribution
起こりうる結果と、それぞれがどれくらい起こりやすいかの一覧。ぜんぶ足すと100%。
確率分布は、起こりうるすべての結果に確率を1つずつわりあてて、合計が1(100%)になるようにしたものです。言語モデルは次のトークンについて、知っている語彙ぜんたいの確率分布を作り、貪欲法やサンプリングがそこから1つを選びます。
もっと学ぶ
自己回帰
原文の表記 · Autoregressive
トークンを一つずつ作り、それを次の入力に戻すこと
自己回帰モデルは、トークンを一つずつ書きます。新しいトークンは文の末尾に付け足され、そこまでの文全体が、次の一つを選ぶための入力になります。この繰り返しがあるので答えは一語ずつ現れ、早い段階で一つ間違ったトークンが出ると、その後の文全体が間違った方向へ引っ張られることがあります。
もっと学ぶ
文脈(コンテキスト)
原文の表記 · Context
一つの答えのためにモデルに渡される文章のすべて
文脈とは、モデルが一つの答えを出すために受け取るもの全部です。システムプロンプト、それまでの会話、添付ファイル、アプリが加えた検索結果などが入ります。モデルの重みは変わりません。答えが変わるのは文脈が違うからです。何を入れるかはアプリが決め、入れなかったものはモデルには存在しないのと同じです。入れられる量はコンテキストウィンドウで決まります。
重みとパラメータについて詳しく見る
推論モード
原文の表記 · Reasoning mode
答える前に計算を多めに使う設定
推論モードでは、モデルがまず途中の手順(計算、確認、別の道の試し)を出力し、そのあとで最終的な答えを出します。数学やコード、何段階もある問題に役立つことが多いですが、トークンを多く使い、時間もかかり、それでも正しい答えが保証されるわけではありません。画面に出る「考え中…」のような表示は製品の見せ方であり、人のように考えている証拠ではありません。
もっと学ぶ
トークナイザー
原文の表記 · Tokenizer
文章をトークンに切り分け、番号を付ける道具
トークナイザーは、文章をトークンに分け、それぞれを自分の語彙にある ID 番号に置き換えます。トークンは単語まるごとのことも、単語の一部や一文字、バイトのこともあり、空白や句読点も数に入ります。モデルの系統ごとにトークナイザーが違うので、同じ文でもトークン数が変わることがあります。AI ラボでは、本物の LLM のトークナイザーではなく、学習用の簡単な単語分割を使っています。
もっと学ぶ
アテンション(attention)
原文の表記 · Attention
モデルがほかのトークンの情報を混ぜ合わせるしくみ
アテンションは Transformer の中の一段階で、各トークンが文脈の中のほかのすべてのトークンに点数を付け、その点数に応じて、それぞれの情報をどれだけ混ぜるかを決めます。文の中の「それ」が、指している名詞と結び付くのはこのしくみのおかげです。文章を生成するモデルのアテンションは因果的で、トークンは前の位置しか使えず、まだ書かれていない言葉は見られません。
もっと学ぶ
ソフトマックス(softmax)
原文の表記 · Softmax
生のスコア(ロジット)を合計 1 の確率に変える計算
モデルは各段階で、語彙のすべてのトークンにロジットという生のスコアを付けます。ソフトマックスは、そのスコアの並びを 0 から 1 の間の確率に変え、合計を 1 にします。順番は保たれ、いちばん高いスコアがいちばん高い確率になります。温度はソフトマックスの前にスコアを割る値で、結果をとがらせたり平らにしたりします。
もっと学ぶ
top-k・top-p
原文の表記 · Top-k and top-p
サンプリングで引ける候補をしぼる制限
サンプリングの前に、ありそうにない候補を切り捨てる設定です。top-k は確率の高い上位 k 個のトークンだけを残します。top-p は、上から確率を足していき、合計が p 以上になる最小のまとまりを残すので、残る数は段階ごとに変わります。どちらも変な言葉が出にくくなりますが、事実を確かめる機能ではありません。
もっと学ぶ
勾配降下法
原文の表記 · Gradient descent
損失が小さくなる向きに、重みを少しずつ動かす方法
勾配降下法は、多くのモデルが学習に使う方法です。予測を一通り行ったあと勾配を計算します。勾配とは、損失を小さくするには各重みをどちら向きに、どれくらい強く動かせばよいかを表す値です。そして学習率をかけた小さな一歩だけ、すべての重みをその向きに動かします。これを何度も繰り返すと、重みはデータに合う値に近づきます。「実践AI開発」画面では w が 0 から約 2 になります。
もっと学ぶ
重みとパラメータについて詳しく見る
学習率
原文の表記 · Learning rate
1回の更新で各重みが動く歩幅の大きさ
学習率は、勾配降下法のすべての修正にかける数です。小さすぎると学習がなかなか進まず、大きすぎると重みが行ったり来たりしたり、値が爆発したりして落ち着きません。この値はモデルが自分で学ぶものではなく、人が選んで試すハイパーパラメータです。「実践AI開発」画面では 0.01、入力 × w + b の課題では 0.05 を使います。
もっと学ぶ
重みとパラメータについて詳しく見る
損失関数(loss)
原文の表記 · Loss
予測がどれだけ外れているかを表す一つの数
損失は、モデルの予測と正解とのずれを一つの数にまとめたものです。学習とは、この数が小さくなるように重みを変えることです。その計算式を損失関数といいます。「実践AI開発」画面では誤差を2乗した値の平均を使い、ほかの課題ではほかの式を使います。学習データでの損失が低いだけでは、新しいデータでもうまくいく証明にはなりません。
もっと学ぶ
重みとパラメータについて詳しく見る
学習データ
原文の表記 · Training data
モデルが重みを学ぶための例
学習データは、学習のときにモデルに見せる例の集まりです。言語モデルなら文章、画像の分類器ならラベル付きの写真、小さな回帰なら入力と正解の組です。モデルが拾えるのはこのデータの中にあるパターンだけで、データの誤りや抜けもそのまま学びます。確認用に取っておくデータ(検証データ・テストデータ)は学習に使ってはいけません。
重みとパラメータについて詳しく見る
評価指標
原文の表記 · Evaluation metric
見たことのないデータでモデルがどれだけうまくいくかの点数
評価とは、学習を終えたモデルの性能を、学習に使っていないデータと指標(結果に点を付ける決まったやり方)で測ることです。いちばん簡単な指標は正解した割合である正解率で、ほかの指標は違う種類の間違いを数えます。一つのテストデータで点が良くても、それは根拠であって証明ではありません。間違えた答えも見て、テストデータは学習に混ぜないようにします。
分類モデル
原文の表記 · Classification
あるものがどの種類に入るかを予測すること
分類は、答えが決まった種類の中の一つになる課題です。迷惑メールかどうか、3種類のアヤメのどれか、写真に写っている数字はどれか、といったものです。モデルは種類ごとに点数を付け、いちばん高いものを選びます(argmax)。答えが二つなら二値分類、三つ以上なら多クラス分類です。答えが種類ではなく連続した数なら、それは回帰です。
もっと学ぶ
回帰(regression)
原文の表記 · Regression
連続した値として数を予測すること
回帰は、答えが種類ではなく数になる課題です。家の値段、明日の雨量(ミリ)、入力 × 2 の結果などです。モデルは、出した数が本当の値からどれだけ離れているかで採点され、よく2乗誤差が使われます。「実践AI開発」画面の小さなプログラムは回帰です。花がどのアヤメの種類かを決めるのは分類になります。
もっと学ぶ
過学習
原文の表記 · Overfitting
学習データに合わせすぎて、新しいデータで外れること
過学習とは、モデルが一般的なパターンではなく、学習データのくせや雑音まで覚えてしまうことです。すると学習した例では点数がとても高いのに、新しい例ではかなり悪くなります。学習データでの点数と、取っておいた検証データやテストデータでの点数を比べると見つかります。データを増やす、モデルを簡単にする、学習を早めに止める、といった方法が役立ちます。
もっと学ぶ
ハイパーパラメータ
原文の表記 · Hyperparameter
学習の前に人が選ぶ設定。学習では変わらない
ハイパーパラメータは、学習を始める前に人が選ぶ設定です。学習率、学習の回数、層の数、近傍の数 k、決定木の深さなどがあります。学習で変わるのはパラメータ(重み)で、ハイパーパラメータは変わりません。良い値は、いくつか試して検証データで比べて見つけます。最終のテストデータで選んではいけません。
もっと学ぶ
重みとパラメータについて詳しく見る
検証データ
原文の表記 · Validation data
設定を選ぶために取っておくデータ。テスト用とは別
データはふつう三つに分けます。学ぶための学習データ、ハイパーパラメータなどの設定を比べるための検証データ、最後に一度だけ使って最終の点数を出すテストデータです。交差検証は学習データをいくつかに分け、順番に一つずつ外して確かめる方法で、データが少ないときに安定した比較ができます。テストの点数を見ながら調整すると、その点数は実際より良く見えてしまいます。
もっと学ぶ
活性化関数
原文の表記 · Activation function
ニューロンが入力を足し合わせたあとに通す関数
ニューラルネットワークのニューロンは、まず入力を z = w·x + b のようにまとめ、その z を活性化関数に通します。シグモイドはどんな数も 0 から 1 の範囲に押し込み、ReLU は負の数を 0 にして正の数はそのまま残します。こうしたまっすぐでない段階がないと、層をいくら重ねても一本の直線の計算と同じになり、ネットワークは曲がったパターンを学べません。
もっと学ぶ
ランナー(推論エンジン)
原文の表記 · Runner (inference engine)
モデルを読み込んで文章を書かせるプログラム
学習を終えたモデルは、数字が入ったファイルにすぎません。ランナーはその数字を読み込み、あなたの文章をトークンに変え、モデルを動かして次のトークンに点数をつけ、一つを選び、これをくり返して、出てきた言葉を順に表示します。Ollama や llama.cpp は自分のパソコンで使えるランナーです。
もっと学ぶ
KVキャッシュ
原文の表記 · KV cache
前のトークンを計算し直さないために保存したアテンションの結果
アテンションでは、各トークンがキー(key)とバリュー(value)を作ります。自己回帰で生成している間、前のトークンは変わらないので、そのキーとバリューをメモリに取っておき(これが KVキャッシュ)、新しいトークンのたびに計算し直さず使い回します。生成はずっと速くなりますが、キャッシュは文脈が長くなるほど大きくなり、GPU のメモリを多く使うことがあります。
もっと学ぶ
重みとパラメータについて詳しく見る
原文の表記 · Tool call
ツールを実行してほしいとモデルがアプリに出す、形の決まった依頼
モデルが作れるのは文章だけなので、自分では何も実行できません。ツール呼び出しでは、モデルが形の決まった依頼(ツールの名前と引数、ふつうは JSON)を出力し、アプリがそれを確かめ、必要なら許可を求めてからツールを実行します。結果は追加の文脈としてモデルに戻されます。この繰り返しを回すものが、エージェントと呼ばれます。
もっと学ぶ
マルチモーダル
原文の表記 · Multimodal
文章と画像など、何種類ものデータを扱えること
マルチモーダルなモデルは、文章・画像・音声・動画のうち、二種類以上のデータを受け取ったり作ったりします。たとえば写真を受け取り、それについての質問に文章で答えられます。どんな入力も、モデルが計算に使える数に変えられます。マルチモーダルに見える機能がすべて一つのモデルとは限りません。アプリが先に別の音声認識モデルで声を文字にしていることもあります。
もっと学ぶ
バイブコーディング
原文の表記 · Vibe coding
作りたいものを言葉で伝え、AI にコードを書かせること
バイブコーディングは、作りたいもの(見た目や動き)をふつうの言葉で説明し、AI ツールにコードを書かせ、結果を確かめて直してほしい点を伝える作り方です。アイデアを手早く試したり、小さな Web アプリやゲームを作ったりするのに向いています。生成されたコードには誤りやセキュリティの問題が混じることがあるので、出てきたものは自分で確かめる必要があります。BaeumNova の「バイブコーディング」画面では、リエンがアプリを作ってプレビューを見せます。
もっと学ぶ
クエリ・キー・バリュー(Query・Key・Value)
原文の表記 · Query, key and value
アテンションが情報を探すときに使う三つのベクトル
アテンションでは、位置ごとに自分のトークンから三つのベクトルを作ります。クエリはこの位置が何を探しているか、キーは前にある各位置が何を持っているか、バリューはその位置が渡す情報を表します。モデルはクエリをすべてのキーと比べ、その点数を合計 1 になる重みに変え、その重みでバリューを混ぜ合わせます。
もっと学ぶ
BPE
いちばんよく並ぶ組を次々にまとめるトークナイザーの方式
BPE(byte pair encoding)は、学習用の文章からトークナイザーを作る方法です。1 文字や 1 バイトから始め、隣り合う二つのかけらのうちいちばんよく出てくる組を一つの新しいかけらにまとめ、語彙が十分な大きさになるまでくり返します。よく使う単語は一つのトークンになり、めったに出ない単語はいくつかのかけらに分かれるので、どんな文章でも書き表せます。
もっと学ぶ
GPT について詳しく見る
バイトレベル BPE
原文の表記 · Byte-level BPE
文字ではなくバイトから始める BPE
バイトレベル BPE は、文字の代わりに UTF-8 のバイトの値 256 通りから始めます。そのため、どの言語でも最初の語彙はいつも 256 個です。すべての文字と絵文字はバイトとして保存されるので、語彙になくて扱えない文章はありません。GPT-2 とその後の多くのトークナイザーがこの方式です。
もっと学ぶ
GPT について詳しく見る
OOV(語彙にない単語)
原文の表記 · OOV (out of vocabulary)
トークナイザーの語彙にない単語
OOV は out of vocabulary の略で、トークナイザーのリストにない単語のことです。単語ごとに分けるトークナイザーは、こうした単語を「不明」の印に置き換えるしかなく、意味が失われます。BPE はめったに出ない単語を知っている小さなかけらに分けます。バイトレベル BPE では OOV の単語がまったく出ません。
もっと学ぶ
コーパス
原文の表記 · Corpus
学習に使う文章の集まり
コーパス(corpus)は、トークナイザーや言語モデルを学習させるために集めた大きな文章の集まりです。トークナイザーはコーパスの中のペアを数えて何をまとめるかを決めるので、コーパスが語彙を形づくります。韓国語の文章で学習すれば、韓国語のかけらがトークンになります。
もっと学ぶ
マージ規則
原文の表記 · Merge rules
BPE が組をまとめる順番のリスト
BPE は学習しながら、まとめた組をすべて順番に書き留めます。このリストがマージ規則です。新しい文章をトークンに分けるときは、同じ規則を同じ順番で当てはめます。規則は語彙といっしょに保存します。規則を変えるとトークン番号が変わるので、モデルの重みも学習し直さなければなりません。
もっと学ぶ
重みとパラメータについて詳しく見る
BPE をくわしく見る
会話履歴
原文の表記 · Chat history
新しい質問といっしょにモデルへ送り直す、前のやり取り
言語モデルは、リクエストとリクエストの間に何も残しません。チャットアプリが覚えているように見えるのは、前のやり取りを新しい質問といっしょにもう一度送っているからです。そのリストが会話履歴です。モデルのコンテキストの長さに収める必要があるので、長い会話は切り詰めたり要約したりします。会話履歴がなければ、質問ごとに別々に答えます。
もっと学ぶ
計算グラフ
原文の表記 · Computation graph
どの計算にどの数が使われたかをつないだ記録
モデルが答えを計算している間、学習用のライブラリは一歩ごとに、どの数がどの足し算や掛け算に入り、何が出てきたかを記録します。その手順のつながりが計算グラフです。逆伝播はこのグラフを損失から逆向きにたどり、一つ一つの数が結果にどれだけ影響したかを順に求めます。
もっと学ぶ
デコーダー
原文の表記 · Decoder
前のトークンから次のトークンを書くトランスフォーマー
デコーダーは、今の位置より前にあるトークンだけを見て次のトークンを予測するトランスフォーマーです。選んだトークンを付け足して、また予測することをくり返して文章を書きます。GPT 系のモデルはこうして書きます。最初のトランスフォーマーには入力全体を一度に読むエンコーダーもありましたが、今のチャットモデルの多くはデコーダーだけを使います。
もっと学ぶ
GPT について詳しく見る
拡散モデル
原文の表記 · Diffusion model
ノイズを少しずつ取り除いて画像を作るモデル
拡散モデルは、ランダムなノイズだらけの画像から始め、入力した文章を手がかりに、一歩ごとにノイズを少しずつ取り除いて絵を作ります。本物の画像にノイズを混ぜ、それを元に戻す方法を覚えることで学習します。Stable Diffusion など多くの画像・動画生成ツールがこの方式で、トークンを一つずつ書く言語モデルとは仕組みが違います。
もっと学ぶ
encode / decode
文章をトークン番号に、番号を文章に戻す変換
encode は、トークナイザーが文章をトークンに切り、それぞれを語彙の番号に置き換える段階です。decode はその逆で、番号ごとにかけらを探してつなぎ、文章に戻します。よいトークナイザーなら encode してから decode すると元の文章がそのまま戻るので、これを確かめてみるとよいでしょう。
もっと学ぶ
実行プロバイダー(Execution Provider)
原文の表記 · Execution provider
ONNX Runtime でモデルを特定のチップで動かす部品
ONNX Runtime は、すべてのチップと自分だけでやり取りするわけではありません。実行プロバイダーは、モデルの計算を 1 種類のハードウェアに渡す部品です。たとえば NVIDIA GPU(CUDA・TensorRT)、Apple のチップ(Core ML)、ふつうの CPU があります。使いたいプロバイダーを順に並べると、前のプロバイダーが実行できない部分は次のプロバイダーが受け持ちます。
もっと学ぶ
FreeToken
とても大きな MoE モデルを個人の PC で動かすランタイム
FreeToken は /ai/internals の画面で紹介しているランタイムです。トークンごとに一部の専門家(エキスパート)だけを使う、とても大きな MoE モデルを個人のコンピューターで動かすために作られました。NVIDIA GPU、CPU、メインメモリ(RAM)とその間の接続を、一台の推論マシンのようにまとめて使います。
もっと学ぶ
勾配クリッピング
原文の表記 · Gradient clipping
大きすぎる勾配を上限まで縮めること
一つのバッチがとても大きな勾配を出すと、1 回の更新で重みが遠くに飛び、損失が急に上がったり nan になったりします。勾配クリッピングは更新の前に勾配全体の大きさを測り、決めた上限を超えていればその上限まで縮めます。向きはそのままで、歩幅だけを短くします。
もっと学ぶ
重みとパラメータについて詳しく見る
正規化
原文の表記 · Normalization
学習が安定するようにネットワーク内の数の大きさをそろえること
数がたくさんの層を通るうちに大きくなりすぎたり小さくなりすぎたりすると、学習が壊れることがあります。正規化は、一段ごとに数の大きさをそろえ直します。トランスフォーマーはレイヤー正規化を使います。トークンごとに数を平均 0、ばらつき 1 にそろえてから、学習で決めた数を掛けたり足したりします。この数もパラメータです。
もっと学ぶ
重みとパラメータについて詳しく見る
MLP
層を何枚も重ねた基本のニューラルネットワーク
MLP(多層パーセプトロン)は、数を二つ以上の層に順に通します。層ごとに重みを掛け、バイアスを足し、ReLU や GELU のような活性化関数をかけます。トランスフォーマーのブロックごとに 2 層の小さな MLP があり、アテンションがほかのトークンの情報を混ぜたあと、トークンごとに別々に特徴を変えます。
もっと学ぶ
GPT について詳しく見る
重みとパラメータについて詳しく見る
モメンタム
原文の表記 · Momentum
前の更新の勢いを次の一歩に引き継ぐこと
ふつうの SGD は今の勾配の分だけ重みを動かすので、ジグザグに揺れることがあります。モメンタムは過去の更新を積み重ねた値を持ち、新しい一歩ごとにその一部を足します。こうして重みが一定の方向に転がり続け、小さな揺れの影響が減ります。この積み重ねた値はオプティマイザーがチェックポイントにいっしょに保存すべき状態で、ふつうの SGD にはありません。
もっと学ぶ
重みとパラメータについて詳しく見る
負の対数
原文の表記 · Negative log
確率が小さいほど大きくなる値 −log(p)
確率の対数を取って前にマイナスを付けると、確率が 1 のときは 0 で、確率が 0 に近づくほど急に大きくなる数になります。学習ではこれを正解のトークンの損失として使います。自信を持って当てれば損失はほとんどなく、自信を持って外すと損失が大きくなります。
もっと学ぶ
ONNX
いろいろなツールが共通で読める AI モデルのファイル形式
ONNX(Open Neural Network Exchange)は、モデルを入れるための公開のファイル形式です。PyTorch などのフレームワークで学習したモデルを .onnx ファイルに書き出すと、元の学習コードがなくても、いろいろなプログラムがいろいろな機器で実行できます。2017 年に Microsoft と Facebook が始めました。
もっと学ぶ
ONNX Runtime
ONNX モデルをいろいろな機器で動かすエンジン
ONNX Runtime は、.onnx モデルを実行する Microsoft のオープンソースのエンジンです。Windows、macOS、Linux、スマートフォン、ブラウザーで動き、実行プロバイダーを通して GPU などのアクセラレーターを使います。BaeumNova では、文章を声に出して読み上げる音声モデルをこれで動かしています。
もっと学ぶ
出力層
原文の表記 · Output layer
語彙のトークンごとに点数を付ける最後の層
出力層は、ある位置の最後のベクトルを、語彙のトークンごとに一つずつの点数に変えます。その点数をソフトマックスが次のトークンの確率に変えます。トークンごとに重みが一行ずつ必要なので、語彙が大きいとこの層も大きくなります。
もっと学ぶ
重みとパラメータについて詳しく見る
3B・7B・8B(パラメータ数)
原文の表記 · 3B, 7B, 8B (parameter count)
モデルの大きさ — B はバイトではなく 10 億個
3B、7B、70B のような名前は、パラメータの個数を表します。7B は、数値一つ一つが約 70 億個という意味で、ファイルの大きさでもベクトルの個数でもありません。メモリで占める大きさは、数値一つに何バイト使うかで決まります。同じ 8B モデルでも、16 ビットなら約 16 GB、4 ビットなら約 4 GB です(追加で必要な分は除きます)。
もっと学ぶ
量子化スケール
原文の表記 · Quantization scale
保存した小さな整数を元の値に戻すための掛け算の値
量子化したファイルは、重みを小さな整数で保存します。使うときは、ランタイムが整数ごとにそばに保存されたスケールを掛けて、元に近い値に戻します。GGUF のような形式は重み 32 個のような小さなまとまりごとにスケールを一つずつ持つので、ファイルには整数のほかにスケールやメタデータも入っています。そのため実際のファイルは、単純な計算より少し大きくなります。
もっと学ぶ
重みとパラメータについて詳しく見る
残差接続
原文の表記 · Residual connection
層の入力を出力にもう一度足すこと
残差接続は、層に入ったものを層から出たものに足します。出力 = 入力 + 層(入力)。元の情報がそのまま残り、層は何を変えるかだけを覚えればよくなります。勾配も多くの層を近道でさかのぼれるので、とても深いトランスフォーマーでも学習できます。
もっと学ぶ
RoPE
ベクトルを回してトークンの位置を伝える方法
RoPE(回転位置埋め込み)は、クエリとキーのベクトルをトークンの位置に応じた角度だけ回して、位置の情報を入れます。するとアテンションが二つのトークンを比べるとき、二つがどれだけ離れているかが結果に表れます。2021 年に提案され、Llama をはじめ多くのオープンなモデルが使っています。
もっと学ぶ
SGD
小さなバッチの勾配で重みを少しずつ直すこと
SGD(確率的勾配降下法)は、いちばん単純な学習の決まりです。ランダムに選んだ小さなバッチで損失の勾配を求め、すべての重みをその反対の向きに、学習率の分だけ少し動かします。次のバッチでまたくり返します。Adam のようなオプティマイザーはこれにモメンタムのような状態を加えますが、ふつうの SGD には別に保存するものがありません。
もっと学ぶ
重みとパラメータについて詳しく見る
sherpa-onnx
インターネットなしで音声認識・音声合成を動かすオープンソースのツール
sherpa-onnx は Next-gen Kaldi チームのオープンソースプロジェクトで、音声モデルを ONNX Runtime で動かします。インターネットにつながっていなくても、話し声を文字に、文字を話し声に変えられ、コンピューター、スマートフォン、小さなボードで動きます。BaeumNova では、あなたの声を文字に書き起こすエンジンです。
もっと学ぶ
SLM
ふつうの機器でも動くほど小さな言語モデル
SLM(小さな言語モデル)は LLM と同じ仕組みですが、パラメータがずっと少ないので、ノートパソコンやスマートフォンで動き、答えが速く、費用も安くすみます。決まった境目はなく、ふつうはパラメータが数十億個以下のモデルを小さいと呼びます。幅広い知識や長い推論は苦手ですが、範囲のせまい仕事には十分使えます。
もっと学ぶ
重みとパラメータについて詳しく見る
音声認識
原文の表記 · Speech-to-text
話した言葉を文字に変えること(STT)
音声認識(STT、speech-to-text)は、話し声を文字に変えることです。モデルが音を短く区切って聞き取り、いちばんありそうな単語を書きます。その文字を言語モデルに送ることができます。最近の一部のモデルは、文字に変えずに音をそのまま受け取ることもできます。
もっと学ぶ
TensorRT-LLM
NVIDIA GPU で LLM を速く動かすための NVIDIA のライブラリ
TensorRT-LLM は NVIDIA が作ったオープンソースのライブラリで、大規模言語モデルを NVIDIA GPU 向けに最適化します。モデルをその GPU に合わせて変換し、たくさんのリクエストをまとめて処理する方法や量子化などの工夫を加えて、サーバーが一度に多くのユーザーに答えられるようにします。対象は NVIDIA のハードウェアだけです。
もっと学ぶ
音声合成
原文の表記 · Text-to-speech
書いた文章を話し声に変えること(TTS)
音声合成(TTS、text-to-speech)は、文章を声に出して読み上げることです。モデルが文字を音に変えながら、発音、リズム、抑揚を選びます。BaeumNova のリエンの声はこうして作られていて、そのモデルは ONNX Runtime が動かしています。
もっと学ぶ
トレーニングステップ
原文の表記 · Training step
学習中に重みを 1 回直す単位
トレーニングステップは、バッチを一つ取る → 順伝播 → 損失を計算 → 逆伝播 → 重みを更新、を一回りすることです。学習のログにはふつうステップ番号と損失がいっしょに表示されるので、ステップが進むにつれて損失が下がっているかを見られます。データ全体を一通り見終えることは、エポックという別の単位です。
もっと学ぶ
重みとパラメータについて詳しく見る
vLLM
LLM を速く提供するためのオープンソースのサーバーエンジン
vLLM は UC バークレーで始まったオープンソースのエンジンで、言語モデルを多くのユーザーに提供するときに使います。PagedAttention という方法で、KV キャッシュをコンピューターのメモリのように小さなページに分けて入れるので、GPU メモリのむだが少なく、たくさんのリクエストをまとめて処理できます。OpenAI と同じ形の API を用意しています。
もっと学ぶ
VLM
画像も読める言語モデル
VLM(視覚言語モデル)は、文章といっしょに画像を受け取り、文章で答えます。画像を担当する部分が画像をベクトルに変えると、言語モデルがそれをトークンと並べて読みます。写真に何が写っているかを聞いたり、グラフや画面のスクリーンショットを読ませたりできます。出すのはやはり文章で、画像を作るのは拡散モデルなど別のモデルの仕事です。
もっと学ぶ
アテンションヘッド
原文の表記 · Attention head
アテンションの計算一式
アテンションヘッドは、クエリ・キー・バリューの重みを自分で持ち、アテンションを 1 回計算する単位です。一つの層にはふつうヘッドがいくつも並んでいて、前の単語や文の主語のように、それぞれ違う種類のつながりを探すように学習できます。結果はつなぎ合わせて次に渡します。一つのヘッドがどこを見ているかは役に立つ手がかりですが、モデル全体の説明にはなりません。
もっと学ぶ
GPT について詳しく見る
重みとパラメータについて詳しく見る
llama.cpp
自分のコンピューターで言語モデルを動かす C/C++ のランナー
llama.cpp は Georgi Gerganov が始めたオープンソースのプログラムで、Python なしに C/C++ だけで言語モデルを CPU や GPU(Apple のチップを含む)で動かします。GGUF ファイルを読み込み、モデルを変換・量子化するツールも付いています。Ollama やスマートフォンのアプリなど、多くのプログラムがこれをもとに作られています。
もっと学ぶ
モデルのチェックポイント
原文の表記 · Model checkpoint
学習の途中や終わりに保存したモデルの重みファイル
チェックポイントは、学習のある時点の重みを保存したファイルで、設定、オプティマイザーの状態、ステップ番号もいっしょに入れることがよくあります。学習が止まってもそこから続けられ、学習が終わると最後のチェックポイントがそのまま実行するモデルになります。ファイルの編集を巻き戻す Claude Code のチェックポイントとは別のものです。
もっと学ぶ
GPT について詳しく見る
重みとパラメータについて詳しく見る
位置埋め込み
原文の表記 · Positional embedding
トークンが文章の何番目にあるかを伝えるベクトル
アテンションだけではトークンの順番がわからないので、「犬が人をかむ」と「人が犬をかむ」が同じに見えてしまいます。位置埋め込みは、位置ごとに決まったベクトルをトークン自身のベクトルに足します。GPT-2 は位置ごとにベクトルを一つずつ(1,024 位置まで)学習し、ほかのモデルは RoPE など別の方法を使います。
もっと学ぶ
GPT について詳しく見る
原文の表記 · Transformer block
アテンションと MLP をまとめたトランスフォーマーの 1 層
トランスフォーマーブロックは、何度も積み重ねる単位です。中ではアテンションがトークンの間で情報を混ぜ、続いて小さな MLP がトークンごとに特徴を変えます。その両方のまわりに正規化と残差接続が付きます。GPT-2 small は同じブロックを 12 個積み、もっと大きなモデルはさらに多く積んで、ブロックも広くします。
もっと学ぶ
GPT について詳しく見る
逆伝播(誤差逆伝播法)
原文の表記 · Backpropagation
誤差を逆向きにたどって重みごとの勾配を求めること
順伝播で損失が出たあと、逆伝播は計算グラフを逆向きにたどり、連鎖律を使ってすべての重みについて損失の勾配を求めます。勾配とは、その重みを少し変えたとき損失がどれだけ変わるかです。そのあと勾配降下法がこの勾配で重みを更新します。PyTorch では loss.backward() の 1 行でこれを行います。
もっと学ぶ
重みとパラメータについて詳しく見る
PyTorch
ニューラルネットワークを作って学習させる代表的な Python ライブラリ
PyTorch は Python 用のオープンソースのディープラーニングライブラリです。最初は Meta(当時の Facebook)が公開し、今は Linux Foundation の下にある PyTorch Foundation が運営しています。GPU に載せられるテンソルと自動微分を用意しているので、loss.backward() の 1 行ですべての勾配を求められます。コードでは torch という名前で読み込みます。
もっと学ぶ
GPT
次のトークンを予測するトランスフォーマーの言語モデル
GPT は Generative Pre-trained Transformer(事前学習した生成型トランスフォーマー)の略です。大量の文章で次のトークンを予測するように学習したデコーダーだけのトランスフォーマーで、トークンを一つずつ書き足して文章を作ります。OpenAI が 2018 年の GPT-1 から ChatGPT の土台になっている GPT モデルまでこの名前を使ってきました。ほかの多くのモデルも同じ設計を使っています。
もっと学ぶ
トークナイザーの語彙
原文の表記 · Vocabulary
トークナイザーが知っているかけらと番号(ID)のリスト
トークナイザーの語彙は、作り出せるかけらを番号(ID)といっしょに決めておいたリストです。モデルは項目ごとに埋め込みを 1 行と出力の点数を一つ持つので、語彙の大きさがモデルの形を決めます。モデルは学習に使った語彙でしか正しく動きません。別の語彙に取り替えると、番号の意味が変わってしまいます。
もっと学ぶ
GPT について詳しく見る
交差エントロピー
原文の表記 · Cross-entropy
正解の確率の負の対数で測る、ふつうの次トークン損失
交差エントロピー損失は、モデルが正解に与えた確率だけを見て、その負の対数を取ります。正解のトークンに確率 1 を与えていれば損失は 0 で、その確率が低いほど損失は大きくなります。たくさんのトークンでの平均が、言語モデルの学習が下げようとする数です。損失が低いのはこのデータでうまく当てているという意味で、内容が本当だという保証ではありません。
もっと学ぶ
微分
原文の表記 · Derivative
入力が少し変わったとき、結果がどれだけ変わるか
微分は、ある値がほんの少し変わったとき、別の値がどれだけ速く変わるかを測るものです。学習では、損失を重みで微分した値が、その重みをどちらへどれだけ動かせばよいかを教えてくれます。勾配は、すべての重みの微分をまとめたものです。手で計算しなくても、ライブラリが自動で求めてくれます。
もっと学ぶ
重みとパラメータについて詳しく見る
ドロップアウト
原文の表記 · Dropout
学習中にネットワークの一部をランダムに止めること
ドロップアウトは、学習の一歩ごとに、ある層の出力のうち 10% のようなランダムな割合を 0 にします。するとネットワークがどれか一つの部分に頼りすぎることができず、過学習が減ります。推論のときはドロップアウトを切って、すべてを使います。割合を高くしすぎると、学習が遅くなりモデルが弱くなります。
もっと学ぶ
順伝播
原文の表記 · Forward pass
入力を層ごとに順に計算して出力まで進めること
順伝播は、モデルがふだんどおりに計算することです。入力が層を順に通り、点数や予測として出てきます。学習のときはその出力から損失を計算し、続いて逆伝播が反対の向きに進みます。推論には順伝播だけがあれば足ります。
もっと学ぶ
乱数シード
原文の表記 · Random seed
「ランダム」な結果を同じようにくり返せる最初の番号
コンピューターは、シードという最初の値から乱数を作ります。シードが同じなら同じ順番の乱数が出るので、学習、データの並べ替え、サンプリングをそのとおりにもう一度実行して確かめられます。シードは実行をくり返せるようにするだけで、答えが正しいことの保証ではありません。GPU の一部の計算は、シードを固定しても実行ごとに少し違うことがあります。
もっと学ぶ
OCR
画像やスキャンしたページの文字を読み取る技術
OCR(光学文字認識)は、写真やスキャンした PDF のような画像の中の文字を、コンピューターで検索したりコピーしたりできる本物の文字に変えます。スキャンした PDF は、OCR で読み取るまではページの画像にすぎません。手書きやぼやけた画像では読み間違えることがあるので、大事な文章は確認しましょう。
もっと学ぶ
Adam
重みごとに歩幅を合わせる代表的なオプティマイザー
Adam は 2014年に発表されたオプティマイザーで、今ではトランスフォーマーをはじめ、ほとんどのニューラルネットワークの学習で標準的に使われます。重みごとに、最近の勾配の平均(モメンタムに近いもの)とその大きさの平均を覚えておき、その重みに合った歩幅を選びます。ふつうの SGD より速くなめらかに学習できることが多いですが、その分の状態を余計に保存する必要があります。
もっと学ぶ
重みとパラメータについて詳しく見る
アダプター
原文の表記 · Adapter
固定したモデルの横に足して学習する小さな重み
ファインチューニングでモデルの重みをすべて変える代わりに、元の重みは固定し、横に足した小さなアダプターだけを学習できます。いちばん知られているのが LoRA で、細い行列を二つ学習し、その積で重み行列を少しだけ直します。アダプターのファイルはモデルよりずっと小さく、同じ基本モデルに作業ごとに違うアダプターを付け替えられます。
もっと学ぶ
重みとパラメータについて詳しく見る
ファインチューニングと LoRA について詳しく見る
エージェントメモリ
原文の表記 · Agent memory
エージェントが書き留めて次に読み込み直す記録
言語モデルはセッションが終わるとすべて忘れます。エージェントメモリは、ハーネスが役に立つ事実・ルール・進み具合をふつうはファイルに書き留め、次回それを文脈に読み込み直す部分です。たとえば Claude Code は、セッションを始めるたびに CLAUDE.md と自動メモリを読みます。このメモリはファイルの中の文章で、パソコンの RAM ではありません。
もっと学ぶ
エージェンティックシステム
原文の表記 · Agentic system
言語モデルをツールとつないで仕事をさせる仕組み
エージェンティックシステムは、言語モデルにツール・ファイル・繰り返しのループをつなぎ、一度答えて終わりではなく仕事をやり遂げられるようにした構成をまとめて呼ぶ言葉です。Anthropic は、コードが手順を決めるワークフローと、モデルが自分で手順を決めるエージェントの両方をこの言葉でまとめています。そうしたシステムの設計を話すときに使います。
もっと学ぶ
argmax
いちばん大きな値そのものではなく、その値の位置
max はリストの中でいちばん大きな数を、argmax はその数がある位置を返します。分類モデルは argmax で点数がいちばん高いクラスを選び、貪欲法の生成では次にいちばん来そうなトークンを選びます。位置はふつう 0 から数えます。
もっと学ぶ
基準モデル
原文の表記 · Baseline model
超えるべき点数を決める、とても単純なモデル
賢そうなモデルを信じる前に、いちばん多い答えだけを選ぶ、平均を使うといった単純な基準モデルと比べます。自分のモデルが基準モデルをやっと超える程度なら、ほとんど何も学んでいません。点数の横に基準モデルの点数も書いてはじめて、その数字の意味が見えます。
もっと学ぶ
バッチ(batch)
原文の表記 · Batch
一度にまとめて処理する例のかたまり
学習では例を一つずつ見るのではなく、文章の切れ端 12 個のようなひとまとまり(バッチ)を取り、まとめて損失を計算して一回更新します。バッチが大きいと GPU をうまく使えますが、メモリを多く使います。学習中にメモリが足りなくなったら、まずバッチサイズを減らしてみます。
もっと学ぶ
GPT について詳しく見る
ブロックサイズ
原文の表記 · Block size
モデルが一度に読むトークン数(文脈の長さ)
nanoGPT などのコードでは、ブロックサイズは学習の例一つに入れるトークンの最大数で、モデルが使えるいちばん長い文脈でもあります。アテンションに使うメモリはこれに合わせて急に増えるので、学習中にメモリが足りなくなったらブロックサイズを小さくするのがよくある解決法です。モデルはブロックサイズより前を見ることはできません。
もっと学ぶ
GPT について詳しく見る
BM25
単語の一致で文書に順位をつける昔ながらの式
BM25 は、検索語と文書が共通して持つ単語で点数をつけます。めずらしい単語はよくある単語より重く数え、同じ単語が繰り返されても点数は少しずつしか上がらず(頻度の飽和)、長い文書が長いというだけで勝たないよう長さを補正します。速く、名前やコードのような正確な単語に強い方法です。言い方が違っても意味が同じものは埋め込み検索のほうが得意なので、両方を使うシステムが多くあります。
もっと学ぶ
キャリブレーション
原文の表記 · Calibration
点数が実際に当たる割合と合っているかどうか
モデルの点数をそのまま本当の確率として読めるとき、よくキャリブレーションされていると言います。0.8 と答えたもののうち、およそ 80% が正しいような場合です。多くのモデルはパーセントのように見える 0〜1 の数を出しますが、キャリブレーションされていないこともあるので、点数を確率として信じる前に、取っておいたデータで確かめます。
もっと学ぶ
因果マスク
原文の表記 · Causal mask
あとのトークンを隠して前だけを見させる仕組み
学習のとき、モデルは文全体を一度に受け取りますが、各トークンはその前のトークンだけで予測しなければなりません。因果マスクは softmax の前に、うしろの位置の点数をマイナス無限大に変え、どの位置も自分よりあとを見られないようにします。マスクがないとモデルは未来の正解を写してしまい、役に立つことを何も学べません。
もっと学ぶ
文字単位のモデル
原文の表記 · Character-level model
一文字を一トークンとして扱う言語モデル
文字単位のモデルは、文字・空白・句読点の一つ一つをトークン一つとして扱うので、語彙がとても小さく、トークナイザーを別に学習する必要がありません。nanoGPT のシェイクスピアの例のように練習には手軽ですが、単語の切れ端をトークンにするモデルより、一文あたりずっと多くのステップがかかります。重みは自分の文字の語彙にしか合わないので、GPT-2 のトークンを前提にするランナーにそのまま入れることはできません。
もっと学ぶ
GPT について詳しく見る
重みとパラメータについて詳しく見る
チャットテンプレート
原文の表記 · Chat template
チャットモデルが前提にしている会話の書き方
チャットモデルは、決まった一つの書き方で書かれた会話で学習しています。その書き方では、特別なトークンでシステム・ユーザー・アシスタントの部分がどこで始まりどこで終わるかを示します。チャットテンプレートは、自分のメッセージの一覧をその文章に変えます。Ollama や llama.cpp のようなランナーは、モデルのファイルからテンプレートを読み取ります。テンプレートが違うと、モデルが要領を得ない答えを続けたり、同じことを繰り返したりします。
もっと学ぶ
保存した指示
原文の表記 · Saved instructions
ChatGPT が新しい会話ごとに従う自分の設定
ChatGPT の設定では、自分についての情報や、ほしい答えの形を指示として保存できます。たとえば「初心者なので短い文で説明して」のようなものです。ChatGPT はこれを新しい会話ごとに加えるので、同じことを毎回言わなくて済みます。それでも指示にすぎないので、答えを導くだけで保証はしません。秘密の情報は入れないようにします。
もっと学ぶ
GPT について詳しく見る
クローズドモデル
原文の表記 · Closed model
その会社のアプリや API でしか使えない非公開のモデル
クローズドモデルは重みを公開していません。その会社のアプリや API でしか使えず、料金・利用の上限・古いバージョンをいつなくすかも会社が決めます。Claude、Gemini、ChatGPT の元になっている GPT モデルはクローズドモデルです。いちばん性能が高いことが多いですが、自分のデータは会社のサーバーに送られます。
もっと学ぶ
GPT について詳しく見る
重みとパラメータについて詳しく見る
完了のフレーズ
原文の表記 · Completion promise
作業が本当に終わったときだけエージェントが書く合図の言葉
Ralph Loop では、DONE のような短い完了のフレーズを決めます。エージェントがそのフレーズを正確に書くまでループは続き、プロンプトでは本当にそうなったときだけ書くように伝えます。エージェントがゴールに届かないこともあるので、最大の回数や予算といっしょに使い、終わったあとは結果を自分で確かめます。
もっと学ぶ
コンテキスト管理
原文の表記 · Context management
モデルの限られた文脈に何を入れるかを選ぶこと
モデルが一度に読める量には限りがあります。コンテキスト管理は、ハーネスが何を入れるかを決める仕事です。どのファイル、どの前の会話、どのツールの結果を入れ、会話が長くなったら何を要約し何を外すか。うまくいけば大事な事実は見えたまま、雑音は外れます。作業が長くなるほど大切になります。
もっと学ぶ
Core ML
iPhone・iPad・Mac でモデルを動かす Apple のフレームワーク
Core ML は、Apple 製品のアプリの中で機械学習モデルを動かす、Apple の標準のフレームワークです。CPU・GPU・Neural Engine チップを使い、データをサーバーに送らずに端末の中で実行します。PyTorch などで作ったモデルは、Apple の coremltools などで先に Core ML 形式に変換します。
もっと学ぶ
累積確率
原文の表記 · Cumulative probability
大きい確率から順に足していった合計
候補を確率の大きい順に並べ、順に足していくと、その合計が累積確率です。top-p サンプリングはこれを使います。p = 0.9 なら、合計が 90% に届くいちばん小さな候補のまとまりだけを残してその中から選ぶので、モデルが自信を持っているほど候補は少なくなります。
もっと学ぶ
決定木
原文の表記 · Decision tree
はい・いいえの質問を続けて分類するモデル
決定木は、「花びらの長さ < 2.5 cm?」のような特徴についての質問のつながりを学び、答えごとに次の質問へ進んで、最後の葉でクラスを決めます。読みやすいモデルです。深さを制限せずに育てると、学習データを完全に覚えてしまい、新しいデータではかえって悪くなる過学習が起きることがあります。
もっと学ぶ
埋め込みモデル
原文の表記 · Embedding model
文章を意味で検索するためのベクトルに変えるモデル
埋め込みモデルは文章を書きません。文や文書を読んでベクトルを一つ出し、意味の近い文章どうしが近い向きのベクトルを持つようにします。検索・おすすめ・RAG のシステムは、このベクトルで関係のある文章を探します。小さなものはスマホで動かして、自分のメモを探すのにも使えます。
もっと学ぶ
埋め込み検索
原文の表記 · Embedding search
単語ではなく意味のベクトルが近い文章を探す検索
埋め込み検索は、質問とすべての文書を同じ埋め込みモデルでベクトルに変え、ベクトルがいちばん近い(よくコサイン類似度で測る)文書を返します。「自動車を直す」で検索しても「車の修理」の文書が見つかるので、単語の一致では見落とすものを探せます。ベクトルが近いというのは意味が近いということで、文書が正しいとか答えになっているという意味ではありません。
もっと学ぶ
埋め込み空間
原文の表記 · Embedding space
埋め込みベクトルが置かれる多次元の空間
埋め込みベクトルの一つ一つは、数百次元ある空間の中の一つの点です。その空間では、モデルが似ていると見なすものどうしが近くに集まります。距離は同じモデルが作ったベクトルどうしでしか意味がありません。埋め込みモデルが違えば空間も違うので、ベクトルを比べることはできません。
もっと学ぶ
フィードフォワード層
原文の表記 · Feed-forward layer
トランスフォーマーのブロックで、トークンごとに別々に通る部分
アテンションがトークンどうしの情報を混ぜたあと、フィードフォワード層は各トークンのベクトルを、同じ小さなネットワークで別々に処理します。ふつうは、幅の広い層、GELU のような活性化関数、元の幅に戻す層でできています。ブロックの MLP がこれで、大きなモデルではパラメーターの大部分がここにあります。
もっと学ぶ
GPT について詳しく見る
重みとパラメータについて詳しく見る
GELU
多くのトランスフォーマーが使うなめらかな活性化関数
GELU(Gaussian Error Linear Unit)は ReLU に似た活性化関数ですが、0 のところで角ばって折れず、なめらかに曲がります。大きな正の値はほぼそのまま、大きな負の値はほぼ 0 になり、0 に近い値は少しだけ小さくなります。GPT-2 や BERT がフィードフォワード層で使っています。
もっと学ぶ
GPT について詳しく見る
汎化
原文の表記 · Generalization
初めて見るデータでもうまく当てる力
学習の目的は、学習に使った例でよい点を取ることではなく、新しい例でうまくいくことです。その力が汎化です。学習に使わずに取っておいたデータで測ります。学習データでは完ぺきなのに新しいデータではうまくいかないモデルは、汎化せずに覚えただけで、これが過学習です。
もっと学ぶ
GPT-2
学習の題材として定番の、OpenAI の 2019年のトランスフォーマーモデル
GPT-2 は OpenAI が 2019年に公開したデコーダーだけのトランスフォーマー言語モデルで、パラメーター 1億2400万個から 15億個までいくつかの大きさがあります。トークンと位置の埋め込み、積み重ねたトランスフォーマーブロック、50,257 トークンの語彙に対する出力層という設計がシンプルでよく知られているため、nanoGPT のようなプロジェクトが LLM のしくみを教えるために作り直しています。
もっと学ぶ
GPT について詳しく見る
重みとパラメータについて詳しく見る
作業の引き継ぎ
原文の表記 · Handoff
エージェントが仕事と文脈を別のエージェントに渡すこと
作業の引き継ぎでは、あるエージェントが残りの仕事を、もっと向いている別のエージェントに、知っておくべき内容といっしょに渡します。文脈をどれだけ渡すか、どのモデルが引き継ぐか、結果がどう戻ってくるかはハーネスが決めます。文脈が少なすぎると次のエージェントが同じ作業を繰り返し、多すぎると迷ってしまいます。
もっと学ぶ
隠れ層
原文の表記 · Hidden layer
ネットワークの入力と出力のあいだにある層
隠れ層は、入力と出力層のあいだにある層です。数を受け取って重みをかけ、活性化関数を通して新しい数として次へ渡し、入力にも答えにも直接は見えない特徴を作り出します。ディープラーニングとは、隠れ層が何層もあるということです。
もっと学ぶ
重みとパラメータについて詳しく見る
Imagen
文章から画像を作る Google の以前のモデル
Imagen は、文章の説明を画像に変える Google のモデルのシリーズです。BaeumNova の講座では、2026年10月の時点で Gemini API の以前の Imagen モデルは提供が終了し、そこでの画像の生成と編集は Nano Banana モデルで提供されていると案内しています。
もっと学ぶ
指示の遵守
原文の表記 · Instruction following
モデルが受けた指示をどれだけそのとおりに守るか
指示の遵守とは、モデルがプロンプトやシステムプロンプトの指示、つまり形式・長さ・言語・してはいけないことを、どれだけよく守るかです。モデルによって差が大きく、これを専用に試験します。性能の高いモデルでも外れることがあるので、アプリは安全を指示だけに任せず、権限のような本当の制限をコードでかける必要があります。
もっと学ぶ
k近傍法(k-NN)
原文の表記 · k-nearest neighbours (k-NN)
いちばん似た学習例 k 個で答えを決める方法
k-NN には学習らしい学習がほとんどなく、学習例をすべて取っておきます。新しい例が来たら、いちばん近い例を k 個探し、その中でいちばん多いクラスを答えにします。近傍の数 k は学習の外で選ぶハイパーパラメーターです。小さいと雑音に振り回され、大きいと違いがぼやけます。
もっと学ぶ
LangChain
LLM アプリやエージェントのためのオープンソースのフレームワーク
LangChain は Python と JavaScript で使えるオープンソースのフレームワークで、言語モデルの上にアプリを作るとき、モデルをツール・文書・メモリ・ほかのモデルとつなぎます。対になる LangGraph は、手順のはっきりしたエージェントを作るのに使います。LangChain はハーネスを、モデルのまわりのすべてだと説明しており、BaeumNova の講座はこれを引用しています。
もっと学ぶ
LiteRT
スマホや小さな機器でモデルを動かす Google のランタイム
LiteRT は、端末の中で機械学習モデルを動かす Google のランタイムで、2024年からの TensorFlow Lite の新しい名前です。Android・iOS・Web・小さなボードで動き、あればスマホの GPU などのアクセラレーターを使い、データをサーバーに送りません。
もっと学ぶ
llama.rn
llama.cpp を React Native アプリの中に入れるライブラリ
llama.rn は llama.cpp を包んだ React Native 用のオープンソースのライブラリです。React Native で作ったスマホアプリが、サーバーなしで端末の中で GGUF モデルを読み込み、文章を作れるようにします。PocketPal AI はこうして作られたアプリの一つで、Flutter のアプリは別の llama.cpp バインディングで同じことをします。
もっと学ぶ
メインのエージェント
原文の表記 · Main agent
自分が話している、サブエージェントに仕事を任せる中心のエージェント
メインのエージェントは、自分の会話の中にいるエージェントです。プロジェクト全体の検索のような仕事の一部は、自分だけの新しい文脈と少ないツールを持つサブエージェントを起動して任せ、要約だけを受け取ります。そうするとメインのエージェントの文脈がすっきりしたまま保たれます。最後の答えはメインのエージェントが責任を持ちます。
もっと学ぶ
最大の回数
原文の表記 · Maximum number of rounds
ループを何回まで回すかを決めた上限
エージェントのループは、自分ではゴールに届かないこともあり、一周ごとにトークンとお金がかかります。最大の回数は、その回数を超えたら何があっても終わらせる上限です。確かめられるゴールやトークンの予算といっしょに、毎回必ず決めます。
もっと学ぶ
MCP ホスト
原文の表記 · MCP host
MCP クライアントを中に持つ、人が使う AI アプリ
MCP には三つの役割があります。ホストは、Claude Code、Claude Desktop、コードエディターのような、人が使う AI アプリです。その中でサーバーごとにクライアントが一つずつ接続を受け持ち、サーバーはツールやデータを提供します。どのサーバーを起動するかはホストが決め、ツールを使う前にユーザーの許可を得る必要があります。
もっと学ぶ
initialize
バージョンをそろえる、MCP の最初のリクエスト(2025-11-25 までの仕様)
MCP の仕様 2025-11-25 までは、セッションは initialize で始まります。クライアントが使うプロトコルのバージョンとできることを送ると、サーバーは使うバージョン、提供するもの(たとえばツール)、自分の名前を返します。続いてクライアントが notifications/initialized の通知を送ってはじめて、tools/list や tools/call が使えます。最新の仕様(2026-07-28)にはこのハンドシェイクがなく、リクエストごとに _meta でバージョンを送ります。
もっと学ぶ
MCP サーバーにツールを一つ実行してもらうリクエスト
tools/call は、ツールの名前と引数を送ります。サーバーはそのツールを実行し、結果をふつうは文章の内容として、うまくいかなければエラーとして返します。どのツールを使うかはモデルが選びますが、リクエストを送るのはホストのアプリで、危ないことは実行する前にユーザーに確認するべきです。
もっと学ぶ
MCP サーバーにどんなツールがあるかを聞くリクエスト
tools/list は、MCP サーバーに何ができるかを聞きます。サーバーはツールごとに、名前、いつ使うかを決めるためにモデルが読む説明、引数を書いた入力スキーマを返します。モデルはこの説明を信じて動くので、信頼できるサーバーにだけ接続します。
もっと学ぶ
Nano Banana
Google の Gemini の画像生成・編集モデル
Nano Banana は、文章から画像を作ったり直したりする Gemini のモデルを Google が呼ぶ名前です。新しい画像を説明して作ることも、画像をアップロードして、同じ人や物はそのままに背景だけを変えるように直すこともできます。Gemini アプリと Gemini API で使えます。
もっと学ぶ
nanochat
小さなチャット LLM を最初から最後まで作る Karpathy のプロジェクト
nanochat は、Andrej Karpathy が 2025年に nanoGPT の後継として公開したオープンソースのプロジェクトです。トークナイザーの学習、事前学習、チャット向けのファインチューニング、評価、結果と会話する Web 画面までを、一つの小さなコードにまとめています。ChatGPT のようなモデルが最初から最後までどう作られるかを学ぶためのものです。
もっと学ぶ
GPT について詳しく見る
ファインチューニングと LoRA について詳しく見る
nanoGPT
GPT-2 風のモデルを学習させる短い PyTorch のコード
nanoGPT は Andrej Karpathy が公開したオープンソースのコードで、数百行の PyTorch で GPT 風のモデルを学習・ファインチューニングします。大きな GPU で GPT-2 を再現することも、ノートパソコンの CPU でシェイクスピアの小さな文字単位のモデルを数分で学習させることもできます。今では作者が古いものとして扱い nanochat を案内していますが、GPT-2 風のモデルを見るにはいまも分かりやすいコードです。
もっと学ぶ
GPT について詳しく見る
ファインチューニングと LoRA について詳しく見る
Ollama
オープンモデルをダウンロードして自分のパソコンで動かすアプリ
Ollama は macOS・Windows・Linux で使える無料のランナーです。コマンド一つでオープンモデルをダウンロードしてすぐに会話でき、自分のプログラムから呼べるローカル API も用意します。量子化したモデルファイルやチャットテンプレートを自動で扱ってくれるので、インターネットなしでモデルを動かしてみる最初の一歩に向いています。
もっと学ぶ
オープンモデル
原文の表記 · Open model
重みをダウンロードして自分で動かせるモデル
オープンモデルは重みを公開しているので、自分のパソコンやサーバーにダウンロードして動かせます。多くは無料で、データを外に送らずに済みます。ただし、多くは完全なオープンソースではなくオープンウェイトです。重みは公開されていても、学習データやコードは公開されていないことがあり、ライセンスに制限があることもあります。Llama・Gemma・Qwen がその例です。
もっと学ぶ
オプティマイザー
原文の表記 · Optimizer
勾配をもとに重みの直し方を決める規則
誤差逆伝播法は重みごとの勾配を教えてくれます。オプティマイザーは、その勾配を使って重みをどう変えるかを決めます。いちばん単純な SGD は、勾配と反対の方向へ決まった幅だけ進みます。Adam などは過去の勾配も覚えておき、よりよい歩幅を選びます。オプティマイザーの状態はチェックポイントに保存され、学習を途中から再開できます。
もっと学ぶ
重みとパラメータについて詳しく見る
PocketPal AI
小さなモデルとオフラインで会話できる無料のスマホアプリ
PocketPal AI は iPhone と Android 向けのオープンソースのアプリで、GGUF 形式の小さな言語モデルをダウンロードしてスマホの中で動かします。そのため、インターネットにつながっていなくても会話できます。llama.cpp の上に llama.rn を使って作られています。スマホのメモリは少ないので、小さく強く量子化したモデルがいちばん向いています。
もっと学ぶ
事後学習
原文の表記 · Post-training
事前学習のあとで、決まったふるまいを教える学習
事前学習では、膨大なデータを使って文章の続きを書くことをモデルに教えます。事後学習はそのあとに行います。会話の例でファインチューニングをしたり、人や自動のフィードバックから学ばせたり、ツールを使う課題を練習させたりします。ただ文章を予測するだけだったモデルが役に立つアシスタントになるのも、コーディングエージェントがハーネスとうまく働けるようになるのも、この段階です。
もっと学ぶ
ファインチューニングと LoRA について詳しく見る
Q4_K_M
GGUF ファイルでよく使われる 4 ビット量子化の種類
Q4_K_M は llama.cpp の「k-quant」と呼ばれる種類の一つです。ほとんどの重みを約 4 ビットで保存し、影響の大きい一部はより多くのビットで残します(M は medium の意味です)。重みをブロックに分け、ブロックごとに目盛りを共有します。ファイルの大きさと品質のバランスがよく人気があり、大きさは FP16 のおよそ 30% です。
もっと学ぶ
重みとパラメータについて詳しく見る
推薦システム
原文の表記 · Recommender system
好みそうなものを予測して勧める人工知能
推薦システムは、その人やよく似た人が前に何をしたかをもとに、見たくなりそうな動画・曲・商品を予測し、それを先に見せます。会話もしなければ文章も書きませんが、もっとも広く使われている人工知能の一つです。人工知能が ChatGPT だけではないことを思い出させてくれる良い例です。
もっと学ぶ
GPT について詳しく見る
回帰係数
原文の表記 · Regression coefficient
回帰モデルが入力ごとに掛ける、学習で決まる数
線形回帰は「値段 = a × 広さ + b」のような式で予測します。a と b は学習のときにデータから求めます。これが係数で、木の深さのように自分で選ぶ設定とは違い、パラメータです。係数は、その入力が 1 増えたときに予測がどれだけ動くかを表します。
もっと学ぶ
重みとパラメータについて詳しく見る
規則ベースのシステム
原文の表記 · Rule-based system
人が書いた規則だけで判断するプログラム
規則ベースのシステムは、「件名に『無料でお金』があれば迷惑メールにする」のような、人が書いた「もし〜なら〜する」という規則に従います。データから学ばないので理由は説明しやすいのですが、誰も考えていなかった場合には対応できません。機械学習は、反対に例から規則を見つけます。どちらも人工知能に含まれます。
もっと学ぶ
類似度
原文の表記 · Similarity
二つのベクトルや文章がどれだけ似ているかを表す数
類似度は、二つのベクトルがどれだけ近いかを測ります。いちばんよく使われるコサイン類似度は向きを比べます。1 は同じ向き、0 は関係なし、−1 は反対向きです。埋め込み検索は、これで文書を並べます。類似度が高いのは意味が近いということで、二つの文が同じ正しいことを言っているという意味ではありません。
もっと学ぶ
fit
原文の表記 · scikit-learn fit
scikit-learn でデータからモデルを学習させるメソッド
scikit-learn では、どのモデルも同じやり方で学習させます。model.fit(X, y) が入力 X と正解 y から学びます。そのあと model.predict(X_new) で予測します。fit は学習用データだけで行い、テスト用データは最後まで取っておきます。そうしないと、点数が実際より良く見えてしまいます。
もっと学ぶ
終了条件
原文の表記 · Stop condition
エージェントの仕事が終わったかどうかを確かめられる決まり
終了条件は、エージェントにいつ止まるかを伝えます。たとえば「tests/ のテストがすべて通り、ページがエラーなしで開く」です。エージェントは一歩進むたびにこれを確かめ、満たされるまで作業を続けます。「もっと良くして」のようなあいまいな願いでは終わりが来ないので、長く動くループには回数やトークンの上限も必要です。
もっと学ぶ
終了トークン
原文の表記 · Stop token
「文章はここで終わり」を表す特別なトークン
終了トークンは、文章の終わりを示す特別なトークンです。学習のとき、モデルはすべての例の最後でこれを見るので、答えがどこで終わるかを覚えます。文章を作るときは、このトークンが選ばれるか長さの上限に届いた時点で、プログラムが止まります。これがないと、モデルはいつまでも言葉を足し続けます。
もっと学ぶ
GPT について詳しく見る
特殊トークン
原文の表記 · Special token
文字の代わりに位置を示す予約トークン
特殊トークンは、トークナイザーが文字の断片ではなく役目のために取っておくトークンです。[BOS] は文章の始まり、[EOS] は終わりを示し、モデルが EOS を出すと生成が止まります。[PAD] は空いた場所を埋め、[UNK] はトークナイザーが知らない文字の代わりです。XSLM は改行を実際のモデルの EOS のように使います。
もっと学ぶ
safetensors
モデルの重みを安全に保存するファイル形式
safetensors はモデルの重みを保存するためのファイル形式です。ファイルに入っているのは数値と、各層の名前・データ型・形を記した小さな JSON ヘッダーだけです。Python の pickle をもとにした以前の形式はファイルを開いたときに隠れたコードが実行されることがありましたが、safetensors ではそれが起きないため、Hugging Face が標準で使っています。
もっと学ぶ
重みとパラメータについて詳しく見る
事前学習
原文の表記 · Pre-training
言語モデルの学習の最初で最大の段階
事前学習は言語モデルを作る最初の段階で、膨大な量の文章で次のトークンを予測するようにモデルを学習させます。これで言語全般を幅広く扱えるようになりますが、まだ指示にうまく従うことはできません。その後、指示チューニングなどの段階でアシスタントへと仕上げます。
もっと学ぶ
指示チューニング(SFT)
原文の表記 · Instruction tuning (SFT)
指示に従わせるため、依頼と回答のペアで行う追加の学習
指示チューニングは SFT(教師ありファインチューニング)とも呼ばれ、事前学習を終えたモデルを依頼と良い回答のペアでさらに学習させます。これにより、モデルは文章の続きをただ書くのではなく、人の頼み方に合わせて答えるようになります。事後学習の一部です。
もっと学ぶ
ファインチューニングと LoRA について詳しく見る
Llama
Meta が重みを公開している言語モデルのシリーズ
Llama は Meta が作った言語モデルのシリーズです。Meta がモデルの重みを公開しているので、Meta のライセンス条件の範囲で、誰でもダウンロードして自分のパソコンで動かせます。llama.cpp や Ollama といったツールも、最初は Llama モデルを動かすところから始まりました。
重みとパラメータについて詳しく見る
Qwen
Alibaba が作った言語モデルのシリーズ
Qwen は Alibaba Cloud が作った言語モデルのシリーズです。ノートパソコン向けの小さなものからサーバー向けの大きなものまで、Qwen3-Coder のようなコーディング用モデルも含め、多くの Qwen モデルが重みを公開して出ています。OpenRouter のようなサービスを通しても使えます。
重みとパラメータについて詳しく見る
頻度の飽和
原文の表記 · Term frequency saturation
キーワード検索で、同じ単語がくり返されるほど点数の増え方が小さくなること
BM25 のキーワード検索では、文書に何度も出てくる単語はその文書の点数を上げますが、一回増えるごとの上がり幅は前より小さくなります。点数は限りなく増えるのではなく、頭打ちになります。そのおかげで、一つの単語を何度もくり返しただけの文書が上位を取ることを防げます。
もっと学ぶ
しきい値
原文の表記 · Threshold
モデルの答えを「はい」とみなす境目の数
分類器は、最終的な答えではなく点数を出すことがよくあります。しきい値はそこに引く線です。点数がそれより上なら「はい」、下なら「いいえ」になります。しきい値を動かすと、陽性とされる例が変わります。上げると、モデルが「はい」と言う回数は減りますが、より慎重になります。0.7 という点数が、そのまま 70% の確率という意味ではありません。
もっと学ぶ
トークン予算
原文の表記 · Token budget
一つの仕事やエージェントのループが使ってよいトークンの上限
トークン予算は、エージェントが一つの仕事に使えるトークンの数を制限します。AI のサービスはトークンごとに料金がかかるので、予算は費用の上限でもあります。予算のないループは一晩中動いて費用を使い続けることがあります。予算が尽きると、目標を達成していなくてもエージェントは止まります。
もっと学ぶ
検証損失
原文の表記 · Validation loss
モデルが学習に使っていない文章で測った損失
学習中は二つの数を見守ります。学習損失はモデルが学ぶ文章で測り、検証損失は学習には使わない別の文章で測ります。学習損失が下がり続けているのに検証損失が上がり始めたら、モデルは一般的なパターンを学ぶのではなく丸暗記しています。そこが学習を止めるか、モデルを小さくするタイミングです。
もっと学ぶ
Antigravity CLI
agy で起動する、ターミナル用の Google のコーディングエージェント
Antigravity CLI は、ターミナルで動く Google のコーディングエージェントです。公式ページのスクリプトでインストールし、プロジェクトのフォルダーで agy コマンドを打って起動します。初めてのときはブラウザーが開き、Google アカウントでログインします。Google の Gemini モデルを使い、Claude Code や Codex と同じように、計画を承認するとファイルを読み、書き換え、実行します。Google は、以前の Gemini CLI から移る人のためのガイドも公開しています。
もっと学ぶ
Claude Cowork
ファイルやアプリをまたいで何段階もの作業を進める Claude の機能
Claude Cowork は Claude のデスクトップアプリの機能で、プログラミング以外の何段階もの作業に使います。フォルダーの中のファイルを整理する、レシートの山を表計算シートにまとめる、いくつかの資料から報告書の下書きを作る、といった作業です。フォルダーを渡してほしい結果を伝えると、手順を計画し、見ている前で一つずつ進めます。ほかのエージェントと同じく、できたものは下書きなので、必ず自分で確かめます。
もっと学ぶ
特徴量(Feature)
家の広さのように、モデルが判断に使う入力の値一つ
特徴量は、モデルが見る入力データの一つ一つです。家の値段を当てるモデルなら、広さ・部屋の数・駅までの距離などを使います。表のデータでは、ふつう列一つが特徴量一つです。役に立つ特徴量を選ぶことが大切です。答えと関係のない特徴量は雑音になり、モデルを悪くすることがあります。
もっと学ぶ
Hugging Face
AI モデルやデータセットを共有するウェブサイトと会社
Hugging Face は、AI のモデル・データセット・小さなデモアプリを公開したりダウンロードしたりできるウェブサイトです。コードにとっての GitHub のような場所です。この会社は、そうしたモデルを読み込んで動かす Transformers などのオープンソースの Python ライブラリも作っています。とても小さなものから非常に大きなものまで、多くのオープンモデルがここからダウンロードされています。
画像生成
原文の表記 · Image generation
書いた説明から人工知能が新しい絵を作ること
画像生成とは、AI モデルが文章の説明(プロンプト)から新しい絵を作ることで、多くのモデルは渡した絵を直すこともできます。良い結果を得るには、題材・画風・大きさ・変えてはいけないところを説明し、一度に一つずつ直します。使う前に、間違った文字や余分な指のような誤りがないか、人物・ブランド・画風の権利に問題がないかを確かめます。
もっと学ぶ
画像認識
原文の表記 · Image recognition
絵に何が写っているかを見分ける人工知能
画像認識は、絵を見て何が写っているかを答える人工知能です。猫、止まれの標識、手書きの数字などです。ふつうは、ラベルのついた写真をたくさん使って学習したディープニューラルネットワークで行います。スマホは写真アルバムの整理に、車は道路標識を読むのに使っています。
LoRA
モデルは固定し、小さな追加部分だけを学習させる安いファインチューニング
LoRA(Low-Rank Adaptation)は、大きなモデルを安くファインチューニングする方法です。元の重みは固定したまま、アダプターと呼ばれる小さな追加の行列だけを学習させ、元の重みに足します。学習させる数がずっと少ないので、GPU のメモリも保存場所もずっと少なくて済み、一つの元のモデルで用途ごとに小さなアダプターを切り替えて使えます。
もっと学ぶ
重みとパラメータについて詳しく見る
フルファインチューニング
原文の表記 · Full fine-tuning
モデルのすべての重みを更新するファインチューニング
フルファインチューニングは、事前学習済みのモデルの重みを、新しいデータですべて学習し直します。7B のモデルなら 70 億個のパラメータがすべて変わり、結果として元と同じ大きさの新しいモデルが丸ごと一つできます。モデルを最も大きく変えられますが、GPU のメモリと時間が最も多くかかります。ふつう「ファインチューニング」とだけ言うと、これを指します。
もっと学ぶ
重みとパラメータについて詳しく見る
PEFT
モデルのごく一部だけを学習するファインチューニング
PEFT(パラメータ効率のよいファインチューニング)は、少ない数のパラメータだけを学習し、残りは固定しておくファインチューニングの方法をまとめた呼び名です。最もよく知られているのが LoRA です。フルファインチューニングよりも、メモリと保存容量がずっと少なくて済みます。
もっと学ぶ
重みとパラメータについて詳しく見る
QLoRA
量子化したモデルに LoRA を使い、メモリをさらに減らす方法
QLoRA は、まずベースモデルを量子化して重みをより少ないビットで保存し、その上で LoRA のアダプターを学習します。固定したモデルが使うメモリがずっと少なくなるので、大きなモデルでも普通の GPU 一枚でファインチューニングできます。
もっと学ぶ
重みとパラメータについて詳しく見る
低ランク行列
原文の表記 · Low-rank matrix
小さな表二つから作り直せる大きな数の表
低ランク行列は、互いに独立した情報が少ないので、ずっと小さな表二つの積として書ける大きな数の表です。ランク r は、その表をどこまで小さくできるかを表します。LoRA は、ファインチューニングで重みに生じる変化が低ランクだと仮定します。だから小さな行列を二つ学習するだけで済みます。
もっと学ぶ
重みとパラメータについて詳しく見る
破滅的忘却
原文の表記 · Catastrophic forgetting
モデルが新しいことを学ぶうちに、知っていたことを失うこと
モデルを新しいデータでさらに学習させると、重みが新しいデータに合うように動き、以前に学んだことに合わなくなることがあります。すると、もともとうまくできていたことが苦手になります。すべての重みが変わるフルファインチューニングでは危険が大きく、元の重みを固定する LoRA では小さくなります。
もっと学ぶ
重みとパラメータについて詳しく見る
行列の積
原文の表記 · Matrix multiplication
二つの数の表を、行と列で掛け合わせる計算
行列の積は二つの行列を組み合わせます。結果の数一つ一つは、一つ目の行列の行と二つ目の行列の列を要素ごとに掛けて、足し合わせたものです。内側の大きさがそろっている必要があります。4×3 の行列に 3×2 の行列を掛けると、4×2 の行列になります。ニューラルネットワークの中の計算はほとんどが行列の積で、それを一度にたくさんこなせる GPU が AI に使われるのはそのためです。
もっと学ぶ
ニューロン
原文の表記 · Neuron
ニューラルネットワークのいちばん小さな計算の単位
人工のニューロンは、いくつかの数を受け取り、それぞれに重みを掛け、バイアスと一緒に足し合わせ、その合計を活性化関数に通します。ニューロンを横に並べると層になり、層を積み重ねるとニューラルネットワークになります。名前は脳の神経細胞から来ていますが、ここでのニューロンはただの計算です。
もっと学ぶ
重みとパラメータについて詳しく見る
最適化
原文の表記 · Optimization
損失ができるだけ小さくなるようにモデルの数を調整すること
機械学習での最適化とは、損失(予測がどれだけ外れているか)が小さくなるように、モデルの重みを少しずつ変えていくことです。よく使われるのは勾配降下法で、どちらに動けば損失が下がるかを計算し、その方向へ少し進みます。最適化は学習データに合う良い数を見つけますが、それは新しいデータで正しいこととは同じではありません。
重みとパラメータについて詳しく見る
原文の表記 · Output format
答えの形の指定 — 箇条書き、表、JSON、ファイル
出力形式は、答えをどんな形で出してほしいかを伝えるプロンプトの部分です。箇条書き、列を決めた表、キーを決めた JSON、ファイルなどです。これを書いておくと答えを書き直す手間が省け、プログラムで結果を読むこともできます。役割・目標・背景・例・条件と並ぶ、良いプロンプトの六つの部分の一つです。
もっと学ぶ
陽性
原文の表記 · Positive class
「はい・いいえ」の分類で、モデルが見つけようとしている「はい」の側
答えが二つの分類器で、陽性は見つけたい側のことです。迷惑メールフィルターなら迷惑メール、医療の検査なら病気です。「陽性」は良いという意味ではなく、「探しているものが見つかった」というだけの意味です。適合率・再現率・混同行列は、どれもこの陽性を基準に数えます。
scikit-learn
昔ながらの機械学習のための Python ライブラリ
scikit-learn は、分類・回帰・クラスタリング・モデルの評価といった、昔ながらの機械学習のための無料の Python ライブラリです。どのモデルも、fit() でデータから学び、predict() で答えるという同じ使い方なので、学ぶ人が最初に使う道具としてよく選ばれます。大きなニューラルネットワークの学習には向いておらず、そちらには PyTorch を使います。
トークン ID
原文の表記 · Token ID
トークナイザーが語彙の中の各トークンにつける番号
トークナイザーは語彙、つまり知っているすべてのトークンに番号をつけた一覧を持っています。トークン ID は、その一覧の中でのトークンの番号です。モデルは文字を見ることはありません。文章はトークン ID の並びに変えられ、モデルはその数で計算し、出てきた ID がまた文章に戻されます。同じ単語でも、モデルが違えば ID も違うことがあります。
GPT について詳しく見る
ChatGPT
OpenAI の AI チャットサービス
ChatGPT は OpenAI が作ったチャットサービスで、2022 年 11 月に一般公開されました。質問を打ち込むと大規模言語モデルが答えを書きます。添付したファイルや画像を読むこともでき、その機能がオンならウェブ検索もします。答えは下書きです。なめらかな文章でも間違っていることがあるので、事実や数字は確かめましょう。
もっと学ぶ
GPT について詳しく見る
Gemini
Google の AI モデルのシリーズとそのチャットアプリ
Gemini は、Google の大規模言語モデルと、それを使ったチャットアプリの名前です。モデルはマルチモーダルで、文章・画像・音声・動画を受け取れます。Google のコーディングエージェントである Antigravity CLI と、その前の Gemini CLI も Gemini モデルで動いています。
Grok
xAI の AI モデルのシリーズとそのチャットアプリ
Grok は、xAI が作った大規模言語モデルの名前で、そのモデルを使ったチャットアプリ(ウェブ・スマートフォン・X の中)の名前でもあります。Grok Build(Grok CLI とも呼ばれます)は別のもので、ターミナルで動く xAI のコーディングエージェントです。つまり Grok はモデル、Grok CLI はそのモデルを使う道具です。
SKILL.md
エージェントスキルを決めるファイル — 名前・説明・手順
エージェントスキルは、どれも SKILL.md というファイルの入ったフォルダーです。いちばん上の --- の行のあいだに、スキルの名前と、エージェントがいつそれを使うかを伝える説明を書きます。その下に、ふつうの Markdown で手順を書きます。エージェントは最初に名前と説明だけを読み、作業に必要になったときに残りを読み込みます。同じフォルダーにスクリプトや参考ファイルを置くこともできます。
もっと学ぶ
Gemini CLI
Google が以前に出したターミナル用のオープンソース AI エージェント
Gemini CLI は、ターミナルで動き Gemini モデルを使う、Google のオープンソースの AI エージェントです。Claude Code や Codex と同じように、ファイルを読み、コマンドを実行し、指示ファイルに従い、エージェントスキルにも対応しています。BaeumNova の AI コースでは、今は Google の新しい Antigravity CLI(agy)を教えています。Google は Gemini CLI の利用者向けに移行ガイドを公開しているので、古い手順に従う前に公式ページを確かめましょう。
リソース(Resources)
MCP サーバーがアプリに読ませるために用意するデータ
MCP サーバーが用意できるものは三つあります。モデルが呼ぶツール、ユーザーが選ぶプロンプト、そしてリソースです。リソースは、ファイル・記録・メモの一覧のような、アプリが読めるデータです。リソースにはそれぞれ notes://shopping のような自分の住所(URI)があります。ツールは何かを実行し、リソースは中身を渡すだけです。
もっと学ぶ
Claude
Anthropic の AI モデルのシリーズとチャットサービス
Claude は Anthropic が作った大規模言語モデルのシリーズの名前で、ウェブ・デスクトップ・スマホで使えるチャットアプリの名前でもあります。Claude Code は別のものです。Claude のモデルを使って自分のファイルを相手に作業する、ハーネスのプログラムです。まとめると、Claude はモデル、Claude Code はそれを包む道具です。
GitHub Copilot
コードを書くための GitHub の AI アシスタント
GitHub Copilot は GitHub の AI コーディングアシスタントです。コードエディターでは、打っている途中に次の行を提案し、チャットの画面で質問に答えます。エージェントモードや Copilot CLI では、ファイルを書き換えたりコマンドを実行したりもできます。エージェントスキルも読み込みます。提案は推測なので、自分で読んでテストすることが必要です。
OpenCode
ターミナルで動くオープンソースの AI コーディングエージェント
OpenCode は、ターミナルで動くオープンソースのコーディングエージェントです。Claude Code や Codex と同じように、プロジェクトを読み、ファイルを書き換え、コマンドを実行しますが、さまざまな提供元のモデルにつなげられます。エージェントスキルも読み込みます。
もっと学ぶ
Grok CLI
ターミナル用の xAI の AI コーディングエージェント(Grok Build)
Grok は xAI の AI モデルの名前です。Grok Build は Grok CLI とも呼ばれ、Claude Code や Codex と同じようにターミナルで動く xAI のコーディングエージェントです。公式のインストールスクリプトか、npm のグローバルパッケージとしてインストールし、バージョンを表示するコマンドでインストールできたかを確かめます。
Orca
いくつもの AI コーディングエージェントを並べて動かすオープンソースのデスクトップアプリ
Orca は、Claude Code・Codex・OpenCode など、いくつもの AI コーディングエージェントを同時に動かすためのオープンソースのデスクトップアプリです。エージェントはそれぞれ自分の Git ワークツリーで作業するので変更がぶつからず、結果は一つのウィンドウで比べて確認できます。各エージェントの利用契約は自分で用意します。
AlphaGo
Google DeepMind が作った囲碁の人工知能
AlphaGo は Google DeepMind が作った、囲碁を打つプログラムです。2016 年 3 月、世界トップクラスの棋士である李世乭(イ・セドル)に 4 勝 1 敗で勝ちました。多くの専門家が、あと 10 年はかかると考えていたことでした。ディープニューラルネットワークと探索を組み合わせ、自分自身と対局して強くなりました(強化学習)。
もっと学ぶ
二値分類
原文の表記 · Binary classification
答えがちょうど二つのうちの一つになる分類
二値分類は、ありうる答えが二つだけの分類問題です。迷惑メールかそうでないか、不正かふつうか、病気か健康か、などです。モデルはふつう 0 から 1 のあいだの点数を出し、しきい値でそれを「はい」か「いいえ」に変えます。見つけたい側を陽性といいます。
もっと学ぶ
多クラス分類
原文の表記 · Multiclass classification
答えが三つ以上のうちの一つになる分類
多クラス分類では、入力一つにつき、三つ以上の中からラベルをちょうど一つつけます。猫・犬・うさぎ、0 から 9 の数字などです。モデルはクラスごとに点数を出し、softmax がそれを確率に変え、いちばん高いものが答えになります。一つの入力に同時にいくつものラベルがつくなら、それは別の課題(マルチラベル分類)です。
もっと学ぶ
思考の連鎖
原文の表記 · Chain-of-thought
モデルに途中の手順を書き出させるプロンプトの方法
思考の連鎖(Chain-of-Thought、CoT)のプロンプトは、「一歩ずつ解いて」のように、最終的な答えの前に途中の手順を書くようモデルに頼む方法です。言語モデルは一度に一つずつトークンを作るので、書き出した手順が次のトークンのための文脈になり、算数や論理の答えが良くなりやすくなります。書き出した手順はただの文章で、答えが実際にどう計算されたかを必ず記録したものではありません。
連鎖律
原文の表記 · Chain rule
関数の中に関数があるときの傾きの決まり — 傾きを掛け合わせる
連鎖律は、合成関数の傾き(微分)が、外側の関数の傾きと内側の関数の傾きを掛けたものに等しい、という決まりです。ニューラルネットワークは関数が長くつながったものなので、誤差逆伝播法は出力から最初の層まで連鎖律を何度も使い、それぞれの重みが損失にどう影響するかを求めます。小さな傾きをたくさん掛けると勾配が消え、大きな傾きをたくさん掛けると勾配が爆発するのはこのためです。
重みとパラメータについて詳しく見る
合成関数
原文の表記 · Composite function
ある関数の出力を別の関数に入れて作る関数
合成関数は、関数の中に別の関数を入れたものです。まず g(x) を計算し、その結果を f に入れます。f(g(x)) と書きます。ニューラルネットワークは大きな合成関数で、どの層も前の層の出力を受け取ります。このような関数の傾きを求める方法が連鎖律です。
クラスタリング
原文の表記 · Clustering
正解を与えずに、似たデータどうしをグループにまとめること
クラスタリングは、誰もラベルをつけていないときに、似たものどうしをグループにまとめます。たとえば、お店のお客さんを、何をどれくらいの頻度で買うかでいくつかのグループに分けます。教師なし学習の一つで、グループはアルゴリズムが見つけ、それぞれのグループが何を意味するかは人が決めます。いくつのグループに分けるかを指定する k-means がよく使われる方法です。
もっと学ぶ
混同行列
原文の表記 · Confusion matrix
正解と不正解を種類ごとに数えた表
混同行列は、分類器の答えと本当の正解を突き合わせて数えた表です。「はい/いいえ」の問題なら、真陽性・偽陽性・偽陰性・真陰性の四つのマスがあります。正解率・適合率・再現率はどれもこの四つの数から計算するので、この表を見ると、モデルがどれくらいまちがえるかだけでなく、どちらの向きにまちがえるかもわかります。
偽陽性
原文の表記 · False positive
モデルは「はい」と答えたが、本当の答えは「いいえ」の場合
偽陽性はまちがって鳴った警報です。ないものを「ある」と答えた場合で、ふつうのメールが迷惑メールフォルダーに入ったり、健康な人が病気と判定されたりします。偽陽性が多いと適合率が低くなります。偽陰性より悪いかどうかは、その仕事でそれぞれのまちがいがどれだけ高くつくかで決まります。
偽陰性
原文の表記 · False negative
モデルは「いいえ」と答えたが、本当の答えは「はい」の場合
偽陰性は見逃しです。本当はあったのに、モデルが見つけられなかった場合で、迷惑メールが受信トレイに届いたり、検査で病気が見つからなかったりします。偽陰性が多いと再現率が低くなります。がん検診では、見逃しのほうがまちがった警報よりずっと高くつくことがあるので、再現率をより重く見ます。
再現率
原文の表記 · Recall
本当の「はい」のうち、モデルが見つけた割合
再現率は、本当の陽性のうちモデルが正しく見つけたものの割合で、真陽性 ÷ (真陽性 + 偽陰性) です。再現率が低いと見逃しが多く、迷惑メールが受信トレイにたくさん入ります。再現率を上げるとふつうは適合率が下がります。たくさん捕まえようとすると、まちがった警報も増えるからです。
適合率
原文の表記 · Precision
モデルが「はい」と答えたもののうち、本当に正しかった割合
適合率は、モデルが「はい」と答えたもののうち実際に正しかったものの割合で、真陽性 ÷ (真陽性 + 偽陽性) です。適合率が低いとまちがった警報が多く、ふつうのメールが迷惑メールフォルダーに入ってしまいます。判定を厳しくすると適合率は上がりますが、ふつうは再現率が下がります。(コンピューターで数一つを何ビットで表すかという意味の「精度」とは別の言葉です。)
F1 スコア
原文の表記 · F1 score
適合率と再現率を一つにまとめた点数
F1 スコアは適合率と再現率の調和平均で、2 × P × R ÷ (P + R) です。両方が高いときだけ高くなり、片方がよくてももう片方が悪いと低いままです。そのため、クラスの数が大きく偏っているとき、つまり正解率だけ見るとよさそうなのに陽性をほとんど見逃しているような場合に役立ちます。
調和平均
原文の表記 · Harmonic mean
小さいほうの値に強く引っぱられる平均
二つの数 a と b の調和平均は 2ab ÷ (a + b) です。ふつうの平均とちがって小さいほうの数に強く引っぱられるので、片方が高くても、もう片方の低さを隠せません。F1 スコアは、適合率と再現率をまとめるときにこの平均を使います。
コサイン類似度
原文の表記 · Cosine similarity
二つのベクトルがどれだけ同じ向きを指すかを −1〜1 で表した値
コサイン類似度は、長さは気にせず、二つのベクトルの間の角度を測ります。1 なら同じ向き、0 なら関係なし(直角)、−1 なら正反対です。埋め込み検索はこれを使って、質問と意味のベクトルが同じ向きを指す文章を探します。ベクトルが近いのは話題が似ているということで、その文が正しいという意味ではありません。
データの偏り
原文の表記 · Data bias
学習データが一方に偏り、モデルが不公平になる問題
データの偏りは、学習データが、モデルが実際に出会う人やケースを公平に含んでいないときに起こります。モデルはその偏りまで学んでしまいます。たとえば、ある集団の写真が少ししか入っていない顔認識のモデルは、その集団をよりよくまちがえます。集団ごとに結果を分けて確かめ、モデルだけでなくデータも直します。
もっと学ぶ
ディープリサーチ
原文の表記 · Deep research
AI が数分かけて多くの資料を探して読み、レポートを書く機能
ディープリサーチは、ChatGPT・Gemini・Claude などの AI チャットサービスの機能で、AI が数分かけて多くのウェブページを探して読み、出典のリンク付きのレポートを書きます。調べる時間を大きく減らせますが、資料を読みちがえたり引用をまちがえたりすることもあるので、大事な主張はリンクを開いて自分で確かめます。
もっと学ぶ
GPT について詳しく見る
ディープフェイク
原文の表記 · Deepfake
AI で本物のように作った偽の動画・写真・声
ディープフェイクは、ディープラーニングで実在の人のように見えたり聞こえたりするように作った偽の動画・写真・音声です。同じ技術は映画や吹き替えで正当に使われることもありますが、その人が言っていないことを言わせたり、詐欺をしたり、実在の人の性的な画像を作ったりすると犯罪になることがあります。衝撃的な動画は、信じる前にまず出どころを確かめます。
もっと学ぶ
次元
原文の表記 · Dimension
ベクトルに入っている数の個数
ベクトルの次元は、その中に入っている数の個数です。[1.2, 0.5, 3.0] は 3 次元のベクトルです。数の一つ一つを一本の軸の上の位置と考えると、数が二つなら平らな地図の上の点、三つなら空間の中の点になります。AI の埋め込みは数百〜数千次元のことが多く、図には描けませんが、計算のしかたは同じです。
もっと学ぶ
エポック
原文の表記 · Epoch
学習データ全体を最初から最後まで一回通すこと
エポックは、モデルが学習データのすべての例を一回ずつ見終わる一周のことです。学習はふつう何エポックも回します。エポックごとに検証データの損失を確かめ、学習の損失は下がっているのに検証の損失がよくならなくなったり上がり始めたりしたら、それ以上回してもモデルは丸暗記するだけです。
もっと学ぶ
AI 法(AI Act)
原文の表記 · EU AI Act
リスクの大きさに応じて AI を規制する欧州連合の法律
欧州連合(EU)の AI 法(AI Act)は、2024年8月1日に発効した、この種のものとしては初めての包括的な人工知能の法律です。AI システムをリスクの大きさで分け、一部の使い方は禁止し、採用や信用スコアのような高リスクの使い方には厳しいルールを課し、それ以外には透明性を求めます。たとえば、AI が作った内容であることを人に知らせなければなりません。ルールは数年かけて段階的に適用されます。
もっと学ぶ
エキスパートシステム
原文の表記 · Expert system
人間の専門家が書いたルールで判断する初期の人工知能
エキスパートシステムは、1970〜80年代に広く使われた初期の人工知能で、人間の専門家が書いた「もし〜なら〜する」というルールをたくさん集めて作ります。たとえば病気を診断するためのルールです。どのルールを使ったかは説明できましたが、だれもルールを書いていないケースには対応できず、何千ものルールを最新に保つのも大変でした。データからルールを学ぶ機械学習が、その役割の多くを引き継ぎました。
もっと学ぶ
顔認識
原文の表記 · Face recognition
写真の顔がだれなのかを見分ける AI
顔認識は、写真の中から顔を見つけ、知っている人と照らし合わせる AI です。スマートフォンが顔を見てロックを解除するのがその例です。顔をベクトルに変え、ベクトルどうしを比べるしくみで動きます。学習用の写真に少ししか入っていなかった集団では精度が下がることがあり、公共の場の人に使うと、プライバシーや法律の問題が起こります。
もっと学ぶ
生成 AI
原文の表記 · Generative AI
文章・画像・音・動画を新しく作り出す AI
生成 AI は、分類やラベルの予測だけをするのではなく、文章・画像・音楽・声・動画・コードなどの新しい内容を作り出す AI です。チャットのアシスタントや画像生成ツールがその例です。出力は学習データのパターンから作られるので、自信ありげに聞こえても、まちがっていることがあります(ハルシネーション)。
知識蒸留
原文の表記 · Knowledge distillation
大きなモデルをまねるように小さなモデルを学習させる方法
知識蒸留は、小さな「生徒」モデルに、正解だけでなく大きな「教師」モデルの出力をまねさせて学習させる方法です。生徒は、より多くの情報を含む教師の確率の点数をまるごと見て学ぶので、ずっと小さく速いのに、教師に近い性能を出せることが多いです。少しの正確さと引き換えに、速さと費用を得る設計上の選択です。
正解ラベル
原文の表記 · Label
学習データの一つ一つに付ける正解の名札
ラベルは、学習データの一つ一つに付ける正解の名札です。ネコの写真には「ネコ」、迷惑メールには「迷惑メール」、家の記録には価格を付けます。教師あり学習にはラベルが欠かせず、その質がモデルの限界になります。まちがったラベルやばらばらなラベルは、まちがった答えを教えてしまいます。ラベル付けは、人が手作業で行う時間のかかる仕事であることが多いです。
もっと学ぶ
教師あり学習
原文の表記 · Supervised learning
正解の付いた例から学ぶ学習
教師あり学習では、モデルは正解(ラベル)と組になった例から学びます。「ネコ」や「イヌ」と書かれた写真、価格の付いた家の記録などです。正解に合うように自分を調整し、それから新しい例の答えを予測します。分類と回帰が代表的な二つの種類です。ラベル付きのデータがたくさん必要で、ふつうはそこがいちばん費用のかかる部分です。
もっと学ぶ
教師なし学習
原文の表記 · Unsupervised learning
正解のないデータから、その中の構造を自分で見つける学習
教師なし学習は、ラベルのないデータを使い、その中の構造を自分で見つけます。似たものどうしのまとまり(クラスタリング)、目立って変わったデータ、データをもっと簡単に表す方法などです。ラベル付けの費用が高すぎるときに役立ちます。見つけたまとまりには名前がないので、それが何を意味するかは人が決めます。
もっと学ぶ
強化学習
原文の表記 · Reinforcement learning
行動してみて報酬や罰をもらいながら学ぶ学習
強化学習では、エージェントが環境の中で行動してみて、その結果に応じて報酬や罰を受け取ります。何度も試すうちに、長い目で見て報酬がいちばん大きくなる行動を身につけます。AlphaGo は自分自身と対局してこの方法で強くなり、RLHF はこれを使ってチャットモデルの答え方を整えます。報酬の設計がまずいと、まちがった行動を学んでしまいます。
もっと学ぶ
報酬モデル
原文の表記 · Reward model
二つの答えのうち、人がどちらを好むかを点数にするモデル
報酬モデルは、人が二つの答えのうちよいほうを選んだ比較のデータで学習します。そうして、どんな答えにも点数を付けられるようになり、強化学習の中で人の判断の代わりをします。弱点があると問題になります。言語モデルが本当によくなる代わりに、長くて耳ざわりのよい答えのように、報酬モデルを喜ばせる方法だけを学んでしまうことがあります。
RLHF
人間のフィードバックによる強化学習: 人の好みでモデルを調整する方法
RLHF(Reinforcement Learning from Human Feedback)は、人の好みを使って言語モデルを整える方法です。ふつうは、① よいお手本の答えでモデルをファインチューニングし、② 人が二つの答えを比べて選んだデータで報酬モデルを作り、③ 報酬モデルが高く評価する答えを書くように強化学習をさせます。チャットのアシスタントが指示に従い、ていねいに答える大きな理由がこれです。
ファインチューニングと LoRA について詳しく見る
モデルカード
原文の表記 · Model card
モデルの用途と、うまくいかない場面をまとめた短い文書
モデルカードは、モデルといっしょに公開する文書です。モデルを何に使うのか、何に使ってはいけないのか、どんなデータで学習したか、どう評価したか、わかっている限界と偏り、ライセンスを書きます。ほかの人がそのモデルが自分の仕事に合うかどうかを判断する助けになります。Hugging Face のモデルには、たいていモデルカードが付いています。
n-gram
直前の n−1 個の単語を数えて、次の単語を予測するモデル
n-gram モデルは、文章の中で直前の n−1 個の単語のあとにどの単語が何回来たかを数え、その回数を確率に変えます。バイグラム(n = 2)は直前の単語一つを、トライグラムは二つを見ます。速くてわかりやすいのですが、それより前は使えず、一度も見たことのない単語の並びには確率を与えられません。これは、ニューラルネットワークの言語モデルが乗り越えた限界です。
もっと学ぶ
数値微分
原文の表記 · Numerical differentiation
入力をほんの少し動かして傾きを見積もる方法
数値微分は、入力にとても小さな値 h を足して、出力がどれだけ変わるかを見て傾きを見積もります: (f(x + h) − f(x)) ÷ h。簡単なので検算に便利ですが、あくまで近似値で、パラメーター一つごとに計算をもう一回ずつしなければなりません。重みが何百万個もあるモデルには遅すぎるので、ディープラーニングのフレームワークは代わりに自動微分を使います。
重みとパラメータについて詳しく見る
オンデバイス AI
原文の表記 · On-device AI
サーバーを使わず、スマートフォンやノートパソコンの中で動く AI
オンデバイス AI は、データをサーバーに送らず、自分のスマートフォンやノートパソコンなどの端末の中でモデルを動かします。データが外に出ず、インターネットがなくても使え、ネットワークの待ち時間なしに答えます。その代わりメモリ・速さ・電池に限りがあるので、モデルは小さく、量子化されていることが多く、いちばん大きなクラウドのモデルにはかないません。
もっと学ぶ
パープレキシティ
原文の表記 · Perplexity
言語モデルが次のトークンにどれだけ迷っているかを表す値
パープレキシティは、言語モデルが文章をどれだけうまく予測できるかを測る値で、低いほどよい値です。パープレキシティが 10 なら、モデルは平均して、一歩ごとに 10 個のトークンから均等に一つを選ぶのと同じくらい迷っているという意味です。損失から直接求められます(平均の損失を e の指数にした値)。低いのは予測がうまいということで、文章が正しいとか役に立つという意味ではありません。
位置エンコーディング
原文の表記 · Positional encoding
トークンごとに何番目かを表す数を足して、モデルに位置を伝える方法
アテンションだけでは、入力をトークンの袋のように扱うだけで、順番がわかりません。位置エンコーディングは、1 番目・2 番目・3 番目…という位置を数に変え、トークンの埋め込みに足すことでこれを解決します。これがないと、トランスフォーマーには「犬が人をかむ」と「人が犬をかむ」が同じに見えてしまいます。
誤差
原文の表記 · Prediction error
予測が正解からどれだけ離れているか
予測の誤差は、予測した値から正解を引いた値です。学習ではふつう、誤差を 2 乗して平均した値(平均二乗誤差)を損失にします。そのため大きく外れたものほどずっと重く数えられ、プラスとマイナスの誤差が打ち消し合いません。モデルは、その平均が小さくなるように重みを調整します。
もっと学ぶ
重みとパラメータについて詳しく見る
枝刈り
原文の表記 · Pruning
学習したモデルから重要でない重みを切り取って小さくする方法
枝刈り(プルーニング)は、学習したモデルの出力にあまり影響しない重みやつながりを取り除き、モデルを小さく、ときには速くする方法です。名前は、木の要らない枝を切る園芸から来ています。切りすぎると正確さが落ちるので、そのあと短く学習し直すことが多いです。量子化や知識蒸留と並ぶ、モデルを小さくする方法の一つです。
重みとパラメータについて詳しく見る
再現性
原文の表記 · Reproducibility
実験をもう一度行って、同じ結果が得られること
ほかの人が同じデータ・コード・設定で実験をもう一度行い、同じ結果が得られるとき、その実験には再現性があります。そのためには、データのバージョン、コードのバージョン、ライブラリと Python のバージョン、乱数のシード、実行したコマンドをそのまま記録しておきます。それでも、GPU の計算は実行するたびにわずかに変わることがあります。
ルールベースのチャットボット
原文の表記 · Rule-based chatbot
決まったパターンに対して、人が書いておいた答えだけを返すチャットボット
ルールベースのチャットボットは、入力された文を、人が書いたルール(キーワードやパターン)と照らし合わせ、決まった答えを返します。動きが予測しやすく安く、if 文をいくつか書くだけでも作れます。ただし、新しい答えを作り出す LLM のチャットボットとちがい、ルールの外の言葉には対応できません。
もっと学ぶ
音声モデル
原文の表記 · Speech model
文字を話し声に、話し声を文字に変える AI モデル
音声モデルは話し声を扱う AI モデルで、文字を声に変えたり(音声合成)、声を文字に変えたり(音声認識)します。小さな音声モデルは自分の端末でも動きます。BaeumNova の読み上げの声も、一度ダウンロードすれば自分の端末で文字を音声に変えます。一方、チャットのメッセージは今までどおり言語モデルのサービスに送られます。
もっと学ぶ
転置行列
原文の表記 · Transpose
行と列を入れ替えた行列
転置行列は、行列の行と列を入れ替えたもので、1 行目が 1 列目になる、というぐあいです。m × n の行列は n × m になり、Aᵀ と書きます。行列の掛け算の前に形を合わせるためにいつも使われます。たとえばアテンションでは、クエリの行列に、転置したキーの行列を掛けます。
チューリングテスト
原文の表記 · Turing test
機械の会話が人間の会話と見分けられないかを調べるテスト
1950年、アラン・チューリングは「模倣ゲーム」を提案しました。審査員が、隠れた人間一人と隠れた機械一つと文字で会話し、どちらが機械かを確実に見分けられなければ、機械の合格とするものです。これがチューリングテストと呼ばれるようになりました。合格は、機械が人間の会話をまねできることを示すだけで、理解している、感じている、意識があるという意味ではありません。
もっと学ぶ
学習不足
原文の表記 · Underfitting
学習したデータでさえうまく当てられない状態
学習不足は、モデルが単純すぎたり学習が足りなかったりしてパターンをとらえられず、自分の学習データでも多くまちがえる状態です。学習データにぴったり合わせすぎる過学習の反対です。より大きなモデル、よりよい特徴量、より長い学習で直します。
もっと学ぶ
XAI
説明可能な AI: モデルがなぜその答えを出したかを示す方法
XAI(Explainable AI、説明可能な AI)は、モデルがなぜその答えを出したのか、たとえばどの単語やピクセルがいちばん効いたのかを、人が見られるようにする方法の分野です。融資・採用・医療のように決定が人に影響する場面で特に大切で、まちがいや不公平な理由を見つけて説明できるようにします。説明そのものも近似なので、確かめが必要です。
もっと学ぶ
Amazon Bedrock
いくつもの会社の AI モデルを一つの API で使える AWS のサービス
Amazon Bedrock は AWS のクラウドサービスで、企業が Anthropic の Claude をはじめ、いくつもの会社の AI モデルを、AWS の料金とセキュリティの設定のまま呼び出せるようにします。Claude Code も、Anthropic のアカウントの代わりに Bedrock を通して Claude を使うように設定できますが、その場合は claude.ai へのログインが必要な一部の機能が使えません。
承認ポリシー
原文の表記 · Approval policy
エージェントがいつ自分に許可を求めるかを決める Codex の設定
Codex では、サンドボックスがエージェントが技術的にできること(ファイルの書き込み、ネットワーク)を決め、承認ポリシーがいつ止まってあなたに聞くかを決めます。on-request はサンドボックスの外が必要なときに聞き、never は一度も聞かないので、スクリプトや隔離されたコンテナに向いています。二つをいっしょに決めます。-a オプションか、config.toml の approval_policy で選びます。
もっと学ぶ
workspace-write
プロジェクトフォルダーの中だけで編集やコマンド実行をする Codex のサンドボックスモード
workspace-write は Codex のサンドボックスモードです。エージェントは作業フォルダーの中でだけファイルを変更し、コマンドを実行できます。ネットワークは初期設定で切られ、.git や .codex などのフォルダーは読み取り専用のままです。Git のリポジトリでは、on-request の承認ポリシーと組み合わせるのがふつうです。ほかのモードは read-only(見るだけで何も変えない)と danger-full-access です。
もっと学ぶ
danger-full-access
サンドボックスをなくし、エージェントが何でもできる Codex のモード
danger-full-access は Codex のサンドボックスを切ります。エージェントは、あなたのユーザーのすべての権限で、どんなファイルでも読み書きでき、ネットワークも使えます。コマンド一つまちがえただけでデータが消えたり漏れたりするおそれがあるので、捨ててもかまわない隔離されたコンテナや仮想マシンの中でだけ使います。
もっと学ぶ
config.toml
Codex の設定ファイル ~/.codex/config.toml
config.toml は、Codex が初期設定を置くファイルで、ホームフォルダーの ~/.codex/config.toml にあります。毎回入力するオプション(モデル、推論の深さ、承認ポリシー、サンドボックスモード、MCP サーバー)をここに一度書いておけば、それが初期値になります。TOML 形式なので、「キー = 値」の行と [セクション] の見出しで書きます。
もっと学ぶ
プロファイル
原文の表記 · Profile
-p で選んで使う、名前を付けた Codex の設定のまとまり
Codex のプロファイルは、ある種類の作業に合わせた設定のまとまりに名前を付けたものです。たとえば、サンドボックスを厳しくした読み取り専用の「review」プロファイルです。初期設定は config.toml に置き、codex -p <名前> でその実行だけプロファイルの設定に切り替えます。同じオプションを何度も入力する手間が省けます。
もっと学ぶ
codex cloud
Codex の作業を OpenAI のクラウドで動かし、結果を手元に取り込む機能
codex cloud は、作業を自分のコンピューターではなく、OpenAI のクラウド環境で動く Codex に任せます。自分のマシンが空いているので、いくつもの作業を同時に任せ、終わった結果から欲しいものだけを選べます。codex apply はクラウドの作業の変更を手元のリポジトリに取り込み、ほかの diff と同じようにレビューします。
もっと学ぶ
streamable HTTP
原文の表記 · Streamable HTTP
リモートの MCP サーバーが HTTP でやりとりする方式
MCP サーバーのつなぎ方は大きく二つです。ローカルのサーバーは自分のコンピューターで動き、標準入出力(stdio)でやりとりします。リモートのサーバーは別の場所で動き、HTTP でやりとりします。今の標準の方式は streamable HTTP と呼ばれ、サーバーは答えを一度に送ることも、少しずつ流して送ることもできます。URL を指定して追加します。
もっと学ぶ
クロスレビュー
原文の表記 · Cross-review
あるエージェントが終えた仕事を、別の AI や人に確かめてもらうこと
クロスレビューとは、一つのエージェントが作業し、別のもの(codex review のような別の AI、サブエージェント、人)がそれを確かめることです。見落としやすい所がちがう二人目の確認役が、最初のエージェントがくり返すまちがいや「全部終わりました」という主張を見つけます。エージェントで仕事をするときの習慣で、交差検証のような統計の方法ではありません。
もっと学ぶ
学習済みの重み
原文の表記 · Pretrained weights
ほかの人がすでに学習させたモデルの数値
学習済みの重みとは、だれかがすでに学習させたモデルの数値を、ダウンロードできるファイルとして公開したものです。ここから始めれば、ゼロから学習させる大きな費用を省け、ファインチューニングで自分の仕事に合わせられます。BaeumNova の XSLM コースはわざとこれを使いません。コードを自分で書き、すべての数値を自分で学習させて、その数値がどこから来るのかを見られるようにしています。
もっと学ぶ
重みとパラメータについて詳しく見る
ファインチューニングと LoRA について詳しく見る
段階的な開示
原文の表記 · Progressive disclosure
最初は少しだけ読み、必要になったら続きを読むやり方
エージェントは、スキルを段階的な開示というやり方で3段階に分けて読みます。① 最初はスキルごとの名前と説明だけ、② 仕事が合ったら SKILL.md 全体、③ 必要なときだけフォルダーの中のスクリプトや参考ファイル。だから、スキルをたくさんインストールしてもコンテキストウィンドウがいっぱいになりません。
もっと学ぶ
リサーチプレビュー
原文の表記 · Research preview
完成前に試してもらうため先に公開した、機能の早い段階
リサーチプレビューとは、新しい機能を作り終える前に、みんなが試して意見を送れるよう先に公開した段階です。あとで変わったり、制限があったり、なくなったりすることがあるので、まだ大事な仕事には頼りません。Anthropic は Claude Code のチャンネルなどの機能にこの表示を付けています。
Cursor
VS Code をもとに作られた AI コードエディター
Cursor は AI が組み込まれたコードエディターです。Anysphere という会社が VS Code をもとに作ったので、見た目や拡張機能になじみがあります。入力しているあいだにコードを提案し、プロジェクトについての質問に答え、複数のファイルを一度に直すエージェントモードもあります。エージェントスキルや AGENTS.md も読みます。(文字の入力位置を示すカーソルとは別の言葉です。)
もっと学ぶ
Goose
Block が最初に公開したオープンソースの AI エージェント
Goose は、決済の会社 Block が最初に公開したオープンソースの AI エージェントで、自分のコンピューターでデスクトップアプリやターミナルとして動きます。いろいろな会社のモデルを選んで使え、MCP でツールにつながります。エージェントスキルも読みます。
もっと学ぶ
Kiro
仕様を先に書いてから作る、AWS の AI コーディングエディター
Kiro は AWS(Amazon Web Services)が作った AI コーディングエディターです。チャットやコードを直すエージェントのほかに、エージェントが作り始める前に、要件・設計・やることリストをまとめた仕様(spec)を先に書くよう促します。エージェントスキルも読みます。
もっと学ぶ
Junie
JetBrains の AI コーディングエージェント
Junie は、IntelliJ IDEA・PyCharm・PhpStorm などのコードエディターを作っている JetBrains の AI コーディングエージェントです。そのエディターの中で作業を計画し、ファイルを直し、テストを実行します。エージェントスキルも読みます。
もっと学ぶ
Kimi
Moonshot AI の AI モデルの名前(ターミナルのコーディングツールもある)
Kimi は、中国の会社 Moonshot AI が作った AI モデルとチャットアプリの名前です。一部の Kimi モデルは重みまで公開されています。Moonshot AI はコマンドラインのコーディングエージェントも出しているので、ターミナルで動かせる AI ツールの一覧に Kimi も並びます。
もっと学ぶ
重みとパラメータについて詳しく見る
Amp
Sourcegraph から始まった AI コーディングエージェント
Amp は、コード検索の会社 Sourcegraph から始まった AI コーディングエージェントです。ターミナルやコードエディターで動き、Claude Code や Codex のようにプロジェクトを読み、ファイルを直し、コマンドを実行します。エージェントスキルも読みます。
もっと学ぶ
OpenHands
ソフトウェア開発のためのオープンソース AI エージェント
OpenHands(以前の名前は OpenDevin)は、ソフトウェア開発をする AI エージェントのためのオープンソースのプラットフォームです。エージェントはサンドボックスの中でコードを書き、コマンドを実行し、ウェブを見て回ります。自分のコンピューターやサーバーに入れて使えます。エージェントスキルも読みます。
もっと学ぶ
Roo Code
VS Code に入れるオープンソースの AI コーディングエージェント拡張機能
Roo Code は、VS Code に AI コーディングエージェントを加えるオープンソースの拡張機能です。あなたが承認すると、ファイルを読んで直し、ターミナルのコマンドを実行します。どの会社のモデルを使うかは自分で選びます。エージェントスキルも読みます。
もっと学ぶ
Laravel Boost
AI エージェントが Laravel プロジェクトをうまく扱えるようにするパッケージ
Laravel Boost は、Laravel チームが AI コーディングエージェントのために作った公式パッケージです。Laravel プロジェクトに入れると、エージェントはアプリを調べるツール(ルート・データベースの構造・ログ)を持つ MCP サーバー、Laravel 向けのガイドライン、プロジェクトが使うパッケージのバージョンに合ったドキュメント検索を使えるようになります。エージェントスキルとも一緒に使えます。
もっと学ぶ
自動微分
原文の表記 · Automatic differentiation
ライブラリが代わりに勾配を求めてくれること
ニューラルネットワークを学習させるには、すべての重みについての損失の勾配が必要です。自動微分は、計算を実行しながら一つひとつを記録し、その記録を連鎖律で逆にたどって、すべての勾配を正確に計算します。PyTorch はこの機能を autograd と呼ぶので、自分は順方向の計算を書くだけで済みます。
もっと学ぶ
重みとパラメータについて詳しく見る
ニューラルネットワークのバイアス
原文の表記 · Bias term
ニューロンの合計に足す数。重みと同じように学習される
ニューロンは、入力それぞれに重みを掛けて合計し、さらにもう一つの数、バイアスを足します。バイアスがあると、入力がすべて 0 でもニューロンは 0 でない答えを出せ、どれくらい反応しやすいかもずらせます。バイアスもパラメータなので、学習で重みといっしょに調整されます。
もっと学ぶ
重みとパラメータについて詳しく見る
モデルの正解率
原文の表記 · Accuracy (model)
全部の例のうち、モデルが正しく答えた割合
正解率は、正しい予測の数を、例全体の数で割ったものです。読みやすいですが、ある答えがほかよりずっと多いときには誤解をまねきます。100 通のメールのうち 99 通がふつうのメールなら、いつも「ふつう」と答えるモデルでも 99% になります。だから適合率と再現率もいっしょに確かめます。
Agent Skills
スキルを SKILL.md のフォルダーとしてまとめるためのオープンな標準
Agent Skills は、agentskills.io で管理されているオープンな形式で、スキルの組み立て方を決めています。名前と説明を書いたフロントマターのある SKILL.md ファイルを持つフォルダーに、必要ならスクリプトや参考ファイルを足したものです。共通の形式なので、同じスキルのフォルダーを Claude Code、Codex、そのほかのコーディングエージェントで使えます。標準が決めているのは形式だけで、スキルが安全かどうかは確かめません。
もっと学ぶ
マーケットプレイス
原文の表記 · Marketplace
Claude Code のプラグインを選んでインストールする一覧
プラグインのマーケットプレイスは、スキル・サブエージェント・フック・MCP サーバーをまとめたプラグインの一覧が入ったリポジトリです。マーケットプレイスを一度追加すれば、その中のプラグインをコマンド一つでインストールでき、チームで同じツールを共有して更新できます。プラグインは自分のパソコンでコードを実行できるので、信頼できるマーケットプレイスだけを追加します。
もっと学ぶ
Stop フック
原文の表記 · Stop hook
エージェントが止まろうとするときに動くスクリプト
Stop フックは、エージェントが自分の番を終えて止まろうとするたびに Claude Code が実行するフックです。スクリプトは作業を確かめ、止まるのを防いでエージェントにもう一度作業させることができます。Ralph Loop はこの仕組みで作られています。フックが停止をつかまえ、完了のフレーズが出るか上限に届くまで、同じプロンプトを入れ直します。
もっと学ぶ
Claude Desktop
パソコンにインストールする Anthropic の Claude アプリ
Claude Desktop は macOS・Windows 用の Claude アプリです。会話のほかに、自分のパソコンの MCP サーバーにつないで、許可したツールやファイルを Claude に使わせることができ、ターミナルを開かずに Claude Code や Cowork の作業を任せることもできます。MCP の言葉でいえばホストです。
もっと学ぶ
Claude Agent SDK
Claude Code のハーネスで自分のエージェントを作るためのライブラリ
Claude Agent SDK は、Claude Code を動かしているハーネス(エージェントのループ・ツール・権限・コンテキストの管理)を、Python と TypeScript のライブラリとして提供するものです。これを使うと、そのループを自分で書かなくても、ファイルを読み、コマンドを実行し、ツールを呼ぶ自分だけのエージェントを作れます。以前の名前は Claude Code SDK でした。
適応型の推論
原文の表記 · Adaptive thinking
一歩ごとに、先に考えるかどうか、どれだけ考えるかをモデルが決める方式
適応型の推論では、モデル自身が一歩ごとに、答える前に考えるかどうか、どれだけ長く考えるかを決めます。簡単な一歩は速く、難しい一歩は長く考えます。思考トークンの数を決めて渡す代わりに、エフォートで全体の量を調整します。高くするとよく考えて深く確かめ、低くすると速く安くなります。一部のモデルだけが対応しています。
思考トークン
原文の表記 · Thinking tokens
モデルが答えを書く前に考えるために使うトークン
思考トークンは、推論モデルが答えを出す前に問題を考え進めながら書くトークンです。ほかのトークンと同じように料金がかかり、コンテキストも使います。思考の予算は、使える思考トークンの上限です。Claude Code ではエフォートで考える量を上げ下げし、予算が決まっているモデルでは MAX_THINKING_TOKENS の設定で上限を決めます。
bypassPermissions
すべての確認を切る Claude Code の権限モード
bypassPermissions は、Claude Code がまったく確認せずにファイルを編集し、コマンドを実行する権限モードで、--dangerously-skip-permissions オプションで始めるとこのモードになります。まちがったコマンドや害のあるコマンドを止めるものが何もないので、インターネットにつながらず、失っても困らないものしかないコンテナや仮想マシンの中でだけ使います。
もっと学ぶ
メモリファイル
原文の表記 · Memory file
Claude Code がセッションのはじめに毎回読み込む指示ファイル
Claude Code でいう「メモリ」とは、セッションを始めるたびに読み込む指示ファイルのことです。CLAUDE.md(または AGENTS.md)と、自動メモリのメモがこれに当たります。何か頼む前からコンテキストに入るので、最初のメッセージからコンテキストウィンドウの一部を使います。だから短く保ちます。このメモリはディスク上のテキストファイルで、コンピューターの RAM ではありません。
もっと学ぶ
ultrathink
頼みごとに入れると、そのターンだけ深く考えさせる言葉
頼みごとに ultrathink を入れると、Claude Code はその1ターンだけより深く考えます。セッションの残りで使うモデルや effort のレベルは変わりません。やっかいなバグや設計の判断など、難しい一歩に向いています。深く考えるほど時間がかかり、トークンも多く使います。
もっと学ぶ
Claude in Chrome
Claude が自分の Chrome でページを開き、クリックして確かめられる拡張機能
Claude in Chrome はブラウザーの拡張機能です。Claude Code とつなぐと、Claude があなたの Chrome でページを開き、クリックし、入力し、コンソールのエラーを読めるので、コードを直したあとに画面で結果を自分で確かめられます。Chrome や Edge などの Chromium 系ブラウザーで、同じ claude.ai アカウントでログインして使います。
もっと学ぶ
ツールを使う直前に動き、その動作を止められるフック
PreToolUse は、エージェントがツールを使うすぐ前(ファイルを直す前、シェルのコマンドを実行する前)に動くフックのイベントです。フックのコマンドはこれから起きることを見て、止めることができます。終了コード 2 で終わるとその動作は止まり、stderr に書いた理由がエージェントに伝わります。危ないコマンドや秘密のファイルの編集を止めるのに使います。Claude Code にも Codex にもあります。
もっと学ぶ
PostToolUse
ツールを使った直後に動くフック
PostToolUse は、エージェントがツールを使ったすぐあと(たとえばファイルを直したあと)に動くフックのイベントです。すでに行った動作を取り消すことはできませんが、後始末はできます。エージェントが変えたファイルごとに Prettier のようなフォーマッターをかけるのが、よくある使い方です。Claude Code にも Codex にもあります。
もっと学ぶ
matcher
フックをどのツールに適用するかを決める部分
フックの matcher は、そのフックがどのツールのときに動くかを選びます。ツールの名前かパターンで書き、シェルのコマンドなら Bash、ファイルの変更なら Edit|Write のようにします。matcher がないと、すべてのツールでフックが動くので遅くなり、止めるつもりのないものまで止めてしまうことがあります。
もっと学ぶ
/clear
Claude Code で新しい会話を始めること
/clear と打つと会話が空になり、次のお願いはまっさらなコンテキストウィンドウから始まります。関係のない仕事に移るときに使いましょう。古いメッセージがウィンドウを埋めたり、仕事をまちがった方向へ引っぱったりしなくなります。前のセッションは保存されていて、/resume でまた開けます。
もっと学ぶ
Esc
Claude Code の作業を途中で止めるキー
Claude Code が作業中に Esc を押すと、今の手順がすぐに止まります。会話は残るので、何がちがったかを伝えて続けられます。Esc を二回押す(または /rewind と打つ)とチェックポイントの一覧が開き、会話とコードの前の地点に戻れます。まちがった計画を最後まで走らせるより、早めに止めるほうが安くすみます。
もっと学ぶ
claude mcp add
ターミナルから Claude Code に MCP サーバーを登録すること
claude mcp add は Claude Code に新しい MCP サーバーを渡し、そのサーバーが持つツールも使えるようにします。リモートのサーバーは --transport http とアドレスで追加し、自分のコンピューターで動くサーバーは -- とそれを起動するコマンドで追加します。claude mcp list で登録したサーバーを見て、claude mcp remove で一つ消します。
もっと学ぶ
--scope (MCP)
追加した MCP サーバーをどこに保存し、誰が使えるかを決めるオプション
claude mcp add は、サーバーを三つのスコープのどれかに保存します。標準の local は、このプロジェクトでだけ自分用に残します(~/.claude.json の中)。project はプロジェクトのいちばん上の .mcp.json に書くので、チームは git で受け取り、最初に使うときに承認します。user は、自分のすべてのプロジェクトで使えるようにします。このスコープは、シェルのコースの変数のスコープとは別のものです。
もっと学ぶ
Shift+Tab
Claude Code の権限モードを切り替えるショートカット
Claude Code のターミナルでは、Shift+Tab で権限モードを順に切り替えます。default は編集やコマンドのたびにたずね、acceptEdits はたずねずにファイルを編集し、plan は読むだけで、何かを変える前に計画を見せます。大きな変更の前にプランモードに切り替えると、先に計画を読んで直せます。default 以外のモードがオンのときは、入力欄の下にその名前が出ます。 v2.1.283 以降、ターミナルのセッションは auto モードで始まるので、最初の一押しで default になり、順番は auto → default → acceptEdits → plan です。
もっと学ぶ
Anthropic
Claude を作っている AI 企業
Anthropic(アンソロピック)は2021年に設立された AI 研究企業です。Claude という言語モデルや Claude Code などのツールを作り、AI を安全にするための研究を発表しています。
OpenAI
ChatGPT と Codex を作っている AI 企業
OpenAI は2015年に設立された AI 研究企業です。GPT シリーズのモデル、対話サービスの ChatGPT、コーディングエージェントの Codex を作っています。
GPT について詳しく見る
フックイベント
原文の表記 · Hook event
SessionStart のように、フックが動くタイミングの名前
フックイベントは、フック(自分のスクリプト)が動くタイミングの名前です。セッション開始時、プロンプト送信時、ツール実行の前後、Claude が止まったときなどがあります。設定ファイルにイベントと、そのとき実行するコマンドを書きます。
もっと学ぶ
スキル設定項目
原文の表記 · Skill setting field
allowed-tools のように SKILL.md の先頭に書く Claude Code の設定
SKILL.md のフロントマターには name・description のほかに、Claude Code が読む項目があります。確認なしで使えるツール、自分だけが起動するか、/ メニューに表示するかです。Agent Skills を読むほかのエージェントはこれらを無視することがあります。
もっと学ぶ
XChat
XSLM コースで自分で作るチャットボット
XChat は XSLM コースで自分で作る小さな対話プログラムです。質問を Runner に送ると、自分で学習させた GPT が答えを作り、XChat がそれを表示します。学習済みモデルや外部の AI API は使いません。
もっと学ぶ
GPT について詳しく見る
claude -p の結果をどの形式で出力するか選ぶ
Claude Code を会話画面なしで実行するとき(`claude -p`)、何を出力するかを決めるオプションです。既定の `text` は答えの文章だけ、`json` は答え(`result`)・セッション ID・推定コストを含む JSON を1つ、`stream-json` は実行中の出来事ごとに JSON を1行ずつ出力します。ほかのプログラムが値を読み取るスクリプトでは、ふつう `json` を選びます。
もっと学ぶ
AGENTS.override.md
同じフォルダの AGENTS.md の代わりに読まれる Codex の指示ファイル
Codex はフォルダごとに `AGENTS.override.md` を `AGENTS.md` より先に探し、1つのフォルダから1ファイルしか読まないため、このファイルがあると隣の `AGENTS.md` は読まれません。共有の指示ファイルを編集・削除せずに、しばらく別の指示を試したいときに使い、消せば元の指示に戻ります。Claude Code はこのファイルを読みません。
もっと学ぶ
skill-creator
新しいエージェントスキルを一緒に作るスキル
skill-creator は、新しいスキル(`SKILL.md` の入ったフォルダ)を作る手順を案内するスキルです。スキルが何をするか、いつ使われるべきかを尋ね、その答えからファイルを書きます。Codex には最初から入っていて `$skill-creator` で呼び出せます。Anthropic の公開 skills リポジトリにもあり、そちらは例の質問でスキルを試すところまで手伝います。
もっと学ぶ
承認ポリシー(approval policy)
Codex がコマンド実行前に人に確認するかを決めるルール
承認ポリシーは、Codex がコマンドを実行する前に止まって人に確認するかどうかを決めます。`--ask-for-approval`(`-a`)で指定し、`on-request` はサンドボックスが許すことは確認せずに実行し、それ以外は確認します。`never` は確認しませんが、サンドボックスの中でしか動きません。Codex がバージョン管理下のフォルダに勧める Auto モードは `workspace-write` と `on-request` の組み合わせで、古い値 `untrusted` はもう使えません。
もっと学ぶ
evals.json
スキルを試す質問と期待する結果を書いたファイル
evals.json は、スキルを試すための問題の一覧です。問題ごとに、ユーザーが入力しそうな依頼と良い結果がどんなものかを書き、同じ依頼をスキルありとスキルなしで実行して比べると、スキルが本当に役立っているかがわかります。決まった形式はなく、Anthropic の skill-creator は `evals/evals.json` に下のフィールドで置きます。
もっと学ぶ
NVIDIA
AI に使われるグラフィックチップ(GPU)で知られる米国企業
NVIDIA(エヌビディア)はグラフィックカード(GPU)を設計・販売するアメリカの企業です。GPU はもともとゲームの画面を速く描くために作られましたが、AI モデルの学習や実行に必要な膨大な計算も得意なため、ほとんどの AI データセンターで使われています。NVIDIA は、自社の GPU で動くプログラムを作るための道具一式である CUDA も作っています。
もっと学ぶ
Google DeepMind
AlphaGo と Gemini を作った Google の AI 研究組織
Google DeepMind(グーグル・ディープマインド)は Google の中の AI 研究組織です。2016年にイ・セドル九段に勝った囲碁 AI の AlphaGo を作り、Google の Gemini モデルを開発しています。単独で使うアプリではなく研究組織なので、その成果は Gemini などの Google 製品の中で目にします。
もっと学ぶ
NIST
AI のリスク管理の指針を出す米国の標準機関
NIST(米国国立標準技術研究所)は、測定の単位や技術の標準を定めるアメリカの政府機関です。AI の分野では、AI システムのリスクを見つけて減らす方法をまとめた AI リスクマネジメントフレームワーク(AI RMF)と、それをチャットボットのような生成 AI に当てはめた生成 AI プロファイルを出しています。法律ではなく、自主的に従う指針です。
もっと学ぶ
Gartner
IT 動向レポートで知られる米国の調査・助言会社
Gartner(ガートナー)は企業を調査し、情報技術に関するレポートや予測(例: ハイプ・サイクルの図)を出す米国の調査会社です。ニュースは企業の経営者を対象にした Gartner の調査をよく引用します。その数字は調査した企業についてのもので、すべての企業についてではありません。
もっと学ぶ
アンドレイ・カルパシー
原文の表記 · Andrej Karpathy
nanoGPT と言語モデルづくりの無料講座で知られる AI 研究者
アンドレイ・カルパシー(Andrej Karpathy)は OpenAI の創設メンバーで、Tesla のオートパイロットの AI を率いた AI 研究者です。nanoGPT・makemore・nanochat のような小さく読みやすいプロジェクトや、ニューラルネットワークを一から作る無料の動画講義を公開しています。2025 年には「バイブコーディング」という言葉を生み出しました。
もっと学ぶ
GPT について詳しく見る