一言で
トークンは、言葉を扱う AI のモデルが、文章を読み書きするときの最小の単位です。AI の料金や、一度に読める量、返事の速さは、このトークンの数で表されます。
このページで分かること
- トークンが何で、文章がどう区切られるか
- 1トークンがおよそ何文字か（各社の公式の目安）
- ニュースの「100万トークンあたり◯ドル」「1秒あたり◯トークン」の読み方
先に知っておく言葉
- モデル：入力から予測などを出す仕組み。ここでは、文章を読み書きする AI の本体
- 大規模言語モデル：大量の文章で学習した、文章を読み書きするモデル（→ 別ページ）
文章はトークンに区切られる
AI のモデルは、文章を文字のまま扱うのではなく、トークンという単位に区切ってから処理します。区切り方は、出典によって次のように説明されています。
- Anthropic（Claude の会社）の用語集：トークンはモデルが扱う最小の単位で、単語・単語の一部・1文字・バイト（データの最小の単位）のどれにも当たりうる。人が文章でやり取りしているときはふだん見えないが、モデルへの入力と出力を正確に見るときに大事になる
- OpenAI（ChatGPT の会社）の説明：トークンは、よく出てくる文字の並び。例として、英語の「tokenization」は「token」と「ization」の2つに分かれ、「the」のような短くてよく使う言葉は1つのトークンになる
- Google の機械学習の用語集：言語モデルが学習し、予測する最小の単位。単語・1文字・単語の一部（語の根・頭・末尾）のどれかであることが多い
1トークンはおよそ何文字か
公式の目安は英語の文章についてのもので、会社によって違います。
- Anthropic：Claude では、1トークンはおよそ英語の3.5文字。言葉によって変わる
- OpenAI：おおまかな目安として、英語では1トークンがおよそ4文字、または0.75単語
日本語でのトークンの数え方は、上の出典には書かれていません。同じ文章でも、モデルや言葉によってトークンの数が変わります。
ニュースでの出方
AIログのニュースでは、トークンは次の3つの場面でよく出てきます。
- 料金：API（プログラムから使う窓口）の値段は「100万トークンあたり入力◯ドル・出力◯ドル」の形で書かれます。たとえば Claude Sonnet 5.5 は入力2ドル・出力10ドルでした
- Anthropic の新しい中位モデル「Sonnet 5.5」。値段は据え置きで、速く・少ない手数に
- 速さ：返事の速さは「1秒あたり◯トークン」で書かれることがあります。たとえば OpenAI は、Ultrafast を Codex で最大8倍（1秒あたり300トークン）の速さと説明していました
- ChatGPT に月500ドルの「Pro 500」。速さを上げる「Ultrafast」は、使える量を8倍の速さで減らす
- 一度に読める量：モデルが一度に見られる量（コンテキストウィンドウ）も、トークンの数で表されます（→ 別ページ「コンテキストウィンドウ」）。OpenAI の説明では、指示と返事を合わせたトークンの数が、モデルの上限を超えてはいけません
関連する言葉
- 大規模言語モデル・コンテキストウィンドウ・推論・API と料金（→ この欄の別ページ）
出典
- Anthropic「Glossary」の Tokens の項 platform.claude.com ↗
- OpenAI「Key concepts」の Tokens の項 developers.openai.com ↗
- Google for Developers「Machine Learning Glossary」の token の項 developers.google.com ↗
確認メモ：2026年10月1日に、上の3つの公式のページを開いて、トークンの説明と文字数の目安を突き合わせました。1トークンあたりの文字数は、3社の公式の目安のうち、数字が書かれていた Anthropic と OpenAI の2つを載せています（どちらも英語の文章についての目安です）。日本語の文章での目安は、確かめた出典に書かれていなかったため載せていません。「ニュースでの出方」の数字は、AIログの各記事が公式で確かめたものを、そのまま挙げています。「バイト」「API」の言い換えは、ふつうの意味を一言で添えたものです。