AI Log

AIの基本 / 大規模言語モデルの仕組み

コンテキストウィンドウ:AI が一度に見られる量

出典を確かめた日 2026年10月1日(木) / 約5分で読めます

一言で

コンテキストウィンドウは、言葉を扱う AI のモデルが、返事を作るときに一度に参照できる文章の量のことです。量はトークンの数で表されます。

このページで分かること

先に知っておく言葉

出典ごとの説明

どの出典も「モデルが一度に扱える量」という点では同じですが、何を数えに入れるかの書き方が違います。

  1. Google の機械学習の用語集:1つのプロンプトの中で、モデルが処理できるトークンの数、としている。大きいほど、モデルはより多くの情報を使って、筋の通った、ぶれの少ない返事を返せる、と説明している
  2. Anthropic(Claude の会社)の用語集:言語モデルが新しい文章を作るときに、さかのぼって参照できる文章の量、としている。大きければ、より込み入った長いプロンプトを扱える。小さいと、長いプロンプトや、長く続く会話でつじつまを保つことが難しくなることがある、としている
  3. Anthropic のコンテキストウィンドウの説明:返事を作るときに参照できるすべての文章で、作っている返事そのものも含む、と書いている(用語集の項は、返事を含むかどうかに触れていない)
  4. OpenAI(ChatGPT の会社)の説明:「context length(コンテキストの長さ)」という言い方で、文章を作るモデルでは、プロンプトと作った出力を合わせた量が、モデルの上限を超えてはいけない、としている

学習したデータとは別のもの

Anthropic の用語集は、コンテキストウィンドウは、モデルが学習に使った大量のデータとは別物で、モデルにとっての「作業用の記憶(working memory)」にあたる、と説明しています(Anthropic のたとえ)。

GPT-3 の論文(2020年)は、この窓の中に例を入れるだけで、モデルの重み(学習で決まる数値)を変えずに新しい仕事をさせる方法を試しています。論文の GPT-3 のモデルはどれも、コンテキストウィンドウが2048トークンでした。そのため、仕事の見本を入れる数は、窓に収まる範囲で、たいてい10〜100個にした、と書いています。

何が数えられ、超えるとどうなるか

Anthropic のコンテキストウィンドウの説明(Claude の API について)では、次のように書かれています。

関連する言葉

出典

  1. Brown ほか「Language Models are Few-Shot Learners」arXiv:2005.14165、2020年 arxiv.org ↗
  2. Anthropic「Glossary」の Context window の項 platform.claude.com ↗
  3. Anthropic「Context windows」 platform.claude.com ↗
  4. OpenAI「Key concepts」の Tokens の項 developers.openai.com ↗
  5. Google for Developers「Machine Learning Glossary」の context window の項 developers.google.com ↗

確認メモ:2026年10月1日に、上の5つの出典の原文を開いて確かめました。Google の用語集・Anthropic の用語集・Anthropic の説明・OpenAI の説明で、窓に何を数えるか(入力だけか、返事も含むか)の書き方が違うため、出典の名前を付けて並べました。GPT-3 の論文は、2章の冒頭(few-shot の説明)・2.1節(モデルの作り)・2.4節(評価のやり方)で、2048トークンと「10〜100個」を確かめました。何が数えられるか、モデルごとの大きさ、上限を超えたとき、context rot、compaction は Anthropic の説明だけに書かれていたもので、Claude の API についての説明です。モデルごとの大きさは、確かめた日の時点の Anthropic の説明のとおりです。上限を超えたときの細かい扱い(出力の途中で上限に届いたときの止まり方など)は、モデルの世代で違い、細かくなるため載せていません。OpenAI の各モデルの上限の数字は、確かめたページに書かれていなかったため載せていません。「重み」「ベータ版」の言い換えは、ふつうの意味を一言で添えたものです。AIログのニュースの無料部分では、この言葉はまだ出てきていないため、「ニュースでの出方」の節は置いていません。