AIの基本／大規模言語モデルの仕組み

大規模言語モデル（LLM）とは：文章の続きを予測する、とても大きな言語モデル

出典を確かめた日 2026年10月1日（木）／約7分で読めます

一言で

大規模言語モデル（LLM、Large Language Model）は、大量の文章で学習し、文章の続きにくるトークンを予測することで、文章を作ったり質問に答えたりするモデルです。「大規模」が何を指すかは、出典によって説明の仕方が少し違います。

このページで分かること

大規模言語モデルが何を指すか（出典ごとの説明の違い）
文章をどうやって作っているのか（AI の教材の説明）
できることと、教材や国の文書が挙げている難しさ・変化

先に知っておく言葉

言語モデル：長い並びの中に、あるトークンやトークンの並びが出てくる確率を見積もるモデル（Google の用語集の説明）
トークン：AI が文章を区切って扱う単位（→ 別ページ「トークン」）
パラメータ：モデルが学習で決める数値（→ 別ページ「パラメータとモデルの大きさ」）
Transformer：大規模言語モデルを作るときに、いま最も広く使われている作り（→ 別ページ「Transformer と注意（アテンション）」）
基盤モデル：幅広いデータで大きく学習し、いろいろな仕事に合わせて使えるモデル（→ 別ページ「基盤モデルとは」）
ファインチューニング・RLHF：学習を終えたモデルを、追加の学習や人の評価で調整すること（→ 別ページ「ファインチューニング」「人の評価で調整する（RLHF・Constitutional AI）」）

出典ごとの説明

Google の機械学習の用語集：最低限の条件としては、パラメータの数がとても多い言語モデルのこと。もう少しくだけた使い方では、Transformer をもとにした言語モデル全般を指し、例として Gemini や GPT を挙げている
Google の機械学習の教材（Machine Learning Crash Course）：トークン1つから、段落いくつ分にもなる長いトークンの並びまでを予測するもの、と説明している。それより前の方式（決まった数の単語の並び（N-gram）をもとにした言語モデルや、言葉を1つずつ順に読む再帰型のニューラルネットワーク）より予測がずっと良い理由として、パラメータがはるかに多いことと、前後の文脈をはるかに多く取り込めることの2つを挙げる。Transformer のパラメータは数千億、ときには数兆に達し、パラメータの多い Transformer のほうが、少ないものより一貫して成績が良いことが研究で示されている、とも書いている
Anthropic（Claude の会社）の用語集：多くのパラメータを持つ AI の言語モデルで、膨大な文章のデータで学習し、人が書いたような文章を作る・質問に答える・情報をまとめるなど、さまざまな役に立つ仕事ができるもの、としている。Claude もこのモデルをもとに、ファインチューニングと RLHF で調整されている、と書いている
AI事業者ガイドライン（総務省・経済産業省、第1.2版）：脚注で、基盤モデルの代表として大規模言語モデルを挙げている

文章をどうやって作っているのか

Google の教材は、言語モデルの基本を「空いた所に何が入るか」の確率で説明しています。文の途中が空いているとき、モデルは入りうるトークン（またはその並び）ごとに確率を出し、アプリはその中から、いちばん確率の高いものを選んだり、一定以上の確率のものから無作為に選んだりします。

そのうえで教材は、大規模言語モデルを、何千ものトークンを先まで予測して埋められる自動補完（入力の続きを予想して出す機能）の仕組みだ、と説明しています（Google の教材のたとえ）。使う人の質問は「与えられた文」で、その後ろに隠れた返事が続くものとして扱われ、モデルはありうる返事ごとの確率を出す、という見方です。

学習のしかたの説明は、出典で違いがあります。

Google の教材：最初の段階は多くの場合、学習用の文章の一部のトークンをわざと隠し、それを当てる形で学ぶ、と説明している。指示に従う力を高めるための追加の学習もある、としている
Anthropic の用語集（Pretraining の項）：Claude のもとになるモデルは、文書の中のそれまでの文章から次の単語を予測するように事前学習されている。事前学習を終えただけのモデルは、もともと質問に答えたり指示に従ったりするのが得意ではなく、ファインチューニングや RLHF で使いやすくしている、と説明している

できることと、難しいこと

Google の教材は、できることとして、いろいろな読み手に向けて、はっきりして分かりやすい文章を作れることと、学習した仕事について予測できることを挙げています。学習していない入力についても予測できると主張する研究者もいるが、それを否定する研究者もいる、と両方を書いています。

難しいこととしては、同じ教材が次を挙げています。

学習には、膨大な学習データと、何か月もの時間、大量の計算資源と電力が要る
使うときにも、大量の計算資源と電力を使う
予測にはしばしば誤りが含まれる（→ 別ページ「ハルシネーション」）
ほかの機械学習のモデルと同じく、さまざまな偏りが出ることがある（→ 別ページ「バイアス（偏り）」）

国の文書が挙げている変化

総務省の情報通信白書（令和6年版）は、生成AI のブームの背景の1つとして、膨大なデータで学習し、いろいろな仕事に使える知識を身につけた基盤モデルや大規模言語モデルが登場したことを挙げています。これによって、新しい仕事のたびにモデルを学習し直さなくてよくなり、作るのも使うのも大幅に楽になった、としています。

AI事業者ガイドライン（第1.2版）は別の脚注で、大規模言語モデルなどの生成AI では、使う人の入力（プロンプト）によって、学習で決まったパラメータを変えないまま特定の仕事を覚えさせられる、と書いています。この学び方を「コンテキスト内学習」と呼んでいます。

出典

Google for Developers「Machine Learning Glossary」の large language model・language model の項 developers.google.com ↗
Google for Developers「Machine Learning Crash Course」の「Introduction to Large Language Models」 developers.google.com ↗
Google for Developers「Machine Learning Crash Course」の「LLMs: What's a large language model?」 developers.google.com ↗
Anthropic「Glossary」の LLM・Pretraining の項 platform.claude.com ↗
総務省「令和6年版情報通信白書」第Ⅰ部第3章第1節「AI進展の経緯と生成AIのインパクト」の「生成AIの急速な進化と普及」 soumu.go.jp ↗
総務省・経済産業省「AI事業者ガイドライン（第1.2版）」本編 2026年3月31日、第1部「AIとは」の脚注16、第2部 C「共通の指針」の脚注36 soumu.go.jp ↗

確認メモ：2026年10月1日に、上の出典を開いて確かめました。Google の用語集は large language model・language model・parameter の項を、Google の教材は大規模言語モデルの2つのページ（開いて読む補足の部分を含む）を読みました。Anthropic の用語集は LLM と Pretraining の項を読みました。情報通信白書は、生成AI のブームの背景を書いた段落を読みました。AI事業者ガイドラインは、第1.2版の本編の PDF から取り出した文字で、大規模言語モデルが出てくる脚注16（基盤モデル）と脚注36（コンテキスト内学習）を読みました。出典ごとの違いは、「大規模」の言い方（Google の用語集はパラメータの多さと Transformer、Anthropic はパラメータの多さとできる仕事）と、学習のしかたの説明（Google の教材は隠したトークンを当てる形、Anthropic は次の単語を予測する形）です。Google の教材にある計算量の式や、教材の練習問題は載せていません。米国の NIST の文書（NIST AI 600-1）が、大規模言語モデルは英語以外の言語では成績が下がることがある、と例に挙げていることは確かめましたが、偏りの説明の中の例の1つのため、このページには載せていません。「N-gram」「再帰型のニューラルネットワーク」「自動補完」の言い換えは、教材の説明にもとづいて一言で添えたものです。AIログの記事の無料部分には、この言葉はまだ出てきていないため、「ニュースでの出方」の節は置いていません。国の文書は公共データ利用規約にもとづき、内容を言い換えて使っています（出典：総務省「令和6年版情報通信白書」、総務省・経済産業省「AI事業者ガイドライン（第1.2版）」を加工して作成）。