一言で
基盤モデル(foundation model)は、幅広いデータで大きく学習したあと、たくさんの別々の仕事に合わせて作り変えて使えるモデルのことです。2021年にスタンフォード大学の研究者たちが論文で名付けた言葉です。
このページで分かること
- 基盤モデルという言葉が、どこで、どういう意味で名付けられたか
- 論文・日本の国の文書・米国の機関の文書で、説明がどう違うか
- 1つのモデルを多くの用途が使い回すことの、良い面と気をつける面
先に知っておく言葉
- モデル:機械学習で作られる、入力から予測などを出す仕組みそのもの
- 事前学習:特定の仕事の前に、まず大量のデータで学習させておくこと(→ 別ページ「学習(事前学習)と推論」)
- ファインチューニング:学習ずみのモデルを、ある仕事向けに追加で学習させて合わせること(→ 別ページ「ファインチューニング」)
- 自己教師あり学習:人が正解の札を付けていないデータから、学習の問題そのものを自動で作って学ぶ方法
- パラメータ:モデルの中で、学習によって決まる数値(→ 別ページ「パラメータとモデルの大きさ」)
- 大規模言語モデル:大量の文章で学習した、文章を読み書きするモデル(→ 別ページ)
言葉の出どころ
この言葉は、スタンフォード大学の基盤モデル研究センター(CRFM)などの研究者たちが、2021年8月に arXiv(論文の公開サイト)に出した報告「On the Opportunities and Risks of Foundation Models」(Bommasani ほか)で名付けたものです。報告の定め方は、おおよそ次のとおりです。
- 幅広いデータで学習している(多くの場合、自己教師あり学習を大きな規模で行う)
- そのあと、ファインチューニングなどで、さまざまな「下流」の仕事(学習のあとに使う先の仕事)に合わせられる
- 書いた時点の例は BERT・GPT-3・CLIP
「言語モデル」「汎用モデル」などの呼び方では、言語に限らないことや、そのままでは未完成で合わせる手間が要ることを表しきれない、として新しい名前にしたと書いています。「foundation(土台)」には、そこから多くの用途向けのモデルが作られる共通の土台、という役割を込めています。建物の土台のように、作りが悪ければ大きな失敗のもとになり、よくできていれば確かな足場になる、という意味もある、としています(論文のたとえ)。ただし、いまの基盤モデルが信頼できる土台かどうかはまだ分かっていない、とも書いています。
出典ごとの説明
- 論文(2021年):上のとおり。仕組みそのものは、何十年も前からある深いニューラルネットワークと自己教師あり学習にもとづいており新しくない。新しいのは規模と使える範囲の広さだ、という立場
- AI事業者ガイドライン(総務省・経済産業省、第1.2版、2026年3月31日):脚注で、大規模言語モデルを代表とする基盤モデルを、いろいろなサービスを支える個々のモデルを生み出す、中心となる技術の土台と説明している。下流の幅広い仕事に合わせたモデルを作れることなどから、従来の AI とは性質が違う、としている
- 情報通信白書(総務省、令和6年版):生成AI のブームの背景の1つに、膨大なデータで学習していろいろな仕事に使える知識を得た基盤モデルや大規模言語モデルを挙げている。これらの登場で、新しい仕事のたびにモデルを学習し直す必要がなくなり、作るのも使うのもずっと楽になった、としている。図では、学習データと ChatGPT などのアプリの間に「基盤モデル(事前学習された大規模モデル)」を置いている
- NIST(米国の国立標準技術研究所)の生成AI の文書(NIST AI 600-1、2024年7月):生成AI がすべて基盤モデルから作られるわけではないとしつつ、文書の中では生成AI をおおむね「生成する基盤モデル」の意味で使う、としている。米国の大統領令 EO 14110 が定めた「デュアルユース基盤モデル」の条件(幅広いデータで学習・多くの場合は自己教師あり学習・パラメータが少なくとも数百億・幅広い場面で使える)も紹介している
「創発」と「均質化」
論文は、基盤モデルの大事さを2つの言葉でまとめています。
- 創発:作り込んだのではなく、規模を大きくした結果として、できることが現れること。例は GPT-3(パラメータ1,750億。GPT-2 は15億)で、仕事の説明を指示として渡すだけでその仕事をこなせる「文脈内学習」が、そのための学習も予想もされずに現れた、としている
- 均質化:機械学習の作り方が、多くの用途でまとまっていくこと。基盤モデルでは、多くの用途が少数の同じモデルから作られるようになる、としている。書かれた時点で、言葉を扱う分野の最先端のモデルのほとんどが BERT など少数の基盤モデルのどれかから作られていた、としている。土台が良くなれば多くの用途がすぐ良くなる一方、土台の欠点や偏りも、そこから作ったモデルすべてに引き継がれる
NIST の文書も同じ点に触れ、出力が似通いすぎるなどの問題が基盤モデルから下流のモデルやシステムへ流れ、基盤モデルが1か所の失敗で全体に響く「ボトルネック」になりうる、としています。
いつからの話か
区切りの置き方は出典によって違います。
- 論文:言葉を扱う分野で、2018年の終わりごろに「基盤モデルの時代」の始まりにあたる大きな変化が起きかけていた、としている。BERT の登場のあたりが境目で、2019年より後は BERT を使うのがふつうになった、としている。言葉そのものは2021年の報告で名付けられた
- AI事業者ガイドライン:2021年以降に基盤モデルが台頭し、1つの分野に限らず使える AI が作られるようになって、その結果として生成AI が広まった、としている
関連する言葉
- 生成AI・大規模言語モデル・パラメータとモデルの大きさ・学習(事前学習)と推論・ファインチューニング・マルチモーダル・フロンティアモデルと AGI(→ この欄の別ページ)
出典
- Bommasani ほか「On the Opportunities and Risks of Foundation Models」arXiv:2108.07258、2021年8月16日(第3版 2022年7月12日) arxiv.org ↗
- 総務省・経済産業省「AI事業者ガイドライン(第1.2版)」本編 2026年3月31日、第1部「AIとは」と脚注16 soumu.go.jp ↗
- 総務省「令和6年版 情報通信白書」第Ⅰ部第3章第1節「AI進展の経緯と生成AIのインパクト」 soumu.go.jp ↗
- NIST「NIST AI 600-1:Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile」2024年7月 nvlpubs.nist.gov ↗
確認メモ:2026年10月1日に、上の4つの出典の原文を開いて確かめました。論文は arXiv の第3版(2022年7月12日)の PDF の第1章(はじめに・創発と均質化・名前の付け方)を読み、初版の日付は arXiv のページで確かめました。AI事業者ガイドラインは第1部「AIとは」の本文と脚注16を、情報通信白書は第Ⅰ部第3章第1節の PDF(図表Ⅰ-3-1-3 と、生成AI のブームの背景を述べた段落)を、NIST の文書は脚注1と2.6節(偏りと均質化)を読みました。白書の図は、ボストン コンサルティング グループが上の論文をもとに分析したもの、と出典に書かれています。出典ごとの違いとして、白書は「学習し直す必要がなくなった」と書き、論文はファインチューニングや指示によって「合わせる」ことを前提にしています。また、時期の区切りは論文(2018年の終わり〜2019年)とガイドライン(2021年以降)で違います。どちらが正しいかは決めていません。NIST が紹介する大統領令 EO 14110 の今の扱いは確かめていないため、NIST の文書に書かれている定義として載せるにとどめました。論文の各分野での使い道(医療・法律・教育など)や、基盤モデルを可能にした技術の要因(転移学習・規模)の詳しい説明は、長くなるため載せていません。「モデル」「下流」「自己教師あり学習」「パラメータ」の言い換えは、ふつうの意味を一言で添えたものです。AIログのニュースでは、この言葉はまだ出てきていないため、「ニュースでの出方」の節は置いていません。国の文書は公共データ利用規約にもとづき、内容を言い換えて使っています(出典:総務省・経済産業省「AI事業者ガイドライン(第1.2版)」、総務省「令和6年版 情報通信白書」を加工して作成)。