AI Log

新着

読み物

AIの基本

AI のニュースに出てくる仕組みと言葉を、国の指針・論文・各社の公式の説明など、出典ごとの説明のまま並べています。上から読む順に並べています（いま42本）。各ページに、出典を確かめた日と出典へのリンクを載せています。

1 AIの全体像

  1. AI（人工知能）とは：決まった1つの定義は無い、という所から

    AI は Artificial Intelligence（人工知能）の略です。

  2. 機械学習とは：データから決まりを見つけて、新しいデータに当てはめる方法

    機械学習は、コンピューターがデータからパターンやルールを見つけ、それを初めて見るデータに当てはめて、予測や見分けをできるようにする方法です。

  3. ニューラルネットワークとは：計算の単位を層に並べてつないだモデル

    ニューラルネットワークは、機械学習で使うモデルの形の1つです。

  4. ディープラーニング（深層学習）とは：層を重ねたニューラルネットワークで学ばせる機械学習

    ディープラーニング（深層学習）は、機械学習のやり方の1つです。

  5. 生成AI とは：文章・画像・音声などを作り出す AI の総称

    生成AI は、文章・画像・音声・プログラムなどを作り出せる AI をまとめた呼び方です。

  6. 基盤モデルとは：いろいろな用途の「土台」になる、大きく学習したモデル

    基盤モデル（foundation model）は、幅広いデータで大きく学習したあと、たくさんの別々の仕事に合わせて作り変えて使えるモデルのことです。

2 大規模言語モデルの仕組み

  1. 大規模言語モデル（LLM）とは：文章の続きを予測する、とても大きな言語モデル

    大規模言語モデル（LLM、Large Language Model）は、大量の文章で学習し、文章の続きにくるトークンを予測することで、文章を作ったり質問に答えたりするモデルです。

  2. トークン：AI が文章を区切って数える単位

    トークンは、言葉を扱う AI のモデルが、文章を読み書きするときの最小の単位です。

  3. Transformer と注意（アテンション）：言葉どうしの関わりを重みで見る仕組み

    Transformer（トランスフォーマー）は、2017年に Google の研究者たちが論文で発表したニューラルネットワークの作りです。

  4. パラメータとモデルの大きさ：学習で決まる数値と、その数

    パラメータは、AI のモデルが学習を通して決めていく数値です。

  5. 学習（事前学習）と推論：モデルを作る段階と、使う段階

    学習は、データを読ませてモデルの中の数値（パラメータ）を整えていく段階で、推論は、学習を終えたモデルに入力を渡して答えを出させる段階です。

  6. ファインチューニング：学習を終えたモデルを、目的に合わせて追加で学習させること

    ファインチューニング（fine-tuning）は、大量のデータでひととおり学習を終えたモデルに、特定の仕事や分野に合わせたデータを使って、もう一段の学習をさせることです。

  7. 人の評価で調整する（RLHF・Constitutional AI）：返事の良し悪しの評価をもとに、モデルを好ましい方へ寄せる学習

    RLHF（Reinforcement Learning from Human Feedback）は、人がモデルの返事を比べて評価し、その評価をもとに、好まれる返事を出しやすいようモデルを学習させる方法です。

  8. コンテキストウィンドウ：AI が一度に見られる量

    コンテキストウィンドウは、言葉を扱う AI のモデルが、返事を作るときに一度に参照できる文章の量のことです。

  9. プロンプトとシステムプロンプト：AI に渡す入力と、ふるまいの前提になる指示

    プロンプトは、言葉を扱う AI のモデルに入力する文章のことです。

  10. 考えてから答えるモデル（推論モデル・思考の連鎖）：答えの前に途中の筋道を重ねる

    推論モデルは、返事を書く前に、指示を分けたり答え方を比べたりする「考える」段階を持つ AI のモデルです（OpenAI の説明）。

  11. マルチモーダル：文章・画像・音声など、種類の違うデータを1つのモデルで扱う

    マルチモーダルは、文章・画像・音声・動画のように種類の違うデータを、1つの AI のモデルで扱うことです。

  12. 埋め込み（ベクトル）：データを、似ているほど近くなる数の並びで表したもの

    埋め込みは、文章・単語・品物などのデータを、いくつもの数を並べたもの（ベクトル）で表したものです。

  13. RAG（検索拡張生成）：外の資料を探して、それも踏まえて答えを作らせる仕組み

    RAG は、AI のモデルに答えを作らせるときに、先に外の資料やデータベースから関係のある情報を探し出し、その結果も踏まえて答えを作らせる仕組みです。

  14. エージェントとツールの使用：AI が道具を呼び出し、手順を自分で決めて作業を進める仕組み

    AI エージェントは、目標に向けて自分で手順を決め、検索やプログラムなどの道具（ツール）を使いながら作業を進める AI の仕組みです。

  15. MCP（Model Context Protocol）：AI のアプリを外のデータや道具につなぐための共通の決まり

    MCP は、AI を使ったアプリと、ファイル・データベース・検索などの外の仕組みを、同じやり方でつなぐための公開された決まり（プロトコル）です。

3 ニュースに出る言葉

  1. ハルシネーション：AI がもっともらしく誤ったことを言うこと

    ハルシネーションは、文章などを作る AI が、もっともらしく、自信を持った形で、事実と違う内容を出してしまうことです。

  2. ベンチマークと評価：AI の出来を測って比べるしくみと、その限界

    評価は、AI のモデルの出来の良し悪しを測ったり、複数のモデルを比べたりすることです。

  3. 公開モデル（オープンウェイト）と非公開モデル：中身の数値を配るか、窓口だけ開くか

    公開モデル（オープンウェイトのモデル）は、モデルの中身である「重み」の数値を、誰でもダウンロードできる形などで一般に出したモデルです。

  4. 小さいモデルと蒸留：大きいモデルの力を、小さいモデルに受け継がせる方法

    蒸留は、大きいモデル（教師）の出す答えをお手本にして、小さいモデル（生徒）を学習させ、大きいモデルに近い予測をできるようにする方法です。

  5. 量子化：モデルの数値を少ないビットで持ち、軽くする方法

    量子化は、モデルの中の数値を、より少ないビット数で表すように置き換えることです。

  6. API と料金の数え方：使ったトークンの数に、種類ごとの値段を掛ける

    AI の会社は、自社のモデルを、プログラムから呼び出して使える窓口（API）でも提供しています。

  7. 速さ（返事までの時間・1秒あたりのトークン）：「書き出すまで」と「書く速さ」は別の物差し

    AI の返事の速さは、指示を送ってから返事が来るまでの時間（レイテンシ）や、最初のトークンが出てくるまでの時間（TTFT）、1秒あたりに処理するトークンの数などで表されます。

  8. GPU と計算資源・データセンター：AI の計算を受け持つ部品と、それを置く場所

    AI のモデルを学習させたり動かしたりするには、大量の計算が要ります。

  9. スケーリング則：モデル・データ・計算の量と性能の関係を表した経験則

    スケーリング則は、言語モデルの性能が、モデルの大きさ・学習に使うデータの量・学習に使う計算の量に応じてどう良くなるかを、実験から割り出した関係です。

  10. クラウドと処理する地域：AI の計算が「どこで」動き、データが「どこに」置かれるか

    AI の会社やクラウドの会社が提供するモデルは、その会社の設備の上で計算されます。

  11. データの扱い（学習への利用・データ保持・ゼロデータ保持）：入力した内容が学習に使われるか、どれだけ残るか

    AI のサービスに入力した内容と返ってきた答えが、その後モデルの学習に使われるか、会社の設備にどれだけの間残るかは、サービス・料金の形・契約によって違います。

  12. 画像や音声を作る AI（拡散モデル）：雑音から少しずつ形にしていく仕組み

    拡散モデルは、でたらめな雑音（ノイズ）から出発し、雑音を取り除く手順を何度もくり返して、画像などを作り出す仕組みです。

  13. 音声認識と音声合成：声を文字に、文字を声にする技術

    音声認識は、人が話した声を文字（テキスト）に変える技術です。

4 安全と社会

  1. アライメント：AI のふるまいを、人の意図や価値観に沿うようにすること

    アライメントは、AI が人の意図や価値観に沿って動くようにすること、またはそのための調整や取り組みのことです。

  2. プロンプトインジェクション：AI が読む入力に指示を紛れ込ませ、本来の指示と違う動きをさせる攻撃

    プロンプトインジェクションは、AI への入力に悪意のある指示を入れ込み、作った人や使う人が決めた指示を無視させて、意図しない動きをさせる攻撃です。

  3. ジェイルブレイク（脱獄）：AI に付けた制限を、入力の工夫で外させようとすること

    ジェイルブレイクは、生成AI に設けられた「この内容は出さない」という制限を、入力の書き方を工夫してすり抜けさせようとすることです。

  4. レッドチーミングと安全性の評価：攻撃する側の目で AI の弱点を探して確かめる

    レッドチーミングは、AI を悪用しようとする人の目線で AI システムを試し、弱点や守りの抜けを見つける評価の方法です。

  5. フロンティアモデルと AGI：最先端の強い AI と、人のように幅広くこなす AI

    フロンティアモデルは、いちばん先を行く、とても能力の高い AI のモデルを指す言葉です。

  6. バイアス（偏り）：データや AI、人の判断に入りこむ偏り

    AI の話でいうバイアスは、データや AI の仕組み、AI を作る人・使う人の判断に入りこむ偏りのことです。

  7. AI の規制と指針：EU の AI 法と、日本の AI 法・AI事業者ガイドライン

    AI に決まりを設ける動きは、国や地域で形が違います。

  8. 著作権と学習データ：「学習の段階」と「作ったものを使う段階」に分けて考える

    生成AI と著作権の関係について、日本の文化庁の審議会は、作品を AI の学習に使う段階と、AI が作ったものを生み出して使う段階に分けて整理しています。