生成AIと大規模言語モデルの基礎知識｜PEP検定シラバス第1章

1-1. AI技術の歴史と基本概念

AI（人工知能）は「人の知的な作業を機械で行う技術」の総称です。その中で、データから規則を学ぶのが機械学習、多層のニューラルネットワークで学ぶのが深層学習（ディープラーニング）です。生成AIは深層学習の応用の一つで、文章・画像・音声などを新しく作り出します。

歴史を大づかみにすると、1950年代の記号処理から始まり、2010年代に深層学習が画像認識で成果を出し、2017年に登場したTransformerという構造が現在のLLMの土台になりました。2022年末のChatGPT公開で、専門家以外も日常的にAIを使う時代に入りました。

文章の生成AIは、入力された文脈に対して「次に来る可能性が高いトークン（単語の断片）」を1つずつ選んで文章を組み立てます。確率に基づく生成なので、同じ質問でも答えが揺れることがあり、事実と異なる内容を自信ありげに書く「ハルシネーション」も起こります。

応用は文章作成・要約・翻訳・分類・コード生成・対話など幅広く、最近は画像や音声も同じモデルで扱うマルチモーダル化が進んでいます。業務では「人が最終確認する前提で、下書きと整理を任せる」使い方が基本です。

LLMは大量の文章で「次のトークンを当てる」訓練（事前学習）を受けたあと、人の指示に従うよう追加学習（指示チューニング）と、人の好みに合わせる調整（RLHFなど）を経て公開されます。パラメータ数はモデルの容量を表し、多いほど複雑なパターンを学べますが、計算コストも増えます。

モデルが一度に扱える文章量をコンテキストウィンドウと呼びます。ここに収まらない情報は「知らない」のと同じになるため、長い資料を扱うときは要約や検索（RAG）と組み合わせます。

LLMは言語のパターンには強い一方、計算や最新情報、社内固有の事実には弱いという性質があります。学習データの締切以降の出来事は知らず、学習データに偏りがあれば出力にも偏りが出ます。

実務では「得意なことに使い、苦手なことは道具で補う」が原則です。計算は電卓やコード実行に、最新情報は検索に、社内知識は文書検索（RAG）に任せ、LLMには整理・要約・文章化を担わせると安定します。