生成AIと大規模言語モデルの基礎知識

1-1. AI技術の歴史と基本概念

AI（Artificial Intelligence）は、コンピュータが人間の知能を模倣する技術です。学習・推論・認識・意思決定といったタスクを自動で行います。データのパターンを学ぶ機械学習や、問題解決に必要な情報を蓄えて活用するアルゴリズムが含まれます。AIは人の能力を拡張し、医療・交通・製造業などで生産性を高めています。

歴史は3つの節目で押さえます。1950年代、1956年のダートマス会議でジョン・マッカーシーが「人工知能」という言葉を提唱しました。最初の成功例はチェスプログラムなどのシンボル処理です。1980年代にはエキスパートシステムなどルールベースのAIが進化し、機械学習が発展しました。2010年代、2012年にディープラーニングが画像認識競技で注目を集め、音声認識や自然言語処理にも革命的な進展が広がりました。

AIは大きく2つに分類されます。Narrow AI（特化型AI、弱いAI）は、特定のタスクや領域に特化したAIです。その分野では高い精度を誇りますが、他の領域には応用できません。音声アシスタントや顔認識システムが例です。AGI（Artificial General Intelligence、汎用型AI、強いAI）は、人間と同等の知能を持ち、複数の領域に柔軟に対応できるAIです。理論上はあらゆる知的作業をこなすとされますが、現在はまだ研究段階で実用化されていません。なお、これらの分類や用語に明確な定義はなく、研究者によって区別の仕方が異なります。

シンギュラリティ（技術的特異点）とは、AIが人類の知能を超えるとされる転換点です。AGIが登場するとAIは自己改善を続け、人間の理解や制御を超える可能性があると考えられています。実現性については専門家の間でも意見が分かれますが、未来学者のレイ・カーツワイル氏は2045年頃の到来を予測しています。

AIシステムの中で実際にタスクを実行する中核がAIモデルです。AIモデルは大量のデータからパターンや特徴を学習します。そのモデルを作るプロセスが機械学習で、主要な手法は教師あり学習と教師なし学習です。教師あり学習は正解ラベル付きのデータで学び、未知のデータに対する正しい出力を予測します。教師なし学習はラベルなしでデータの構造やパターンを見つけ出します。ディープラーニングは多数の層からなるニューラルネットワークを使い、大量のデータから自動的に特徴を抽出します。従来の機械学習では特徴量の設定を人が手作業で行う必要がありました。この違いが精度と効率を大きく高めています。

• 1956年のダートマス会議で「人工知能」という言葉が提唱された
• Narrow AIは特定領域に特化、AGIは人間同等で幅広く対応。AGIは研究段階
• シンギュラリティはAIが人類の知能を超える転換点。カーツワイル氏は2045年頃と予測
• 機械学習は特徴量を人が設計し、ディープラーニングは自動で抽出する

1-2. 生成AIの仕組みと応用

生成モデルは、新しいデータを生成するAI技術の総称です。与えられたデータのパターンや構造を学習し、その知識をもとに新しいサンプルを作ります。作られるのは文章・画像・音楽・動画など様々な形式です。生成モデルはトランスフォーマーアーキテクチャの発展により、長い依存関係を持つデータを効率よく処理できるようになりました。

古くからある代表的な生成モデルは4種類です（このあとに登場した拡散モデルは次の段落で扱います）。RNN（リカレントニューラルネットワーク）は時系列データを処理し、過去の情報を現在の計算に反映します。テキスト生成や時系列予測、音声認識に広く使われます。LSTM（長・短期記憶ネットワーク）はRNNを改良し、長期的な依存関係を学習できます。長いテキストのモデリングに適します。GAN（生成的敵対ネットワーク）は生成ネットワークと識別ネットワークが競い合いながら学習します。画像や動画の生成、絵画スタイルの変換に用いられます。VAE（変分オートエンコーダー）はデータの確率分布を学習して新しいデータ点を生成します。画像のノイズ除去や欠損の補完、異常検知に使われます。

画像生成では従来GANやVAEが一般的でしたが、近年は拡散モデル（Diffusion Models）とトランスフォーマーモデルが登場しました。拡散モデルは、データにノイズを加え、そのノイズを逆にたどることで新しいデータを生成します。このプロセスが段階的なため、生成される画像は品質が高く、細部まで再現できます。トランスフォーマーはもともと自然言語処理の技術ですが、自己注意機構によって長い依存関係を扱えるため、画像生成にも応用されています。テキスト生成では、トランスフォーマーを使い大量のテキストで訓練した大規模言語モデル（LLM）が大きな進歩をもたらしました。

NLP（自然言語処理）は、コンピュータが人間の言語を理解し、生成し、操作する技術です。文章の理解、文章の生成、翻訳、感情分析、要約、知識の活用、創造性の発揮という7つの能力で整理されます。応用範囲は広く、医療（診断支援、薬剤発見）、法務（契約書作成、リーガルリサーチ）、教育（教材生成、チュータリング）、マーケティング（広告コピー生成）、エンターテイメント（脚本や音楽の生成）、IT（コード生成、デバッグ支援）、科学研究、自動応答などに及びます。

• RNNは時系列、LSTMは長期依存、GANは競合学習、VAEは確率分布の学習
• 拡散モデルはノイズを加えて逆にたどることで高品質な画像を生成する
• NLPは理解・生成・翻訳・感情分析・要約・知識活用・創造性の7つで整理される
• 生成AIの応用は医療・法務・教育・マーケティング・ITなど広範囲に及ぶ

1-3. LLMの構造とトレーニング

LLM（Large Language Model）は、従来の言語モデルに比べてデータセットサイズ・計算量・パラメータ数が大幅に増えた自然言語処理モデルです。データセットサイズはモデルが学ぶ「知識の量」で、人間でいえば読んだ本の量にあたります。計算量はその知識を処理するために必要な「計算の多さ」です。パラメータ数はモデルの「学習能力を決める要素」で、入力を処理して予測や生成を行う際に使う変数の数を指します。この3つが増えるほど、LLMは精度の高い予測や文章生成ができるようになります。パラメータが多いモデルはゼロショット・ラーニング能力が高く、特定タスク向けの微調整なしでも幅広いタスクに対応できます。

LLMの土台がトランスフォーマーアーキテクチャで、その鍵が自己注意機構（Self-Attention）です。2017年にGoogleの研究者が発表した論文「Attention Is All You Need」で提案されました。自己注意機構は、入力のどの部分に注意を向けるべきかを判断します。具体的には、文章中の単語が他の単語とどの程度関連しているかを「重み」として数値化します。この重みをもとに単語間のつながりを計算するため、遠くに位置する単語同士の関係も捉えられます。これが長距離依存の解消です。さらに並列処理を活用できるため、学習と処理を効率的に行えます。自己注意機構は画像処理など他分野にも広がっています。

トレーニング済みのLLMで新しい入力に対する出力を作るプロセスを推論（Inference）と呼びます。この「出力を生成する」行為が、利用者にとっての「生成」です。推論は4ステップで進みます。第1に入力を受け取り、第2にトークナイザーがテキストをトークン（単語やサブワード単位）に分割します。第3にトランスフォーマーが自己注意機構でトークン間の関係性を解析し、フィードフォワードネットワークで文脈を深めます。第4に出力トークンの確率分布が得られ、最も確率が高いトークンが順次選ばれて回答になります。つまり生成物は、学習データをもとに文脈的に最も確率が高いと判断された解答です。事実に基づく正解を保証するものではなく、無から創作されたものでもありません。

LLMのトレーニングは事前学習とファインチューニングの2段階です。事前学習（Pretraining）は、言語の一般的な構造・文法・語彙・基本的な文脈理解を習得する段階です。ウェブページ、書籍、論文、ニュース記事、コードなど多様なソースの大規模データを使います。手法は自己教師あり学習で、ラベル付けされたデータを必要とせず、データそのものを教師とします。次の単語を予測する言語モデリングや、隠された単語を当てるマスク付き言語モデリングが例です。膨大な計算リソースを要し、電力消費やコストが高い点に注意が必要です。ファインチューニング（Fine-Tuning）は、事前学習で得た汎用的な言語能力を特定のタスクに適応させる段階です。事前学習の重みを初期値として使い、タスクに特化した小規模なデータで微調整します。データは人がラベル付けしたものが多く、品質が重要です。特定タスクに過剰に適応すると汎用性が損なわれるため、データの量と質、正則化によるバランスが求められます。

トレーニングの重要なプロセスは3つです。データの準備では、テキストの収集・正規化・クリーニングを行い、トークン化して処理しやすい形式に変換します。パラメータの最適化では、損失関数でモデルの予測と正解の差を計算し、確率的勾配降下法（SGD）やAdamなどでこれを最小化します。バイアスと安全性の確認では、有害な出力を生成しないか評価し、学習データの偏りが結果に偏りをもたらさないよう注意します。そして完成したモデルの性能評価が欠かせません。評価基準は精度（Accuracy）・多様性（Diversity）・一貫性（Consistency）・効率性（Efficiency）の4つです。評価方法は、定義されたデータセットで比較するベンチマークテスト、人間によるレビュー、BLEU・ROUGE・Perplexityなどの自動評価の3つです。自動指標は品質や意味的な正確性を完全には反映しないため、人間の評価と組み合わせる必要があります。

• LLMの性能を決めるのはデータセットサイズ・計算量・パラメータ数の3要素
• 自己注意機構は単語同士の関連度を重みで数値化し、遠い語の関係も捉える
• 推論は「入力を受け取る→トークン化→計算→出力を生成」の4ステップ
• トレーニングは事前学習とファインチューニングの2段階。自動評価はBLEU・ROUGE・Perplexity

1-4. LLMの特性理解

LLMの長所は3つです。第1に大規模なデータの学習で、膨大な言語データからパターンを学び、質問応答・翻訳・要約など多様なタスクに対応できます。第2に多言語対応で、さまざまな言語の入力に応答できます。第3に自然な文章生成で、人間のように自然な文章を作れるため、チャットボットやカスタマーサポートで活用されています。

短所は3つです。第1に知識のカットオフです。LLMの知識はトレーニングデータの収集終了日までに限られ、それ以降の出来事は知りません。最新ニュースの要約などは適切に対応できない場合があります。カットオフ日を確認して使い、それ以降の内容は外部ソースで検証します。Web検索を併用できるLLMもあります。第2に誤解を招く可能性です。LLMは確率的に応答を生成するため、同じ質問でも異なる回答が出ることがあります。一見正しそうでも誤った情報が含まれることがあります。第3にデータ依存性です。出力の質は学習データの量と質に依存し、不正確なデータや偏ったデータは出力に影響します。

リスクは3つの観点で整理します。ハルシネーションは、実在しない研究や事実を引き合いに出す現象です。学術的な内容やニュースなど信頼性が重要な場面では、他の情報源で検証する必要があります。最新情報の不足は、前述のカットオフに由来します。バイアスの影響は、学習データに社会的・文化的な偏りが含まれる場合に生じます。原因はデータの偏りや収集元の偏りで、性別や人種のステレオタイプを強める表現につながることがあります。対応策は、データ収集段階での多様性確保、学習後のバイアスチェック（Bias Audit）、再学習やファインチューニングによる緩和です。バイアスを完全に排除することは難しく、意識的に管理することが信頼性の向上につながります。

使用時の注意点は3つです。誤情報の可能性があるため、出力内容は必ず信頼できる情報源で確認します。曖昧な質問や指示は不正確な応答を招くため、具体的で詳細なプロンプトを用います。入力したデータがトレーニングや分析に使われることがあるため、機密情報や個人情報は入力しません。活用のコツも3つです。要約・情報整理・翻訳・質問応答といった得意分野に使うこと、明確で具体的な指示を与えること、重要な決定や精度の高い分析は人が確認することです。LLMは補助ツールとして使うのが理想で、だからこそプロンプトエンジニアリングが重要になります。

• 知識のカットオフ日以降の出来事には答えられない。外部ソースで検証する
• 確率的に生成するため、同じ質問でも回答が変わることがある
• 機密情報や個人情報は入力しない。入力データが学習に使われる場合がある
• 重要な判断は人が確認する。LLMは補助ツールとして使う