事前学習とは
事前学習は、LLMを作る最初の段階です。ラベルの付いていない大量の文章を使い、「次に来るトークンを当てる」練習を繰り返します。ここで、文法や言い回し、幅広い知識、簡単な推論の力といった土台が作られます。
正解を人が用意しなくても、文章そのものが問題と答えになる点が特徴です。文章の続きを隠して当てさせれば、答え合わせができるためです。そのため、ウェブ上の文章や書籍、プログラムのコードなど、膨大なデータを学習に使えます。
事前学習には、大量の計算資源と時間がかかります。一般の企業が自前で行うことはまれで、多くの場合は事前学習済みのモデルを API などで利用します。自社向けの調整が必要なときも、事前学習からやり直すのではなく、ファインチューニングやRAGを組み合わせます。
事前学習だけのモデルは、文章の続きは書けても、依頼に応えることは得意ではありません。そのため、続いて指示チューニングやRLHFなどの調整が行われます。モデルが知っている情報の時点（知識の締切）も、この段階の学習データで決まります。
具体例
事前学習だけのモデルに頼むと
事前学習だけのモデルに「会議の議事録を要約して」と入力すると、要約ではなく、似た依頼文の続きを書き始めることがあります。文章の続きを当てる練習しかしていないためです。対話型サービスとして答えてくれるのは、その後の調整を経ているからです。
自社用AIの作り方を検討する
「自社専用のAIを作りたい」という相談では、事前学習からの開発を思い浮かべる人もいます。実際には、事前学習済みのモデルに社内文書を検索して渡すRAGや、ファインチューニングで目的を満たせることがほとんどです。費用と期間の桁が大きく違うため、最初に確認しておきます。