事前学習とは

事前学習は、LLM開発の最初の段階で、ラベルの無い大量の文章から次のトークンを予測する訓練を行います。ここで言語の文法・知識・推論の土台が作られます。

事前学習だけのモデルは指示に従う能力が弱いため、続いて指示チューニングや人の好みに合わせる調整（RLHFなど）が行われます。