推論（Inference）とは

推論は、学習済みのモデルを実際に動かして出力を得ることです。モデルの学習（トレーニング）には大量の計算が要りますが、利用者が使うのは推論の段階です。推論の速さやコストはモデルの大きさと出力トークン数で決まります。