パラメータとは
パラメータは、ニューラルネットワークの内部で、学習によって調整される数値（重み）の総称です。モデルの規模を表す指標として「数十億パラメータ」「数千億パラメータ」のように使われます。
学習とは、このパラメータの値を少しずつ動かし、望ましい出力に近づけていく作業です。LLMの場合、大量の文章で「次のトークンを当てる」練習を繰り返す中で、言葉の使い方や知識がパラメータに蓄えられます。
一般に、パラメータが多いほど複雑なパターンを表現できます。その代わり、動かすための計算資源が増え、応答が遅くなり、費用も上がります。用途に応じて、大きなモデルと軽いモデルを使い分けるのが実務の基本です。
なお、温度や最大トークン数のように API で指定する設定値も、慣用的にパラメータと呼びます。モデル内部の重みとは別物なので、どちらの意味かは文脈で区別します。
具体例
問い合わせの一次振り分けに軽いモデルを使う
大量の問い合わせを「請求」「技術」「その他」に振り分ける処理は、判断が比較的単純です。パラメータの少ない軽いモデルでも十分な精度が出ることが多く、応答が速く費用も抑えられます。難しい質問だけを大きなモデルに回す二段構えにすると、品質と費用の釣り合いが取れます。
社内で動かすモデルを選ぶ
機密データを外に出さないため、社内のサーバーでモデルを動かす場合があります。このときは、パラメータ数が用意できる計算機で動かせる範囲に収まるかが、最初の判断材料になります。