トークンとは

トークンは、LLMが文章を扱うときの最小単位です。文章はそのままではなく、単語や文字の断片に分けてから処理されます。この分け方を「トークン化」と呼びます。

英語では、1単語がおおむね1〜2トークンになります。日本語は、1文字が1トークン前後になることが多く、同じ内容でも英語よりトークン数が増えやすい傾向があります。正確な数え方はモデルごとに異なります。ひらがな・漢字・記号で数え方が変わる場合もあります。

トークンは、実務で次の3つに関わります。1つ目は料金です。API の利用料は、入力と出力のトークン数で決まるのが一般的です。2つ目は上限です。一度に扱える量（コンテキストウィンドウ）や出力の長さは、トークン数で決まっています。3つ目は速度です。出力が長いほど、応答に時間がかかります。

長い資料を毎回まるごと渡すと、費用も時間も増えます。必要な部分だけを渡す工夫が、コストを抑える第一歩です。

具体例

費用の見積もりに使う

問い合わせ対応に API を使う場合、1件あたりの入力（質問と参考資料）と出力（回答）のトークン数を測ります。それに月の件数と単価を掛ければ、おおよその月額が出ます。参考資料を毎回すべて渡す設計だと、入力のトークンが膨らみます。関係する部分だけを検索して渡す設計に変えると、費用を大きく下げられることがあります。導入前に数件で実測しておくと、予算の説明がしやすくなります。

出力の長さを指定して費用を抑える

出力のトークンは、入力より単価が高く設定されていることが多くあります。「200字以内」「箇条書き3点」のように長さを決めると、費用と待ち時間の両方を抑えられます。読み手にとっても短い回答のほうが使いやすく、手直しも減ります。