Transformerとは

Transformer（トランスフォーマー）は、2017年に Google の研究者らが論文で発表したニューラルネットワークの構造です。現在の大規模言語モデル（LLM）の多くが、この構造を土台にしています。

中心にあるのは「注意機構（Attention）」です。文章の中のある言葉を処理するとき、ほかのどの言葉にどれだけ注目すべきかを計算します。たとえば「彼はその本を棚に戻した。それは重かった」の「それ」が何を指すかを、文中の関係から捉えます。

それ以前の主流だった構造は、文章を先頭から順に一語ずつ処理していました。Transformer は文中の言葉どうしの関係をまとめて計算できるため、計算を並列に進めやすくなりました。この性質が、大量のデータと計算資源でモデルを大きくする流れを支えました。

一方で、注意機構は文章が長くなるほど計算量が大きく増えます。長い文書を扱うときに費用や応答時間がかさむのは、この仕組みとも関係しています。文章だけでなく、画像や音声を扱うモデルにも応用されています。

具体例

「それ」が何を指すかを読み取る

契約書の要約で「本契約の終了後も、甲はそれを第三者に開示しない」という一文があるとします。注意機構は「それ」と前の条文の「秘密情報」との関係に重みを置きます。離れた位置にある言葉どうしを結びつけられるため、長い文書でも文脈を保った要約ができます。

長い資料を渡すときのコスト

数百ページの報告書をまとめて渡すと、短い資料より応答が遅く、API の従量課金では費用も増えます。費用が増えるのは API の課金がトークン数に比例するためです。応答が遅くなるのは、Transformer の注意機構の計算量が文章の長さとともに大きく増えるためです。必要な章だけを渡すと、速さと費用の両方を抑えられます。