モデル・技術

埋め込み(Embedding)

文章の意味を数値のベクトルに変換したもの。意味が近い文章はベクトルも近くなる。

埋め込み(Embedding)とは

埋め込み(Embedding)は、文章や単語の意味を、数百〜数千個の数値の並び(ベクトル)に変換したものです。意味が近い文章ほど、ベクトルどうしの距離も近くなるように作られています。

変換には、埋め込み専用のモデルを使います。たとえば「経費の精算方法」と「立替金の払い戻し手順」は、使っている言葉が違っても意味が近いため、近いベクトルになります。この性質を使うと、キーワードが一致しなくても意味で文章を探せます。

実務で最もよく使われるのは、RAG の検索です。社内文書をあらかじめ埋め込みに変換して保存しておき、質問も同じモデルで変換して、近い文書を探します。ほかにも、問い合わせの自動分類、似た文書や重複の検出、おすすめの表示などに使われます。

注意したいのは、埋め込みの品質が検索の精度を左右する点です。専門用語や社内の略語が多い文書では、意味をうまく捉えられないことがあります。キーワード検索と組み合わせる、検索結果を人が点検するといった工夫で補います。

具体例

言い回しが違っても見つかる社内FAQ

社内FAQの検索で、「パソコンが重い」と入力しても「動作が遅いときの対処」の記事が出てこない、という不満がありました。記事と質問を埋め込みに変換して意味の近さで探す方式に変えると、言い回しが違っても該当記事が上位に出るようになりました。型番などの完全一致が大事な語は、キーワード検索も併用しています。

似た問い合わせをまとめる

顧客からの問い合わせを埋め込みに変換し、ベクトルが近いものどうしをまとめました。「ログインできない」「パスワードを忘れた」「認証コードが届かない」が同じまとまりに入り、どの困りごとが多いかを一目で把握できます。FAQ を増やす優先順位を決める材料になりました。

よくある誤解

埋め込みを使えば、キーワード検索はもう要らない。

意味の近さで探すのは得意ですが、型番・人名・条番号のように完全に一致させたい語は苦手なことがあります。実務では、キーワード検索と組み合わせる方法(ハイブリッド検索)もよく使われます。

埋め込みは生成AIの答えそのものを作っている。

埋め込みは文章を数値に変換するだけで、文章は生成しません。RAG では、埋め込みで探した文書をモデルに渡し、回答の生成は別の言語モデルが行います。役割を分けて考えると、精度の問題がどこにあるかを切り分けやすくなります。

ベクトルデータベース

ベクトルデータベースは、文章を数値の並び(埋め込みベクトル)に変換したものを大量に保存し、問い合わせに意味の近いものを高速に探すためのデータベースです。キーワードが一致しなくても、意味が近い文書を見つけられます。RAG では「検索」の部分を担い、埋め込みとセットで使います。文書を追加・更新したら、ベクトルも作り直して保存し直します。権限のある人だけが見られる文書は、検索の段階で絞り込む設計が必要です。

PEP検定での位置づけ

この用語は PEP検定 シラバス第4章「生成AIモデルのカスタマイズ手法」の範囲です。

章の学習ページを読む →
Next Step

用語を「使える力」にする

PEP検定は、こうした用語を実務のプロンプト設計と評価に結びつける力を測ります。練習問題で確かめてみてください。