プロンプトの評価とは

プロンプトの評価は、出力を業務ごとに決めた基準で採点し、プロンプトを直すための手順です。基準には、正確さ、必要な情報の網羅、形式を守っているか、口調などがあります。

評価が要るのは、LLM の出力が確率的に作られ、同じプロンプトでも結果が揺れるからです。一度うまくいっただけでは、本番で安定するとは限りません。同じ入力で何度か試し、さまざまな入力でも試して、揺れの幅を確かめます。

改善を続けるには、入力と期待する答えの組（評価データ）を用意します。プロンプトを直すたびに同じ評価データで試せば、良くなったのか悪くなったのかを比べられます。失敗した出力は「なぜ違うのか」を言葉にし、その理由を制約としてプロンプトに足すのが、基本の進め方です。

採点は人が行うほか、基準を書いたうえで AI に採点させる方法もあります。AI に採点させる場合も、人の採点と食い違いが無いかを、一部で確かめます。

具体例

要約の出来を AI に採点させる

悪い例では、何をもって「良い」とするかが決まっていないため、判断が毎回ぶれます。元の文章も渡していないので、内容の誤りを確かめられません。良い例は、基準と点数の付け方を決め、元の文章と並べて渡しています。理由も書かせるので、人が採点の妥当性を確かめられます。

悪い例

この要約は良いですか？ （評価する要約）

良い例

次の要約を、元の文章と比べて採点してください。 # 採点基準（各1〜3点） - 正確さ：元の文章に無い内容や誤りが無いか - 網羅性：決定事項と期限がすべて含まれているか - 形式：箇条書き3点以内になっているか # 出力 基準ごとに、点数とその理由を1文で書く <元の文章> （会議の記録） </元の文章> <要約> （評価する要約） </要約>

評価データで修正前後を比べる

社内問い合わせに答えるプロンプトを直す前に、過去の質問と、担当者が作った模範回答の組を評価データとして用意します。修正前と修正後のプロンプトで同じ質問を試し、基準ごとの点数を比べます。一部の質問で良くなり、別の質問で悪くなる、といった変化にも気づけます。