ガードレールとは
ガードレールは、AI への入力、AI の出力、エージェントの行動を検査して、問題のあるものを止める仕組みです。機密情報の漏えい、不適切な内容の生成、意図しない操作などを防ぐために使います。
主に3つの段階で置きます。入力の段階では、個人情報や、AI を操ろうとする指示が含まれていないかを確かめます。出力の段階では、機密情報や不適切な表現を見つけ、伏せ字にしたり差し戻したりします。行動の段階では、エージェントが使えるツールや操作を、許可したものだけに絞ります。
実装には、決まった単語や形式を照合するルール、検査専用の AI モデル、権限の設定などを組み合わせます。システムプロンプトに「〜しないでください」と書くだけでは、巧妙な入力で破られることがあります。仕組みの側で止める層を持つことが大切です。
エージェントのように、AI が自分で判断して外部のシステムを操作する場面ほど、ガードレールの重要性は増します。厳しすぎると業務の役に立たなくなるため、止めた記録を見ながら基準を調整します。
具体例
社内チャットボットの出力を検査する
社内規程に答えるチャットボットで、回答に社員番号や電話番号の形をした文字列が含まれていないかを、出力の直前に照合します。見つかった場合は伏せ字にして返し、記録を残します。あわせて、規程に無い質問には「担当部署に確認してください」と返すよう、回答の範囲も絞ります。
エージェントの操作に上限を設ける
経費精算を補助するエージェントには、申請書の下書きの作成だけを許可し、申請の確定はできないようにします。金額が一定を超える場合や、規程に無い費目の場合は、処理を止めて担当者に回します。AI の判断が誤っても、取り返しのつかない操作には進まない設計です。