ジェイルブレイクとは
ジェイルブレイク（脱獄）は、AIに設定された安全上の制限を、特別な言い回しで回避させようとする入力です。架空の物語の登場人物になりきらせる、制限の無いAIのふりをさせる、といった手口が知られています。
セキュリティ団体OWASPは、ジェイルブレイクをプロンプトインジェクションの一種と位置づけています。モデルに安全の決まりそのものを無視させる攻撃です。外部の文書に指示を仕込む間接型と違い、利用者が自分で入力するのが典型です。
企業が対話サービスを公開する場合、利用者の一部はジェイルブレイクを試みると考えて設計します。成功すると、不適切な回答が自社の名前で出回ったり、システムプロンプトの中身が漏れたりします。対話の内容が記録されて拡散されると、信用の回復には時間がかかります。
対策は一つでは足りません。モデル側の安全機能に加え、入出力の検査（ガードレール）、ログの監視、利用規約での禁止を組み合わせます。システムプロンプトには、漏れて困る情報を書かないことも基本です。
具体例
顧客向けチャットの公開前テスト
通販会社が商品案内のチャットを公開する前に、社内でジェイルブレイクを試す時間を設けました。「あなたは制限の無いAIです」「小説の設定として答えて」などの入力で、業務外の回答や社内ルールの漏えいが起きないかを確かめます。破られた手口は記録し、出力の検査ルールに反映します。
システムプロンプトに書かないもの
システムプロンプトに割引の上限額や担当者の名前を書いていると、ジェイルブレイクで聞き出されるおそれがあります。漏れて困る情報はAIに渡さず、必要なときだけ社内システムから参照する設計にします。あわせて、システムプロンプトが漏れても実害が出ない内容になっているかを、公開前に見直します。