PEP検定 練習問題

LLM基礎

1. A. ゼロショット・ラーニング能力が向上し、未学習のタスクにも対応できる（正解）
2. B. モデルのメモリ使用量が減少する
3. C. モデルの学習に必要な訓練データの必要量が減少する
4. D. モデルの推論速度が大幅に高速化する

パラメータ数の増加により、モデルはより複雑なパターンを学習できるようになります。特にゼロショット・ラーニング（事前に例を示さずに新しいタスクを実行する能力）が大きく向上することが研究で示されています。ただし、メモリ使用量は増加し、推論速度は低下する傾向があります。

難易度: 易しい ／ 正解率の目安: 78%

LLM基礎

1. A. トークンは常に1単語に対応し、日本語でも英語でも同じトークン数になる
2. B. テキストをモデルが処理できる最小単位（トークン）に分割する処理で、言語によってトークン効率が異なる（正解）
3. C. トークン化はモデルの学習時のみ行われ、推論時には不要な処理である
4. D. トークン数が多いほどモデルの出力品質が向上する

トークナイゼーションは、入力テキストをモデルが処理できるサブワード単位に分割する処理です。英語では1単語が1〜2トークン程度ですが、日本語では1文字が2〜3トークンになることが多く、同じ内容でも日本語の方がトークン数が多くなります。これはコストやコンテキストウィンドウの使用量に直接影響します。

難易度: 難しい ／ 正解率の目安: 42%

LLM基礎

1. A. あらかじめ用意された文例データベースから、質問に最も近い文章を検索して返す
2. B. 直前までのトークン列から「次に来る確率が高いトークン」を予測する処理を繰り返す（正解）
3. C. 文法規則を人手で記述したルールに従って文を組み立てる
4. D. 入力文をそのまま別の言語に置き換えて出力する

LLM は、膨大なテキストで学習した Transformer モデルが「次のトークン」の確率分布を予測し、選んだトークンを入力に加えて再び予測する、という処理を繰り返して文章を生成します。検索エンジンのように既存の文を取り出しているわけではありません。

難易度: 易しい

LLM基礎

1. A. モデルが一度に処理できる入力と出力のトークン数の上限（正解）
2. B. モデルが学習に使ったテキストの総量
3. C. モデルが回答を生成するまでにかかる時間
4. D. モデルが出力できる言語の種類の数

コンテキストウィンドウは、1回のやり取りでモデルが扱える（入力＋出力の）トークン数の上限です。長い文書や会話履歴を渡すときはこの上限を意識する必要があり、超える分は切り捨てられるか、エラーになります。学習データの総量や生成速度とは別の概念です。

難易度: 標準

LLM基礎

1. A. 出力が毎回ほぼ同じになり、決定的な応答が得られる
2. B. 出力の多様性・ランダム性が増し、創造的だが不安定な応答になりやすい（正解）
3. C. 処理できるトークン数の上限が増える
4. D. モデルの知識が最新の情報に更新される

温度は次トークンの確率分布の「尖り具合」を調整するパラメータです。低いと確率が最も高いトークンが選ばれやすく決定的に、高いと確率の低いトークンも選ばれやすくなり多様で創造的になりますが、事実誤りや脱線も増えます。分類や抽出など正確さ重視のタスクでは低め、アイデア出しでは高めが目安です。

難易度: 標準

LLM基礎

1. A. 最新情報が必要なときは、Web 検索や社内文書の検索結果をプロンプトに含めて回答させる（正解）
2. B. モデルに「最新の情報で答えてください」と強く指示する
3. C. 回答に含まれる日付や数値を、一次情報で確認してから使う（正解）
4. D. カットオフ以降の出来事について質問しないよう、利用者に周知する（正解）

モデルは学習データの締め日以降の出来事を知りません。指示で「最新の情報で」と言っても知らない情報は出せず、もっともらしい推測（ハルシネーション）を招くだけです。有効なのは、検索結果や文書を外から与える（RAG や検索ツール）、出力を一次情報で検証する、モデルの限界を利用者に周知する、の3つです。

難易度: 難しい

プロンプト基本

1. A. 大量のラベル付きデータを使ってモデルを微調整する手法
2. B. プロンプトに少数の例を含めることで、モデルの出力を誘導する手法（正解）
3. C. モデルの学習率を段階的に下げていく手法
4. D. 複数のモデルの出力を多数決で統合する手法

Few-shot学習とは、プロンプト内に少数（few）の入出力例を示すことで、モデルにタスクのパターンを理解させる手法です。モデル自体の再学習は不要で、プロンプトエンジニアリングの基本テクニックの一つです。

難易度: 易しい ／ 正解率の目安: 82%

プロンプト技術

1. A. モデルの応答速度を向上させる
2. B. モデルに段階的な推論過程を明示させ、複雑な問題の正答率を高める（正解）
3. C. モデルの出力トークン数を削減してコストを下げる
4. D. モデルが複数の言語を同時に処理できるようにする

Chain of Thought（思考の連鎖）は、モデルに「ステップバイステップで考えてください」と指示することで、推論の過程を明示的に出力させるテクニックです。数学的問題や論理的推論など、複雑なタスクでの正答率が大幅に向上することが研究で示されています。

難易度: 標準 ／ 正解率の目安: 60%

プロンプト基本

1. A. モデルに「あなたは経験豊富な採用担当者です」のように立場や専門性を与え、回答の視点や文体を整える手法（正解）
2. B. 複数のユーザーで1つのプロンプトを分担して書く手法
3. C. モデルの出力を人間の担当者が役割ごとに分けて確認する手法
4. D. モデルのパラメータを役割別に学習し直す手法

Role Prompting は、プロンプトの冒頭で役割・立場・専門性を指定し、モデルの回答の視点、語彙、詳しさを狙った方向に寄せる手法です。モデルの再学習は不要で、システムプロンプトに置くことが多いです。役割だけでは不十分なので、目的・制約・出力形式と組み合わせて使います。

難易度: 易しい

プロンプト基本

1. A. 目的（何のために使う出力か）（正解）
2. B. 出力形式（箇条書き・表・JSON など）と分量（正解）
3. C. 前提や制約（対象読者、使ってはいけない表現、参照すべき情報）（正解）
4. D. 「頑張ってください」「よろしくお願いします」などの励ましの言葉

安定した出力には、目的・出力形式と分量・前提や制約の3点を明示することが効きます。励ましや丁寧語の追加は害にはなりませんが、出力の内容や形式を変える効果は期待できません。曖昧な指示ほどモデルが「解釈」で埋める部分が増え、実行ごとにばらつきます。

難易度: 標準

プロンプト技術

1. A. 一度うまくいったプロンプトは変更せず、そのまま使い続ける
2. B. 評価の観点（正確さ・形式・網羅性など）を決め、代表的な入力例で出力を比べながら少しずつ直す（正解）
3. C. 毎回ゼロからプロンプトを書き直し、最も長いものを採用する
4. D. モデルが「良い出力です」と自己評価したら改善を終える

プロンプト改善は、評価基準を決めて、同じテスト入力で出力を比較する「フィードバックループ」で進めます。基準無しに直感で書き換えると、改善したのか悪化したのか判断できません。モデルの自己評価は参考程度で、人間の評価や実データでの確認に置き換えられません。

難易度: 標準

プロンプト技術

1. A. 例は多ければ多いほど良いので、コンテキストが許す限り詰め込む
2. B. 例の形式・品質・ばらつきが出力にそのまま反映されるため、代表的で正しい例を厳選する（正解）
3. C. 例は必ず英語で書く必要がある
4. D. 例を示すとモデルが例を丸写しするため、実務では使ってはいけない

Few-shot ではモデルが例からタスクのパターンを学ぶため、例に誤りや偏りがあるとそれも再現されます。例の数は数個で十分なことが多く、増やしすぎるとトークンを消費し、例の偏り（順序や多数派のラベル）に引きずられることも知られています。日本語の例でも問題ありません。

難易度: 難しい

実務活用

1. A. 「この文章を要約してください」とだけ指示する
2. B. 「200文字以内で、主要な3つのポイントに絞って要約してください」と具体的に指示する（正解）
3. C. 「できるだけ短く要約してください」と指示する
4. D. 「良い感じに要約してください」と指示する

効果的なプロンプト設計では、出力の文字数・ポイント数・形式などを具体的に指定することが重要です。曖昧な指示ではモデルの出力が安定せず、期待と異なる結果になりやすくなります。

難易度: 易しい ／ 正解率の目安: 75%

実務活用

1. A. 「議事録を作って」とだけ伝える
2. B. 「決定事項・宿題（担当と期限）・次回の議題の3項目に分け、各項目は箇条書きで、固有名詞は文字起こしどおりに書く」と指示する（正解）
3. C. 「文字起こしの内容を全部丁寧に書き直して」と指示する
4. D. 「重要そうなところだけ適当に」と指示する

議事録は読み手が行動できることが目的なので、決定事項・宿題（担当と期限）・次回の議題のように構成を指定し、形式（箇条書き）と守るべき制約（固有名詞を変えない）を添えると、そのまま使える出力になります。全文の書き直しは要約になっておらず、「適当に」は出力が安定しません。

難易度: 易しい

実務活用

1. A. 数値の集計や統計処理もすべて自然言語の回答だけで済ませる
2. B. コード実行やスプレッドシート関数の生成に使い、計算自体はプログラムに任せて結果を確認する（正解）
3. C. 生成AIは数値に強いので、結果の検算は不要である
4. D. 個人情報を含むデータでも、そのまま外部サービスに貼り付けてよい

LLM は言語モデルであり、暗算のような計算は苦手で桁を間違えることがあります。集計や統計はコード（Python やスプレッドシート関数）を書かせて実行し、結果を人が確認する形が確実です。個人情報や機密データは、匿名化や社内で許可されたサービスの利用など、取り扱いルールに従う必要があります。

難易度: 標準

実務活用

1. A. ターゲット顧客の課題を複数の視点から洗い出すアイデア出し（正解）
2. B. 提案資料の構成案（アウトライン）の作成と、章ごとの要点の下書き（正解）
3. C. 競合他社の最新の売上や価格を、モデルの知識だけで正確に回答すること
4. D. 長いリサーチ資料からの要点抽出と比較表の作成（正解）

アイデア出し、構成案や下書き、資料からの要点抽出・整理は生成AIの得意分野です。一方、競合の最新数値のような事実情報は、モデルの知識が古い・不正確な可能性が高く、検索や一次情報の確認無しに信頼してはいけません。

難易度: 標準

実務活用

1. A. すべての判断をモデルに任せ、人の確認工程を無くして効率を最大化する
2. B. 入力の前処理・出力の形式検証をプログラムで行い、判断が難しいケースや影響の大きい処理には人の確認を挟む（正解）
3. C. プロンプトを毎回手作業で書き換えて実行する
4. D. 出力が期待と違ったら、そのまま次の工程に流して後で直す

自動化では、モデルの出力が確率的にばらつくことを前提に設計します。入力の整形と出力の検証（形式チェック、必須項目の有無など）はプログラムで確実に行い、誤りの影響が大きい処理や判断が難しいケースには人の確認（Human-in-the-loop）を置くのが定石です。人の確認を完全に無くすと、誤りがそのまま業務に流れます。

難易度: 難しい

実務活用

1. A. 最も有名なツールを1つ選び、すべての業務でそれだけを使う
2. B. 用途（文章・画像・コード・検索）、扱うデータの機密性、料金や利用規約を踏まえて選び、社内ルールに従う（正解）
3. C. 無料で使えるツールを優先し、規約は確認しなくてよい
4. D. ツールごとの違いは無いので、どれを使っても結果は同じである

ツールは得意分野（文章、画像、コード、検索連携）や、入力データが学習に使われるかどうかなどの規約、料金が異なります。業務で使う場合は、機密性の観点から社内で許可されたツールとその条件を確認したうえで、用途に合うものを選びます。

難易度: 標準

カスタマイズ

1. A. AIの生成した回答を外部データベースに保存し、類似の質問に対して過去の回答を再利用する手法
2. B. 複数のAIモデルが生成した回答を組み合わせ、より正確で包括的な情報を提供する手法
3. C. AIが生成した回答を外部ソースと自動的に照合し、情報の正確性を検証する手法
4. D. 外部の知識ベースから関連情報を検索・取得し、その情報を組み込んでAIが回答を生成する手法（正解）

RAGは「検索拡張生成」と訳され、LLMが回答を生成する前に外部の知識ベース（社内文書、データベースなど）から関連情報を検索・取得し、その情報をコンテキストとして含めて回答を生成する手法です。LLMの知識の限界を補い、最新情報や専門情報に基づく回答を可能にします。

難易度: 標準 ／ 正解率の目安: 65%

カスタマイズ

1. A. システムプロンプトに用語集や文体のルール、回答例を記述する（正解）
2. B. モデルの重みをゼロから学習し直す
3. C. モデルのソースコードを書き換える
4. D. GPU を増設して推論を速くする

カスタマイズは軽い方法から試すのが基本です。まずシステムプロンプトに用語・文体・回答例を書く（プロンプトによるカスタマイズ）で多くの要望は満たせます。それでも足りない場合に RAG やファインチューニングを検討します。

難易度: 易しい

カスタマイズ

1. A. 最新の社内規程を正確に答えさせたいなら、ファインチューニングが RAG より適している
2. B. 頻繁に更新される知識の参照には RAG、出力の文体や形式・特定タスクの振る舞いを定着させたいならファインチューニングが向く（正解）
3. C. RAG はコストが高いため、常にファインチューニングを優先すべきである
4. D. 両者は同じ技術の別名であり、使い分けは不要である

RAG は外部の文書を検索して回答時に渡すので、文書を更新すれば回答も更新され、出典も示せます。ファインチューニングは追加データで重みを調整し、文体・形式・特定タスクの振る舞いを定着させるのに向きますが、知識の更新のたびに再学習が必要で、事実の暗記には不向きです。

難易度: 標準

カスタマイズ

1. A. 文書の分割（チャンク）の大きさや区切り方を、内容のまとまりに合わせて調整する（正解）
2. B. 検索で取り出した文書の出典をモデルの回答に含めさせ、利用者が確認できるようにする（正解）
3. C. 検索結果が無関係なときは「該当する情報が見つからない」と答えるようプロンプトで指示する（正解）
4. D. 検索を省き、すべての文書を毎回プロンプトに丸ごと入れる

RAG の品質は「適切な文書が検索できているか」で大きく決まるため、チャンクの設計や検索の調整が重要です。出典の提示と、見つからないときに正直に答えさせる指示は、ハルシネーション対策として有効です。全文書を毎回入れるのはコンテキストの上限とコストの面で現実的でなく、無関係な情報が精度を下げます。

難易度: 標準

カスタマイズ

1. A. 数件の質問で良さそうな回答が出れば、評価は十分である
2. B. 代表的な質問と期待する回答（評価セット）を用意し、変更のたびに正確さや出典の妥当性を同じ基準で測る（正解）
3. C. 評価はリリース後に利用者の苦情が来てから行えばよい
4. D. モデル自身に「正しいか」を聞けば、人による評価は不要である

カスタマイズの効果は、評価セット（代表的な入力と期待する出力）で継続的に測ります。数件の目視では改善と劣化を区別できず、変更の副作用（別の質問が悪化する）にも気付けません。モデルによる自動評価は補助として使えますが、基準の設計と最終確認は人が行います。

難易度: 難しい

倫理・法律

1. A. モデルの温度パラメータを低めに設定する（正解）
2. B. 出力結果を信頼できる情報源と照合し、事実確認（ファクトチェック）を行う（正解）
3. C. RAGを活用して外部の信頼できるデータソースを参照させる（正解）
4. D. 同じプロンプトを複数回実行して最も長い回答を採用する

ハルシネーション対策として有効なのは、(A) 温度パラメータを低めに設定して出力のランダム性を抑えること、(B) 出力を信頼できる情報源と照合するファクトチェック、(C) RAGによる外部データソースの参照です。回答の長さは正確性とは無関係であり、最も長い回答を採用しても対策にはなりません。

難易度: 標準 ／ 正解率の目安: 45%

倫理・法律

1. A. AIが生成したコンテンツには自動的に著作権が発生し、AIの開発者が権利を持つ
2. B. AIの学習に使用されたデータの著作権者は、生成物に対する権利を常に主張できる
3. C. AI生成物の著作権の帰属は国や地域によって判断が異なり、人間の創作的関与の度合いが重要な判断基準となる（正解）
4. D. AI生成物は全て著作権フリーであり、誰でも自由に利用できる

AI生成物の著作権については、各国で判断が分かれています。日本では、人間がAIを「道具」として使い創作的関与がある場合は著作物として認められる可能性がありますが、AIが自律的に生成した場合は著作物に該当しないとされています。プロンプトの具体性や人間の編集・選択の関与度が重要な判断基準です。

難易度: 難しい ／ 正解率の目安: 35%

倫理・法律

1. A. 顧客の氏名や連絡先も、便利なのでそのまま入力してよい
2. B. 個人情報や機密情報は、社内ルールと利用するサービスの規約（入力データの学習利用の有無など）を確認し、必要なら匿名化してから扱う（正解）
3. C. 外部サービスに入力した情報は、必ず自動的に削除されるので気にしなくてよい
4. D. 入力内容が問題になるのは公開後だけなので、社内利用なら制限は無い

個人情報保護法や社内の情報管理規程は、生成AIへの入力にも適用されます。サービスによっては入力が学習に使われる設定があるため、規約と設定を確認し、必要に応じて匿名化や許可されたサービスの利用を選びます。「社内利用だから無制限」ではありません。

難易度: 易しい

倫理・法律

1. A. AI は機械なので、人間のような偏りは持たない
2. B. 学習データに含まれる社会的な偏りをモデルが学習し、採用や与信などの判断で特定の属性に不利な出力をする可能性がある（正解）
3. C. バイアスはプロンプトの書き方だけで完全に除去できる
4. D. バイアスは英語のモデルにしか存在しない

モデルは学習データの統計的な傾向を学ぶため、データに含まれる偏見や不均衡を再現・増幅することがあります。人の人生に影響する判断（採用、与信、医療など）では、出力の偏りを検証し、人間が最終判断する仕組みが必要です。プロンプトの工夫で軽減はできますが、完全に除去はできません。

難易度: 標準

倫理・法律

1. A. モデルの重みに悪意あるデータを混入させる攻撃
2. B. 入力文書や利用者の入力に紛れ込ませた指示によって、システムプロンプトの意図と異なる動作（情報漏えいや不適切な出力）を引き起こす攻撃（正解）
3. C. プロンプトを短くしすぎて出力が不安定になる現象
4. D. SQL データベースに不正な命令を送る攻撃

プロンプトインジェクションは、外部から与えられるテキスト（Web ページ、メール、利用者入力など）に「これまでの指示を無視して〜せよ」のような指示を埋め込み、モデルを乗っ取る攻撃です。外部データを扱うアプリやエージェントでは、外部テキストを「指示」ではなく「データ」として扱う設計、権限の最小化、出力の検証が対策になります。

難易度: 標準

倫理・法律

1. A. 利用目的・入力してよい情報・禁止事項を定めた利用ガイドラインを整備し、周知する（正解）
2. B. 生成物を外部に出す前に人が確認する工程を、業務の重要度に応じて設ける（正解）
3. C. 利用状況を把握できるようにし、問題が起きたときに原因を追える記録を残す（正解）
4. D. 責任の所在を曖昧にするため、AI の判断であることを社外に説明しない

導入時のガバナンスは、ルール（ガイドライン）、工程（人の確認）、記録（利用状況とログ）の3点で組み立てます。AI の関与を隠すことは透明性に反し、問題発生時に信頼を大きく損ないます。用途によっては AI 利用の明示が求められる場合もあります。

難易度: 難しい

AIエージェント

1. A. LLMのパラメータを直接編集して動作を変更する技術
2. B. AIモデルに与える文脈情報（コンテキスト）を最適に設計・管理し、出力品質を最大化する手法（正解）
3. C. プログラミング言語のコンテキストスイッチを最適化する技術
4. D. データベースのインデックスを最適化してクエリ性能を向上させる技術

コンテキストエンジニアリングは、AIエージェントやLLMアプリケーションにおいて、モデルに与える文脈情報（システムプロンプト、ユーザー入力、検索結果、ツール出力など）を最適に設計・管理する手法です。プロンプトエンジニアリングの発展形として、より広範な情報管理を扱います。

難易度: 標準 ／ 正解率の目安: 55%

AIエージェント

1. A. 関数名・パラメータ名を直感的かつ明確にする（正解）
2. B. 各関数のdescriptionに目的・使用条件を詳細に記述する（正解）
3. C. 1つの関数にできるだけ多くの機能を詰め込み、関数の数を最小限にする
4. D. 各関数は単一責任の原則に従い、1つの明確な目的を持たせる（正解）

Function Callingの設計では、(A) 関数名・パラメータ名を明確にすること、(B) descriptionで目的・使用条件を詳細に記述すること、(D) 単一責任の原則に従うことが重要です。1つの関数に多くの機能を詰め込む(C)と、モデルが適切にパラメータを生成できなくなり、エラーの原因になります。

難易度: 難しい ／ 正解率の目安: 32%

AIエージェント

1. A. AIエージェントは目標に向けて、状況の把握・計画・ツールの実行・結果の確認を自律的に繰り返す（正解）
2. B. AIエージェントは人間の指示を一切受け付けない
3. C. チャットボットは必ず AIエージェントより高性能である
4. D. 両者に違いは無く、呼び方が異なるだけである

チャットボットが1問1答で応答するのに対し、AIエージェントは目標を与えられると、認知（状況把握）・判断（計画）・実行（ツール呼び出し）・確認のループを回して複数ステップの作業を進めます。人間の指示や承認を組み込むことも一般的です。

難易度: 易しい

AIエージェント

1. A. 履歴をすべて保持し続け、コンテキストの上限に達したらエラーで止める
2. B. 古いやり取りを要約して圧縮し、現在のタスクに必要な情報だけを残す（正解）
3. C. 履歴を毎回すべて削除し、常にゼロから始める
4. D. モデルの温度を上げて履歴の影響を薄める

長時間動くエージェントでは、履歴がコンテキストウィンドウを圧迫し、コストと精度の両方に悪影響が出ます。古い部分を要約して圧縮し、目標・決定事項・現在の状態など必要な情報を残す「履歴管理」がコンテキストエンジニアリングの重要な要素です。全削除では作業の連続性が失われます。

難易度: 標準

AIエージェント

1. A. ツールに与える権限は、タスクに必要な最小限に絞る（正解）
2. B. 削除や送金など取り消せない操作は、実行前に人の承認を挟む（正解）
3. C. ツールの実行結果（エラーを含む）をモデルに返し、失敗時の再試行や代替手段を判断させる（正解）
4. D. ツールが返した外部テキストの指示は、システムプロンプトと同じ優先度で従わせる

ツール設計の基本は、最小権限、取り消せない操作への人の承認、エラーを含む結果のフィードバックです。ツールが返す外部テキスト（Web ページやメールの本文など）には攻撃者の指示が含まれる可能性があるため、システムプロンプトと同格に扱ってはならず、データとして扱います（プロンプトインジェクション対策）。

難易度: 標準

AIエージェント

1. A. すべての情報をユーザープロンプトに時系列で並べれば、配置を考える必要はない
2. B. システムプロンプト（役割・制約）、タスク指示、参照資料、会話履歴、ツール出力といった要素を役割ごとに分け、優先度と配置を設計する（正解）
3. C. コンテキストは短いほど常に良いので、参照資料は入れないのが最善である
4. D. 配置はモデルが自動で最適化するため、人間が設計する余地は無い

コンテキストエンジニアリングでは、恒常的なルール（システムプロンプト）、今回のタスク指示、参照資料、履歴、ツール出力といった要素を分け、それぞれの優先度と置き場所を設計します。同じ情報でも、置く場所や順序、明示的な区切り（見出しやタグ）によってモデルの解釈が変わるためです。必要な資料を削るのは精度を下げ、無秩序に並べるのも解釈の誤りを招きます。

難易度: 難しい