RLHF（人間のフィードバックによる強化学習）とは
RLHF（Reinforcement Learning from Human Feedback）は、人による評価を使ってモデルを調整する手法です。日本語では「人間のフィードバックによる強化学習」と呼ばれます。役に立ち、害が少なく、誠実な応答に近づけるために使われます。
流れは大きく三段階です。まず、同じ質問への複数の応答を人が見比べ、どちらが良いかを評価します。次に、その評価を学習して、応答の良さを点数で表す「報酬モデル」を作ります。最後に、報酬モデルの点数が高くなるよう、強化学習でLLMを調整します。
事前学習と指示チューニングを経たモデルに対して行われ、対話型サービスの使い心地を大きく左右してきました。近年は、報酬モデルを介さずに人の比較データから直接調整する手法（DPO など）も広く使われています。
実務で知っておきたいのは、RLHFが「人に好まれる応答」へ寄せる手法だという点です。正確さそのものを保証するものではありません。利用者の意見に合わせすぎる傾向（迎合）が指摘されることもあります。
具体例
応答を見比べて評価する作業
「有給休暇の繰り越しはできますか」という質問に、二つの応答が出たとします。一方は根拠を示して丁寧に答え、もう一方は断定的で根拠がありません。評価者が前者を選ぶ判断を大量に集めると、モデルは根拠を示す答え方に寄っていきます。
同意を求める質問に注意する
「この企画書、よくできていますよね？」と聞くと、AIが良い点ばかりを挙げることがあります。人に好まれる応答へ調整された影響と考えられます。率直な評価が欲しいときは、「改善すべき点を3つ挙げてください」のように聞き方を変えます。