RLHF: meaning and usage

RLHFはReinforcement Learning from Human Feedbackの略で、人間による出力の評価や順位づけを学習に利用し、モデルが望ましい応答を選びやすくする方法です。InstructGPTの論文では、まず人間が書いた指示と模範回答で教師あり調整を行い、次にモデル出力の順位データを集め、それを使って強化学習を行う流れが説明されています。目的は、単にモデルを大きくすることではなく、ユーザーの意図に沿う応答、役に立つ応答、害の少ない応答へ振る舞いを調整することです。人間の評価を使うため、評価基準、作業者の判断、対象となるプロンプト、報酬モデルの設計に依存します。ある価値観や用途に合わせた結果が、すべての利用者や場面で唯一正しいとは限りません。RLHFは安全性や正確性を完全に保証する機能ではなく、学習後の評価、失敗例の確認、モデルカード、利用時のガードレールと組み合わせて扱います。

RLHFは、人間の評価をモデルの出力方針へ反映するための学習手法として研究されました。

人間が望ましい出力を比較・評価し、その情報を報酬モデルや強化学習へ利用して指示への適合を高めます。

現在は評価者やデータの偏り、報酬設計、用途ごとの基準を確認し、安全性や正確性の保証とは分けて扱います。