Post-trainingの意味

Post-trainingは、Pre-training済みのモデルに対して、利用目的に合わせた追加学習や調整を行う工程を指す比較的新しい総称です。Googleの生成AI用語集は、Post-trained modelを、事前学習済みモデルにDistillation、Fine-tuning、Instruction Tuningなどの後処理を加えたものとして説明しています。一般には、ユーザーの指示に従いやすくするInstruction Tuning、好ましい出力を学習する選好最適化、人間の評価を使うRLHF、特定用途へのFine-tuning、より小さいモデルへ知識を移すDistillationなどが文脈に応じて含まれます。ただし、すべての提供元が同じ工程をPost-trainingと呼ぶわけではなく、学習データ、順序、評価、モデルの重みを更新する範囲も異なります。Post-trainingによって出力の形式や指示追従が改善する場合でも、事実性、最新情報、特定業務の安全性が自動的に保証されるわけではありません。モデルカードや評価結果で、どの調整が行われたかを確認します。

Instruction Tuning、Fine-tuning、RLHF、Distillationなどを文脈に応じて組み合わせ、出力の振る舞いを調整します。

現在も提供元によって含む工程が異なるため、モデルカードや評価結果で実施内容と範囲を確認します。