LoRA: meaning and usage

LoRAはLow-Rank Adaptationの略で、事前学習済みモデルの重みを固定し、各層に低ランクの行列分解で表した学習可能な差分を追加する方法です。LoRAの原論文は、Transformerの各層へ低ランク行列を注入し、下流タスクに合わせてその行列だけを学習することで、学習対象のパラメータ数を減らす構成を提案しています。元モデルを用途ごとに全面コピーする代わりに、小さなアダプターのような差分を保存し、推論時に本体と組み合わせる使い方ができます。LoRAはPEFTの一手法であり、PEFT全体やFine-tuning全体と同じ意味ではありません。ランク、挿入する層、学習データ、量子化との併用、推論時のマージ方法によって、必要なメモリ、速度、品質、互換性が変わります。元モデルのライセンスと、追加学習データの権利も別に確認します。既存の推論基盤が低ランク差分の読み込みに対応するかも確認します。

追加分だけを学習・保存して大規模モデルを用途別に調整できるため、PEFTの代表的な実装として使われます。

現在はランク、対象層、学習率、合成方法、ベースモデルとアダプターのライセンスを含めて検証します。