Low-Rank Adaptation
低ランク適応元のモデル重みを固定し、Transformerの層などへ追加した低ランク行列だけを学習する方法です。学習パラメータを減らしやすい一方、ランクや挿入位置などの設定で結果が変わります。
公式・公的資料で確認Low-Rank Adaptationは、モデルの既存重みを凍結し、重みの更新差分を低ランク行列の積として表して、その小さな行列だけを学習する方法です。原論文ではTransformerの各層への適用が提案され、全面的なFine-tuningより学習対象を小さくすることを狙います。保存や用途切り替えの効率を高められる一方、対象モデルの構造、ランク、学習データ、推論時の統合方法を確認する必要があります。 LoRAは、元モデルの重みを直接更新せず、低ランクの追加行列を学習するFine-tuning手法です。 追加分だけを学習・保存して大規模モデルを用途別に調整できるため、PEFTの代表的な実装として使われます。 現在はランク、対象層、学習率、合成方法、ベースモデルとアダプターのライセンスを含めて検証します。