Pre-training
読み方は「プレトレーニング」。意味と使われ方を根拠つきで確認できます。
公式・公的資料で確認
30秒で分かる答え
Pre-trainingは、モデルを特定の業務へ調整する前に、幅広いデータを使って基本的なパターンや表現を学習させる段階です。大規模言語モデルでは大量の文章などから次のトークンを予測する学習が代表例です。Fine-tuningやInstruction Tuningの前段にあたります。
大量データでモデルを最初に学習させる段階
Pre-trainingの意味・使い方
要点と背景
大量データでモデルを最初に学習させる段階
Pre-trainingは、モデルを特定の用途へ適応させる前に、幅広いデータから一般的なパターンや表現を学習させる初期学習段階です。Googleの機械学習用語集は、LLMを大規模な一般データセットで最初に訓練する段階として説明し、その後にFine-tuning、Distillation、Instruction Tuning、Parameter-Efficient Tuningなどを行う流れを示しています。言語モデルでは、入力されたトークンから次のトークンを予測する学習が代表的ですが、画像や音声など別のデータ形式では学習目的が変わります。Pre-trainingで得られたモデルは、すぐに特定業務へ最適化されているとは限らず、指示に従う能力、出力形式、安全性、専門領域への適合は別の学習や評価で確認します。学習データの出所、権利、重複、偏り、除外処理も、モデルの挙動やリスクに影響します。Pre-trainingを行ったという事実だけで、最新情報や高い正確性を意味しません。
使われる分野・文脈
掲載データの使用場面
確認時の注意
断定を避けるポイント
Google公式用語集で、広範なデータを使う初期学習段階と、その後の追加調整との関係を確認した。学習済みであることと、特定業務への適合は分けて記録する。
関連する用語
同じ分野・使用文脈から探す
根拠資料と確認状況
確認日・出典
公式・公的資料で確認
最終確認2026/8/21
読み方と意味を、
分けて確認。
正式名称、意味、使われる分野を分けて記録しています。