Inference
Pronounced “in-fer-ens”. Check its meaning and usage context with sources.
Official source
The answer in 30 seconds
Inference is the process in which a trained model receives an input and produces a prediction, generated response, or other output. It is distinct from training the model's parameters.
The process of using a trained model to produce an output.
InferenceMeaning and usage
Key points and background
The process of using a trained model to produce an output.
Inferenceは、学習済みの機械学習モデルへ新しい入力を与え、予測や生成の結果を計算する処理です。Googleの機械学習用語集は、LLMでは入力プロンプトに対して応答を生成すること、一般の機械学習ではラベルのない例へ学習済みモデルを適用して予測することとして説明しています。ユーザーの要求ごとに結果を返すOnline InferenceやDynamic Inferenceと、複数の入力をまとめて処理して結果を保存するBatch Inferenceがあります。Inferenceの速度や費用は、モデルの大きさ、入力と出力のトークン数、ハードウェア、バッチサイズ、量子化、キャッシュ、ネットワークなどに左右されます。生成結果が返ったことは、内容が正しいことや、業務処理が完了したことを意味しません。モデルの学習、Fine-tuning、評価、Servingは関係しますが、Inferenceはその中の実行・予測段階として区別して扱います。
Domains and contexts
Usage contexts in the published data
Review notes
Points that prevent overclaiming
Inference latency, cost, and output depend on the model, hardware, input, serving system, and generation settings.
Related terms
Explore by domain and context
Sources and verification
Verification date and sources
Official source
Last verifiedAug 21, 2026
This entry is based on researched sources and item-level verification notes.
Understand the term,
then check
the context.
Expansions, meanings, domains, and evidence are shown separately so an abbreviation can be read in context.