Context Windowの意味

Context Windowは、生成AIモデルが一度の処理で参照できる情報の範囲を指します。Google Cloudは、モデルへ渡す情報を短期記憶にたとえ、入力できる情報量には限りがあると説明しています。実際のリクエストでは、システム指示、ユーザー入力、会話履歴、検索で取得した資料、画像やファイル、モデルの出力などがこの範囲に関係します。上限は多くの場合トークン数で表され、モデルや入力形式によって計算方法が違います。範囲を超えると、古い履歴を削る、要約する、検索で必要な資料だけを渡す、エラーになるなどの対応が必要になります。長い文脈を扱えるモデルでも、情報が多すぎれば重要部分の見落とし、コスト増、遅延、検索精度の変化が起こりえます。Context Windowの大きさはモデルの仕様の一項目であり、知識の新しさ、事実性、推論能力、保存機能を意味しません。会話が長いからといって、次のセッションへ内容が自動で引き継がれるわけでもありません。

履歴や文書をどこまで同時に渡せるかを決めるため、長文処理、会話、RAGの設計に直接影響します。

現在は上限内でも情報の位置や量で性能が変わるため、トークン計測、要約、検索、費用を実測します。