Prompt Cachingの意味

Prompt Cachingは、複数のリクエストで繰り返し使うプロンプトの一部を、一定期間再利用できるようにする最適化手法です。対象には長いシステム指示、ツール定義、共通の文書、会話の前半などがなり得ます。OpenAIとAnthropicはいずれも、再利用できる入力部分をキャッシュすることで、繰り返し処理の遅延や入力コストを抑えられる仕組みを公式資料で案内しています。ただし、どこまでをキャッシュできるか、最小トークン数、キャッシュの有効時間、無効化条件、適用される料金、対応モデルはサービスごとに違います。ユーザーごとの最新情報を自動保存する機能や、モデルを追加学習するFine-tuningとは別の仕組みです。機密情報を含むプロンプトでは、キャッシュの分離、保持期間、アクセス範囲、削除条件を確認して設計します。再利用される部分と毎回変わる部分の境界を誤ると、古い指示や別ユーザーの文脈が混ざるおそれがあるため、実際の提供元の仕様とログで確認します。

共通のシステム指示や文書を毎回新規処理せずに済むため、反復的なAPI利用の効率化に役立ちます。

現在はキャッシュの有効期間、対象範囲、料金、更新時の無効化、機密情報の保持条件を確認します。