Token
読み方は「トークン」。意味と使われ方を根拠つきで確認できます。
複数資料で一致
30秒で分かる答え
AIでいうトークンは、モデルが文章や画像などの入力・出力を処理するときに使う単位です。単語や文字と必ず一致するわけではなく、モデルや言語、記号によって分け方が変わります。料金や文脈長の計算にも関係します。
AIモデルが入力や出力を処理する単位に分けたデータ
Tokenの意味・使い方
要点と背景
AIモデルが入力や出力を処理する単位に分けたデータ
AIモデルにおけるトークンは、入力や出力をモデルが処理するために分割した単位です。英語の単語全体になる場合もあれば、単語の一部、記号、空白などになる場合もあり、日本語の文字数と一対一には対応しません。どのように分割されるかは、モデルやトークナイザー、入力言語によって変わります。トークン数は、モデルへ一度に渡せる文脈の上限、入出力の使用量、処理コストの見積もりに関係します。OpenAIの公式資料では、リクエストの構造を表す書式用トークンも入力トークン数に含まれる場合が説明されています。したがって、文字数だけでトークン数や料金を正確に見積もらず、利用するモデルやAPIのカウント方法を確認します。画像やファイルも、対応するモデルでは処理用のトークンとして数えられることがあります。上限を超えると入力の切り詰めやエラーが起きるため、長い履歴の管理にも関係します。入力の数え方はモデル提供元の仕様確認が必要です。
使われる分野・文脈
掲載データの使用場面
確認時の注意
断定を避けるポイント
OpenAIとGoogle Cloudの公式資料で、トークン数が入力形式・文脈長・使用量に関係することを確認した。単語数や日本語文字数との単純な同一視は避ける。
関連する用語
同じ分野・使用文脈から探す
根拠資料と確認状況
確認日・出典
複数資料で一致
最終確認2026/8/21
調査した根拠と項目別の確認履歴をもとに掲載しています。
読み方と意味を、
分けて確認。
正式名称、意味、使われる分野を分けて記録しています。