Tokenの意味

AIモデルにおけるトークンは、入力や出力をモデルが処理するために分割した単位です。英語の単語全体になる場合もあれば、単語の一部、記号、空白などになる場合もあり、日本語の文字数と一対一には対応しません。どのように分割されるかは、モデルやトークナイザー、入力言語によって変わります。トークン数は、モデルへ一度に渡せる文脈の上限、入出力の使用量、処理コストの見積もりに関係します。OpenAIの公式資料では、リクエストの構造を表す書式用トークンも入力トークン数に含まれる場合が説明されています。したがって、文字数だけでトークン数や料金を正確に見積もらず、利用するモデルやAPIのカウント方法を確認します。画像やファイルも、対応するモデルでは処理用のトークンとして数えられることがあります。上限を超えると入力の切り詰めやエラーが起きるため、長い履歴の管理にも関係します。入力の数え方はモデル提供元の仕様確認が必要です。

Tokenは、言語モデルが文章を処理する際に入力を分割して扱う単位です。 AIモデルが入力や出力を処理する単位に分けたデータで、LLM、API利用量、文脈長、料金見積もり、プロンプト設計で使われます。

入力長、料金、計算量、コンテキストの上限を考える基準になるため、モデル利用の見積もりに必要です。

現在はモデルや言語で分割が変わり、文字数とToken数を同じものとみなさず実際のTokenizerで確認します。