Transformerの意味

Transformerは、入力の各要素が他の要素とどの程度関係するかをAttentionで計算するニューラルネットワークのアーキテクチャです。原論文「Attention Is All You Need」では、従来の系列変換で中心的だった再帰や畳み込みを使わず、Attentionを中心にエンコーダとデコーダを構成する方法が提案されました。系列内の位置情報を扱うための仕組みや、複数のAttentionを並列に使う構成なども含まれます。Transformerという言葉は、特定の会社の製品や一つの完成済みモデルを指すものではありません。同じアーキテクチャを土台にしても、学習データ、層数、目的、入力形式、学習方法によってモデルの能力や挙動は変わります。現在のLLMとの関係を説明するときは、Transformerが構造上の土台であり、LLMはその構造を使って言語を扱う学習済みモデル、と分けて整理すると混同しにくくなります。

長い入力の関係を並列に扱えるため、現代の言語モデルや画像・音声モデルの基盤となっています。

現在はエンコーダ型・デコーダ型など構成が分かれ、モデルの用途、計算量、コンテキスト長を評価します。