Bidirectional Encoder Representations from Transformers
Transformerによる双方向エンコーダ表現Transformerのエンコーダを使い、文の左右の文脈を同時に学習して、分類や質問応答などへ微調整できるモデルです。
公式・公的資料で確認BERTは、左右両方向の文脈を使って言語表現を学習するエンコーダ型モデルとして登場しました。 分類や質問応答など文章理解タスクへ追加学習でき、生成だけではないNLPモデルの使い方を示します。 現在は言語、Tokenizer、入力長、派生モデル、評価、ライセンスを確認し、チャット生成モデルとは区別します。