Vision-Language Modelの意味

Vision-Language Modelは、画像や動画などの視覚情報と、テキストなどの言語情報を同じ処理へ組み込むAIモデルの総称です。CLIPの論文では、画像エンコーダーとテキストエンコーダーを画像と説明文の対応関係で学習し、自然言語で視覚概念を指定して下流タスクへ転移する構成が研究されています。現在のVision-Language Modelには、画像と文章の類似度を測るモデル、画像について文章で回答するモデル、画像生成や文書理解に使うモデルなど複数の形式があります。視覚と言語を扱えることは、画像内のすべての文字、細かな位置関係、数値、時系列、現実の真偽を正確に理解できることを意味しません。解像度、画像枚数、動画長、対応形式、OCR性能、学習データ、出力形式はモデルごとに異なります。重要な判断では、元画像や別の検証経路と照合し、見えているように見える出力をそのまま事実とみなしません。

画像の説明、質問応答、検索などで視覚情報と言語指示を組み合わせられるため、単一モダリティでは扱いにくい入力に対応できます。

現在は画像解像度、OCR能力、入力形式、誤認識、機密画像の取り扱いを評価して使います。