Multimodal AIの意味

Multimodal AIは、テキスト、画像、音声、動画、コードなど、複数の種類のデータを組み合わせて扱うAIやモデルを指す言葉です。Anthropicは画像をメッセージの入力として扱い、画像の内容を分析するVision機能を説明しています。OpenAIもモデルの入力形式としてテキストや画像などをモデルごとに案内しています。複数のモダリティを扱うことで、画像付きの質問、文書の視覚的な読み取り、音声とテキストの組み合わせなどが可能になります。ただし、対応する入力と出力、ファイル形式、解像度、長さ、変換方法、料金、精度はモデルやサービスによって異なります。Multimodal AIは、単に複数のファイルを受け付けるUIの名称ではなく、異なる形式の情報をモデルの処理へ組み込む能力を表す概念です。画像や音声の認識結果も誤る可能性があるため、重要な情報は元データと照合します。画像を理解できることと、画像内の事実を完全に検証できることも別の能力です。

異なるモダリティを組み合わせることで、画像を見て説明するなど単一入力では難しい処理を実現できます。

現在は入力形式ごとの精度、同期、容量、プライバシー、誤認識、対応モデルの範囲を評価して使います。