vLLMの意味

vLLMは、大規模言語モデルの推論とサービングを効率化するためのオープンソースライブラリおよび実行基盤です。公式ドキュメントは、vLLMをLLMの推論とサービングのための高速で使いやすいライブラリと説明し、オフラインのバッチ推論、オンラインサービング、分散推論などの利用方法を案内しています。vllm serveコマンドでモデルをHTTPサーバーとして起動し、OpenAI API互換のエンドポイントを利用できるため、既存のクライアントから接続しやすい構成を作れます。vLLMはモデルそのものではなく、モデルを実行・配信するためのソフトウェアです。利用時には、モデルのライセンス、必要なGPUやCPU、量子化、メモリ、同時実行数、バッチ処理、レイテンシー、認証やネットワーク公開の設定を別々に確認します。OpenAI互換であることは、すべてのAPI機能や挙動が同一であることを意味しません。対応するモデルのチャットテンプレートやパラメータにも依存します。読み方は日本語では「ブイエルエルエム」と表記するのが検索上わかりやすく、正式なカタカナ表記が一つに固定されているわけではありません。

モデルの品質だけでは、利用者からの同時リクエスト、GPUメモリ、待ち時間、運用費用を解決できません。推論を効率化しAPIとして公開する実行基盤を分けることで、モデル選定とサービス運用を切り分けて設計できます。

現在は、オフライン推論、オンラインサービング、分散推論、OpenAI API互換エンドポイントなどで使われます。ただし互換性や性能はモデル、量子化、GPU、設定に依存するため、導入時は実際の負荷で検証します。