vLLM

公式・公的資料で確認

30秒で分かる答え

vLLMは、大規模言語モデルの推論とサービングに使う高速なオープンソースライブラリです。ローカルのバッチ推論だけでなく、OpenAI互換APIを提供するサーバーとしてモデルを公開する用途にも使われます。

大規模言語モデルの推論とサービングを効率化するオープンソースライブラリ

大規模言語モデルの推論とサービングを効率化するオープンソースライブラリ

vLLMは、大規模言語モデルの推論とサービングを効率化するためのオープンソースライブラリおよび実行基盤です。公式ドキュメントは、vLLMをLLMの推論とサービングのための高速で使いやすいライブラリと説明し、オフラインのバッチ推論、オンラインサービング、分散推論などの利用方法を案内しています。vllm serveコマンドでモデルをHTTPサーバーとして起動し、OpenAI API互換のエンドポイントを利用できるため、既存のクライアントから接続しやすい構成を作れます。vLLMはモデルそのものではなく、モデルを実行・配信するためのソフトウェアです。利用時には、モデルのライセンス、必要なGPUやCPU、量子化、メモリ、同時実行数、バッチ処理、レイテンシー、認証やネットワーク公開の設定を別々に確認します。OpenAI互換であることは、すべてのAPI機能や挙動が同一であることを意味しません。対応するモデルのチャットテンプレートやパラメータにも依存します。読み方は日本語では「ブイエルエルエム」と表記するのが検索上わかりやすく、正式なカタカナ表記が一つに固定されているわけではありません。

公式・公的資料で確認

2026/8/22

調査した根拠と項目別の確認履歴をもとに掲載しています。

• vLLM Documentation