Mixture of Experts

公式・公的資料で確認

30秒で分かる答え

Mixture of Expertsは、複数の専門サブモデルと、それらへ入力を振り分けるルーターを組み合わせるモデル構成です。すべてのパラメータを毎回使わず、一部のExpertsだけを選んで計算することで、モデル容量と計算量のバランスを取ります。ルーティングや通信の設計が難しくなる場合があります。

入力ごとに一部の専門サブモデルを選んで処理するモデル構成

入力ごとに一部の専門サブモデルを選んで処理するモデル構成

Mixture of Expertsは、複数の専門的なサブネットワークを用意し、入力のトークンや例ごとにルーターが利用するExpertsを選ぶモデル構成です。Switch Transformerの論文では、疎なMixture-of-Expertsを使い、入力ごとに一つのExpertを選ぶことで、計算量を大きく増やさずにモデルのパラメータ規模を拡張する構成が研究されています。モデル全体のパラメータ数と、一回の入力で実際に計算されるパラメータ数が一致しない点が特徴です。一方、ルーターの負荷分散、Expert間の通信、学習の安定性、実行環境、メモリ配置などに複雑さが生じます。Mixture of Expertsという名称は、すべての実装が同じルーティング方式や速度特性を持つことを意味しません。総パラメータ数が大きいから、そのまま推論コストや品質が比例して大きいと推測せず、稼働時のアクティブパラメータ、ハードウェア、モデル仕様を確認します。

公式・公的資料で確認

2026/8/21

調査した根拠と項目別の確認履歴をもとに掲載しています。

• Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity