Mixture of Expertsの意味

Mixture of Expertsは、複数の専門的なサブネットワークを用意し、入力のトークンや例ごとにルーターが利用するExpertsを選ぶモデル構成です。Switch Transformerの論文では、疎なMixture-of-Expertsを使い、入力ごとに一つのExpertを選ぶことで、計算量を大きく増やさずにモデルのパラメータ規模を拡張する構成が研究されています。モデル全体のパラメータ数と、一回の入力で実際に計算されるパラメータ数が一致しない点が特徴です。一方、ルーターの負荷分散、Expert間の通信、学習の安定性、実行環境、メモリ配置などに複雑さが生じます。Mixture of Expertsという名称は、すべての実装が同じルーティング方式や速度特性を持つことを意味しません。総パラメータ数が大きいから、そのまま推論コストや品質が比例して大きいと推測せず、稼働時のアクティブパラメータ、ハードウェア、モデル仕様を確認します。

すべてのパラメータを毎回計算せず、ルーターが一部のExpertを選ぶことで大規模化と計算効率の両立を狙えます。

現在はルーティングの偏り、通信、メモリ配置、推論時の実装対応が性能と運用コストに影響します。