MoEアーキテクチャがもたらした技術的ブレークスルー
GLM-4.5が採用したMixture of Expertsアーキテクチャは、その中核となる技術革新である。このアーキテクチャは、全パラメータの代わりに320億個のパラメータ（GLMAirは120億個）を動的に活性化することで、従来の密なモデルと比較して60-70%の計算量を削減する。実装面では、モデルには複数の専門家サブネットワークが含まれ、各入力トークンは処理のために最も関連性の高い2〜4人の専門家にルーティングされる。 この選択的活性化メカニズムにより、モデル容量を維持しながら推論効率を劇的に向上させる。
実際の導入テストによると、GLM-4.5-Airバージョンは16GBのGPUメモリ（INT4量子化後は12GB）のみで動作し、同容量の高密度モデルと比較して40%のビデオメモリを節約できる。長いテキスト処理のシナリオでは、独自のコンテキスト・キャッシング・テクノロジーにより、重複計算が30%削減されます。これらの機能により、RTX3090のようなコンシューマー向けGPUで動作する初の1000億パラメータレベルのマルチモーダルモデルとなり、企業展開の敷居を大幅に下げることができます。
この答えは記事から得たものである。GLM-4.5: 知的推論とコード生成をサポートするオープンソースのマルチモーダル大規模モデルについて
