GLM-4.5シリーズでは、必要なハードウェアが異なります:
- GLM-4.5-Air(ライト)必要なGPUメモリは16GB(INT4は12GB)、CPUは32GB RAMでも動作可能だが、効率は落ちる。
- フルバージョンGLM-4.5マルチGPU環境に推奨、約32GBのビデオメモリが必要
- 一般要件CUDA 11.8+ GPUドライバ、Python 3.8+環境が必要です。
クラウド展開には、コンパイルに時間がかかるかもしれないvLLMサービス・フレームワークの使用を推奨する。開発者は、デプロイの難易度を下げるために、Hugging Faceが提供するコンパイル済みバージョンを選択することもできる。
この答えは記事から得たものである。GLM-4.5: 知的推論とコード生成をサポートするオープンソースのマルチモーダル大規模モデルについて