インクルーシブ・コンピューティング
AingDeskは、マルチレベルの最適化技術により、大規模なモデルを実行するための要件を家庭用コンピュータの手の届く範囲まで削減します:
- 最小構成:Intel i5-8250U/Ryzen 5 2500Uプロセッサー + 8GB RAM + 10GB SSD
- 量子化技術:4ビットモデル量子化スキームがデフォルトで採用され、FP16の精度と比較して3.2%の精度損失しかない
- 動的オフロード:ビデオメモリ/メモリデータ交換のインテリジェントな管理、8GBデバイスで動作する6Bパラメータモデルをサポート
実用的なテストによれば、レノボのシャオシンAir14のような主流の薄型軽量ノートブックでは、AingDeskは15token/sの世代速度を維持することができ、これは研究グレードのアプリケーションの基本要件を満たしている。
この答えは記事から得たものである。AingDesk:パソコンにAIモデルとチャットインターフェースをワンクリックインストール(DeepSeekとの共同開発)について































