DeepSeek-R1-FP4 是 NVIDIA 基于 DeepSeek AI 的 DeepSeek-R1 模型开发的开源语言模型，采用 FP4 量化技术进行优化。该模型通过 TensorRT Model Optimizer 将权重和激活值量化为 FP4 数据类型，显著降低了资源需求，同时保持了高性能。量化后的模型磁盘空间和 GPU 内存占用减少了约 1.6 倍，使其非常适合在生产环境中进行高效推理。
DeepSeek-R1-FP4 特别针对 NVIDIA 的 Blackwell 架构进行了优化，推理速度提升高达 25 倍，每 token 成本降低 20 倍。此外，该模型支持长达 128K 的上下文长度，适用于处理复杂文本任务。模型的开源特性允许商业和非商业用途的自由使用，为开发者提供了一个高性价比的 AI 解决方案。
Diese Antwort stammt aus dem ArtikelDeepSeek-R1-FP4: FP4-optimierte Version von DeepSeek-R1 Inferenz 25x schnellerDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " DeepSeek-R1-FP4 是 NVIDIA 通过 FP4 量化技术优化的高性能开源语言模型
Deutsch 
简体中文 
English 
日本語 
Português do Brasil