DeepSeek-R1-FP4 是 NVIDIA 基于 DeepSeek AI 的 DeepSeek-R1 模型开发的开源语言模型，采用 FP4 量化技术进行优化。该模型通过 TensorRT Model Optimizer 将权重和激活值量化为 FP4 数据类型，显著降低了资源需求，同时保持了高性能。量化后的模型磁盘空间和 GPU 内存占用减少了约 1.6 倍，使其非常适合在生产环境中进行高效推理。
DeepSeek-R1-FP4 特别针对 NVIDIA 的 Blackwell 架构进行了优化，推理速度提升高达 25 倍，每 token 成本降低 20 倍。此外，该模型支持长达 128K 的上下文长度，适用于处理复杂文本任务。模型的开源特性允许商业和非商业用途的自由使用，为开发者提供了一个高性价比的 AI 解决方案。
This answer comes from the articleDeepSeek-R1-FP4: FP4-optimized version of DeepSeek-R1 inference 25x fasterThe
May not be reproduced without permission:AI productivity tools " DeepSeek-R1-FP4 是 NVIDIA 通过 FP4 量化技术优化的高性能开源语言模型
English 
简体中文 
日本語 
Deutsch 
Português do Brasil