以下是使用 DeepGEMM 进行基本 FP8 GEMM 运算的步骤：
- 导入库和函数::
import torch
from deep_gemm import gemm_fp8_fp8_bf16_nt - Preparing to enter data（矩阵 A 和 B，必须是 FP8 格式）：
A = torch.randn(1024, 512, dtype=torch.float8_e4m3fn).cuda()
B = torch.randn(512, 1024, dtype=torch.float8_e4m3fn).cuda() - 调用函数进行矩阵乘法::
C = gemm_fp8_fp8_bf16_nt(A, B)
print(C)
Caveats:
- 输入矩阵需位于 GPU 上，且格式需为 FP8（E4M3 或 E5M2）
- 输出结果为 BF16 格式，适合后续计算或存储
This answer comes from the articleDeepGEMM: An Open Source Library with Efficient Support for FP8 Matrix Operations (DeepSeek Open Source Week Day 3)The
May not be reproduced without permission:AI productivity tools " 如何使用DeepGEMM进行基本的FP8 GEMM运算？
English 
简体中文 
日本語 
Deutsch 
Português do Brasil