当前位置：首页 » AI答疑

如何使用DeepGEMM进行基本的FP8 GEMM运算？

2025-08-30

1.3 K

以下是使用 DeepGEMM 进行基本 FP8 GEMM 运算的步骤：

导入库和函数：
import torch from deep_gemm import gemm_fp8_fp8_bf16_nt
准备输入数据（矩阵 A 和 B，必须是 FP8 格式）：
A = torch.randn(1024, 512, dtype=torch.float8_e4m3fn).cuda() B = torch.randn(512, 1024, dtype=torch.float8_e4m3fn).cuda()
调用函数进行矩阵乘法：
C = gemm_fp8_fp8_bf16_nt(A, B) print(C)

注意事项：

快速查询站内AI工具