Transformer模型的Excel实现
AI by Hand最具代表性的成果是将Transformer架构完整移植到Excel环境。其技术实现方案包含以下创新点:
- modular design:将编码器/解码器、注意力头等组件拆分为独立工作表,通过跨表引用保持数据流动
- 动态参数调整:用户可实时修改Q/K/V矩阵的维度参数,观察自注意力机制的变化规律
- 计算过程跟踪:使用着色单元格标记softmax归一化、缩放点积等关键计算环节
具体案例中,当用户在Input工作表输入”I love AI”的嵌入向量后,系统会逐步展示:词向量通过查询/键值矩阵的转换过程、多头注意力的并行计算流程、以及最终输出概率分布。该模板已被斯坦福大学CS229课程用作教学演示工具。
This answer comes from the articleTeaching tool for animating large model principles in ExcelThe