HRM(Hierarchical Reasoning Model)是一种专为复杂推理任务设计的层级式推理模型,其核心特点是通过模仿人脑的多时间尺度信息处理机制来执行高效推理。该模型的关键特性如下:
- 参数规模:仅有2700万参数,相比传统大模型更为轻量
- 结构设计:采用双模块循环神经网络架构:
- 高层模块(负责抽象规划)
- 低层模块(处理具体计算)
- 工作机制:通过单次前向传播就能完成序列推理,无需中间过程监督
设计灵感直接来源于认知科学领域对人脑工作方式的研究,特别是:
- 大脑皮层的层级信息处理机制
- 不同脑区处理信息的时间尺度差异
- 抽象思维与具象计算的协同工作模式
本答案来源于文章《HRM:用于复杂推理的分层推理模型》