海外からのアクセス：www.kdjingpai.com

Ctrl + D このサイトをブックマークする

現在の場所図頭 " AIアンサー

什么是MoBA？它的核心目标是什么？

2025-09-05

1.4 K

MoBA（Mixture of Block Attention）是由MoonshotAI开发的创新注意力机制，专为长上下文处理的大语言模型（LLMs）设计。其核心目标是解决传统注意力机制在处理长序列时计算效率低下的问题。

具体的な実現は以下の通り：

将全上下文划分为多个块，每个查询token学习关注最相关的KV块
采用无参数top-k门控机制选择最具信息量的块
支持全注意力和稀疏注意力模式间无缝切换

这种设计使MoBA在保持模型性能的同时，显著提升了长上下文任务的计算效率，已成功应用于Kimi的长上下文处理需求。

この答えは記事から得たものである。MoBA：長い文脈処理のためのキミの大規模言語モデルについて

関連記事

無断転載を禁じます：AI生産性ツール " 什么是MoBA？它的核心目标是什么？

おすすめ

日本語