浙江大学与联想团队联合提出 EM²Mem:构建多模态智能体的事件中心记忆方案

浙江大学与联想团队联合提出 EM²Mem:构建多模态智能体的事件中心记忆方案

近日,浙江大学与联想团队联合提出 **EM²Mem**,面向多模态智能体构建以“事件”为中心的记忆方案。该工作聚焦智能体在长程任务中面临的关键瓶颈:视觉、文本、语音及动作等多模态信息持续涌入,传统按片段或帧存储的记忆方式容易造成上下文冗余、跨模态关联弱和长程推理断裂。

**从“片段记忆”走向“事件记忆”**
EM²Mem 的核心思路,是将多模态感知信息组织为结构化事件单元,而非孤立片段。事件作为记忆的基本粒度,可聚合时间上连续、语义上相关的多模态观察,并承载任务目标、环境状态与交互过程之间的关联。这一设计有望使智能体在检索历史信息时,不只匹配相似内容,还能沿事件时间线与因果关系进行推理,从而提升长程任务中的上下文一致性和决策连续性。

**价值在于压缩、关联与可解释性**
事件中心记忆方案的价值体现在三方面:其一,通过事件级抽象降低原始多模态数据的存储与上下文开销;其二,增强跨模态信息对齐和跨时间关联,支持智能体“记住发生了什么、为何发生、如何演变”;其三,事件结构天然具备较好的可解释性,便于追溯智能体行为依据。对具身智能、GUI 智能体和多模态助手等场景而言,这类记忆机制具有较强通用潜力。

**挑战仍待进一步验证**
事件中心记忆的关键难点包括事件边界划分、跨模态事件对齐、记忆压缩中的信息保真,以及动态环境下的更新与遗忘机制。此外,如何设计长程多模态评测基准、平衡记忆效率与隐私安全,也将决定该方案的实际落地效果。整体来看,EM²Mem 为多模态智能体记忆提供了一条值得关注的事件化路径。

相关文章