使用 Mandol 消除碎片化内存:一个开源…
Summary
本文介绍了中国科学院软件研究所与合著者提出的开源Agent记忆系统Mandol,旨在解决大语言模型(LLM)智能体在长期、多任务协作中面临的记忆碎片化和跨库查询延迟高的问题。传统系统依赖向量数据库、图数据库和关系型数据库的异构组合,导致信息表示割裂、检索噪声大且不稳定。Mandol的核心创新在于通过凝聚式的内存原生架构,将异构存储坍缩为统一设计。其三大关键技术包括:1) 层次化记忆模型,通过基础记忆层和高阶抽象记忆层并建立双向链接,确保推理可追溯至原始对话;2) 内存原生语义数据结构SemanticMap和SemanticGraph,融合键值存储、向量索引和图遍历,提供原子混合检索算子,消除跨库通信开销;3) 智能量化检索,在不调用大模型的情况下,通过自适应路由和内部量化在限定Token预算内生成高质量上下文。在LoCoMo和LongMemEval基准评测中,Mandol使用GPT-4.1-mini和GPT-4o-mini分别取得92.21%和88.40%的最高准确率。使用Qwen3-Embedding-0.6B等轻量级后端时,性能仍超越大模型基线,且Token消耗降低17.4%-20.0%。性能方面,在NVIDIA H800服务器上,平均检索延迟仅82.2ms,插入延迟39.7ms,比最快基线快约5倍。在消费级NVIDIA RTX 5090笔记本上也实现了低延迟,总处理时间降至竞争系统的1/4至1/10,展示了强大的边缘部署能力。
Key Takeaways
- LLM Agent记忆系统面临信息碎片化、跨数据库查询开销大和被动式检索质量不稳定的问题。
- Mandol由中国科学院软件研究所和合作者提出,是一个凝聚式的、内存原生的层次化Agent记忆系统。
- 核心架构包括基础记忆层和高阶抽象记忆层,通过双向链接确保推理可追溯到原始对话证据。
- 通过内存原生语义数据结构,Mandol用统一的SemanticMap和SemanticGraph替代了异构数据库组合。
- 智能量化检索通过自适应路由和内部量化去噪,在不依赖大模型下生成紧凑且高质量的检索上下文。
- 92.21%在LoCoMo和LongMemEval基准上,Mandol以和88.40%的准确率领先开源记忆系统,且Token消耗降低了17.4%–20.0%。
- 在NVIDIA H800服务器和RTX 5090消费级笔记本上,Mandol的检索和插入延迟均远低于基线系统,展现了强大的边缘部署潜力。
建不建议在一线部署FDE的工程师和架构师密切关注这篇文章?当然建议。尽管它打着学术论文的旗号,但Mandol解决的问题十分接地气:多数据库带来的记忆碎片化和查询延迟。这篇文章的核心贡献在于用一个统一的、原生的内存架构替代了向量库+图库+关系库的“大杂烩”,并在消费级GPU上验证了低延迟的边缘部署潜力。它为长期对话、个性化推荐等需要可靠Agent记忆的场景,提供了一个低时延、可溯源的新范式,实战参考价值颇高。
LLM Agent记忆系统面临信息碎片化、跨数据库查询开销大和被动式检索质量不稳定的问题。
使用 Mandol 消除碎片化内存:一个开源…
问题陈述
LLM 智能体正在从单轮问答扩展到长期、多任务协作,涉及智能客服、个人助手和医疗支持等领域。它们的记忆模块必须存储跨会话、多类型的信息,并以低延迟和可追溯的证据回答复杂查询。现有的记忆系统依赖于向量数据库、图数据库和关系存储的异构组合,导致表示碎片化、跨数据库查询开销高,以及嘈杂的 RAG 式被动相似性匹配,浪费 token 预算并产生不稳定的检索质量。
Mandol 概述
中国科学院软件研究所及其合作者提出了 Mandol,一种凝聚式、记忆原生、层次化的智能体记忆系统。核心思想是将碎片化的记忆表示和异构存储统一为一种内存内架构。
论文:"Mandol: An Agglomerative Agent Memory System for Long‑Term Conversations" (arXiv:2606.29778)。项目仓库:https://github.com/AgentCombo/Mandol
三个核心设计
1. 层次化记忆模型
Mandol 将记忆组织成两层:
基础记忆层:以记忆单元(包含原始信息和语义向量)、记忆空间(提供逻辑隔离)和显式关系(时间、引用、状态更新)以及隐式语义关系存储原始交互数据,形成一个统一的结构化语义图。
高阶抽象记忆层:大模型从基础层自动提取事件链、实体关系图和偏好演化链,创建抽象知识,同时保留指向原始单元的链接。
两层之间的双向链接确保任何抽象推理都可以追溯到原始对话证据。
示例:简短话语“在巷子里订了一间小屋”成为一个带有时间和空间上下文的事件节点,链接到其他旅行事件(例如“航班延误”、“参观了故宫”),并隐式连接到先前的意图“计划在王府井订酒店”。一个状态更新边记录了从“王府井酒店”到“巷子里的小屋”的偏好转移,从而实现精确检索。
2. 记忆原生语义数据结构
为了消除跨数据库延迟,Mandol 引入了一种基于语义数据结构的统一内存内存储架构,包括 SemanticMap 和 SemanticGraph:
SemanticMap 将键值存储与向量索引相结合,通过记忆空间标签支持多模态记忆单元和上下文感知隔离。
SemanticGraph 直接在图中管理显式边,并使用 SemanticMap 中的向量索引按需解析隐式语义边,避免了所有可能语义链接的预枚举。
原子混合检索操作符统一了单元、空间、关系和多跳查询,将向量匹配和图遍历封装为高效的内存内执行单元。活跃记忆层异步地将冷数据或长期数据分页到嵌入的 DuckDB 后端。
3. 智能量化检索
Mandol 将检索重新定义为“在有限的 token 预算内构建高质量的上下文”,并实现了一个无需大模型参与的量化检索管道:
自适应路由根据查询特征分配 token 预算,并从相关的高阶和基础记忆源中并行召回。
内部量化对每个源进行去噪,并解决跨源冲突,去除噪声和冗余。
最终上下文被压缩以满足 token 预算,同时保持相关性和多样性。
这个过程在受控的 token 消耗下产生密集的证据上下文。
实验评估
Mandol 在两个长对话记忆基准 LoCoMo 和 LongMemEval 上进行了评估,使用 GPT‑4.1‑mini 作为答案生成器,GPT‑4o‑mini 作为评估器。
总体准确率:LoCoMo 上 92.21%,LongMemEval 上 88.40%,在代表性的开源记忆系统中最高。
对于复杂查询类型,如多跳推理、时间推理和知识更新,Mandol 显示出明显优势。
使用更轻量的检索后端(Qwen3‑Embedding‑0.6B 和 bge‑reranker‑v2‑m3)仍然优于更大的模型基线,同时将 token 消耗降低了 17.4%–20.0%。
在配备 NVIDIA H800 GPU 的服务器上,负载(10 QPS)下的性能:
平均检索延迟:82.2 毫秒(≈比最快的基线快 5.4 倍)。
平均插入延迟:39.7 毫秒(≈比最快的基线快 4.8 倍)。
在消费级笔记本电脑(NVIDIA RTX 5090)上,延迟仍然低于现有系统,显示出强大的边缘部署潜力。内存使用适中,消除外部数据库通信使总处理时间降低到竞争系统的 1/4.2–1/9.9。
结论
Mandol 的三项创新——层次化记忆建模、记忆原生统一存储和智能量化检索——为需要可靠长期记忆的智能体提供了高精度、低延迟和轻量级部署。开源发布使研究人员和工程师能够复现、实验并扩展该系统,用于对话、推荐或陪伴智能体。
Written by Machine Heart
Tags
Related Topics
Expert Comment
This article is curated by the editorial team from public sources for reference only.