层次化记忆模型

使用 Mandol 消除碎片化内存：一个开源…

本文介绍了中国科学院软件研究所与合著者提出的开源Agent记忆系统Mandol，旨在解决大语言模型（LLM）智能体在长期、多任务协作中面临的记忆碎片化和跨库查询延迟高的问题。传统系统依赖向量数据库、图数据库和关系型数据库的异构组合，导致信息表示割裂、检索噪声大且不稳定。Mandol的核心创新在于通过凝聚式的内存原生架构，将异构存储坍缩为统一设计。其三大关键技术包括：1) 层次化记忆模型，通过基础记忆层和高阶抽象记忆层并建立双向链接，确保推理可追溯至原始对话；2) 内存原生语义数据结构SemanticMap和SemanticGraph，融合键值存储、向量索引和图遍历，提供原子混合检索算子，消除跨库通信开销；3) 智能量化检索，在不调用大模型的情况下，通过自适应路由和内部量化在限定Token预算内生成高质量上下文。在LoCoMo和LongMemEval基准评测中，Mandol使用GPT-4.1-mini和GPT-4o-mini分别取得92.21%和88.40%的最高准确率。使用Qwen3-Embedding-0.6B等轻量级后端时，性能仍超越大模型基线，且Token消耗降低17.4%-20.0%。性能方面，在NVIDIA H800服务器上，平均检索延迟仅82.2ms，插入延迟39.7ms，比最快基线快约5倍。在消费级NVIDIA RTX 5090笔记本上也实现了低延迟，总处理时间降至竞争系统的1/4至1/10，展示了强大的边缘部署能力。