使用 Mandol 消除碎片化内存:一个开源…

www.besthub.dev

Summary

本文介绍了中国科学院软件研究所与合著者提出的开源Agent记忆系统Mandol,旨在解决大语言模型(LLM)智能体在长期、多任务协作中面临的记忆碎片化和跨库查询延迟高的问题。传统系统依赖向量数据库、图数据库和关系型数据库的异构组合,导致信息表示割裂、检索噪声大且不稳定。Mandol的核心创新在于通过凝聚式的内存原生架构,将异构存储坍缩为统一设计。其三大关键技术包括:1) 层次化记忆模型,通过基础记忆层和高阶抽象记忆层并建立双向链接,确保推理可追溯至原始对话;2) 内存原生语义数据结构SemanticMap和SemanticGraph,融合键值存储、向量索引和图遍历,提供原子混合检索算子,消除跨库通信开销;3) 智能量化检索,在不调用大模型的情况下,通过自适应路由和内部量化在限定Token预算内生成高质量上下文。在LoCoMo和LongMemEval基准评测中,Mandol使用GPT-4.1-mini和GPT-4o-mini分别取得92.21%和88.40%的最高准确率。使用Qwen3-Embedding-0.6B等轻量级后端时,性能仍超越大模型基线,且Token消耗降低17.4%-20.0%。性能方面,在NVIDIA H800服务器上,平均检索延迟仅82.2ms,插入延迟39.7ms,比最快基线快约5倍。在消费级NVIDIA RTX 5090笔记本上也实现了低延迟,总处理时间降至竞争系统的1/4至1/10,展示了强大的边缘部署能力。

Key Takeaways

  • LLM Agent记忆系统面临信息碎片化、跨数据库查询开销大和被动式检索质量不稳定的问题。
  • Mandol由中国科学院软件研究所和合作者提出,是一个凝聚式的、内存原生的层次化Agent记忆系统。
  • 核心架构包括基础记忆层和高阶抽象记忆层,通过双向链接确保推理可追溯到原始对话证据。
  • 通过内存原生语义数据结构,Mandol用统一的SemanticMap和SemanticGraph替代了异构数据库组合。
  • 智能量化检索通过自适应路由和内部量化去噪,在不依赖大模型下生成紧凑且高质量的检索上下文。
  • 92.21%在LoCoMo和LongMemEval基准上,Mandol以和88.40%的准确率领先开源记忆系统,且Token消耗降低了17.4%–20.0%。
  • 在NVIDIA H800服务器和RTX 5090消费级笔记本上,Mandol的检索和插入延迟均远低于基线系统,展现了强大的边缘部署潜力。

建不建议在一线部署FDE的工程师和架构师密切关注这篇文章?当然建议。尽管它打着学术论文的旗号,但Mandol解决的问题十分接地气:多数据库带来的记忆碎片化和查询延迟。这篇文章的核心贡献在于用一个统一的、原生的内存架构替代了向量库+图库+关系库的“大杂烩”,并在消费级GPU上验证了低延迟的边缘部署潜力。它为长期对话、个性化推荐等需要可靠Agent记忆的场景,提供了一个低时延、可溯源的新范式,实战参考价值颇高。

LLM Agent记忆系统面临信息碎片化、跨数据库查询开销大和被动式检索质量不稳定的问题。

—— 络石智能研究院 · Editor's Pick

使用 Mandol 消除碎片化内存:一个开源…

问题陈述

LLM 智能体正在从单轮问答扩展到长期、多任务协作,涉及智能客服、个人助手和医疗支持等领域。它们的记忆模块必须存储跨会话、多类型的信息,并以低延迟和可追溯的证据回答复杂查询。现有的记忆系统依赖于向量数据库、图数据库和关系存储的异构组合,导致表示碎片化、跨数据库查询开销高,以及嘈杂的 RAG 式被动相似性匹配,浪费 token 预算并产生不稳定的检索质量。

Mandol 概述

中国科学院软件研究所及其合作者提出了 Mandol,一种凝聚式、记忆原生、层次化的智能体记忆系统。核心思想是将碎片化的记忆表示和异构存储统一为一种内存内架构。

论文:"Mandol: An Agglomerative Agent Memory System for Long‑Term Conversations" (arXiv:2606.29778)。项目仓库:https://github.com/AgentCombo/Mandol

三个核心设计

1. 层次化记忆模型

Mandol 将记忆组织成两层:

基础记忆层:以记忆单元(包含原始信息和语义向量)、记忆空间(提供逻辑隔离)和显式关系(时间、引用、状态更新)以及隐式语义关系存储原始交互数据,形成一个统一的结构化语义图。

高阶抽象记忆层:大模型从基础层自动提取事件链、实体关系图和偏好演化链,创建抽象知识,同时保留指向原始单元的链接。

两层之间的双向链接确保任何抽象推理都可以追溯到原始对话证据。

示例:简短话语“在巷子里订了一间小屋”成为一个带有时间和空间上下文的事件节点,链接到其他旅行事件(例如“航班延误”、“参观了故宫”),并隐式连接到先前的意图“计划在王府井订酒店”。一个状态更新边记录了从“王府井酒店”到“巷子里的小屋”的偏好转移,从而实现精确检索。

2. 记忆原生语义数据结构

为了消除跨数据库延迟,Mandol 引入了一种基于语义数据结构的统一内存内存储架构,包括 SemanticMap 和 SemanticGraph:

SemanticMap 将键值存储与向量索引相结合,通过记忆空间标签支持多模态记忆单元和上下文感知隔离。

SemanticGraph 直接在图中管理显式边,并使用 SemanticMap 中的向量索引按需解析隐式语义边,避免了所有可能语义链接的预枚举。

原子混合检索操作符统一了单元、空间、关系和多跳查询,将向量匹配和图遍历封装为高效的内存内执行单元。活跃记忆层异步地将冷数据或长期数据分页到嵌入的 DuckDB 后端。

3. 智能量化检索

Mandol 将检索重新定义为“在有限的 token 预算内构建高质量的上下文”,并实现了一个无需大模型参与的量化检索管道:

自适应路由根据查询特征分配 token 预算,并从相关的高阶和基础记忆源中并行召回。

内部量化对每个源进行去噪,并解决跨源冲突,去除噪声和冗余。

最终上下文被压缩以满足 token 预算,同时保持相关性和多样性。

这个过程在受控的 token 消耗下产生密集的证据上下文。

实验评估

Mandol 在两个长对话记忆基准 LoCoMo 和 LongMemEval 上进行了评估,使用 GPT‑4.1‑mini 作为答案生成器,GPT‑4o‑mini 作为评估器。

总体准确率:LoCoMo 上 92.21%,LongMemEval 上 88.40%,在代表性的开源记忆系统中最高。

对于复杂查询类型,如多跳推理、时间推理和知识更新,Mandol 显示出明显优势。

使用更轻量的检索后端(Qwen3‑Embedding‑0.6B 和 bge‑reranker‑v2‑m3)仍然优于更大的模型基线,同时将 token 消耗降低了 17.4%–20.0%。

在配备 NVIDIA H800 GPU 的服务器上,负载(10 QPS)下的性能:

平均检索延迟:82.2 毫秒(≈比最快的基线快 5.4 倍)。

平均插入延迟:39.7 毫秒(≈比最快的基线快 4.8 倍)。

在消费级笔记本电脑(NVIDIA RTX 5090)上,延迟仍然低于现有系统,显示出强大的边缘部署潜力。内存使用适中,消除外部数据库通信使总处理时间降低到竞争系统的 1/4.2–1/9.9。

结论

Mandol 的三项创新——层次化记忆建模、记忆原生统一存储和智能量化检索——为需要可靠长期记忆的智能体提供了高精度、低延迟和轻量级部署。开源发布使研究人员和工程师能够复现、实验并扩展该系统,用于对话、推荐或陪伴智能体。

Written by Machine Heart

Tags

Related Topics

Expert Comment

This article is curated by the editorial team from public sources for reference only.

FAQ

Mandol 是如何解决LLM Agent中记忆碎片化和跨库查询延迟高的问题的?
Mandol 提出了三大核心创新来解决这一问题:一是层次化记忆模型,将原始交互数据与自动提取的抽象知识分层存储,并通过双向链接实现跨层溯源;二是内存原生统一存储架构,通过SemanticMap和SemanticGraph将键值存储、向量索引和图遍历融合为统一的混合检索算子,消除了跨数据库通信开销;三是智能量化检索,根据查询自适应分配Token预算并进行去噪和压缩,确保在有限预算内生成高质量证据上下文。
Mandol 在实验评测中的准确率和延迟表现具体如何?
在长对话记忆基准测试中,Mandol 的整体准确率达到了 LoCoMo 的 92.21% 和 LongMemEval 的 88.40%,均领先于其他开源记忆系统。在性能方面,NVIDIA H800服务器上的平均检索延迟为82.2毫秒,比最快基线快约5.4倍;插入延迟为39.7毫秒,快约4.8倍。即使在消费级的NVIDIA RTX 5090笔记本上,其延迟也显著低于现有系统,总处理时间仅为同类系统的四分之一到十分之一。
Mandol 是否适合在边缘设备或消费级硬件上进行私有化部署?
Mandol 的设计特别考虑了轻量化部署。实验显示,它在消费级笔记本(NVIDIA RTX 5090)上的检索和插入延迟均低于现有基线系统,且内存使用量保持适中。重要的是,通过消除对外部数据库的依赖和通信,其端到端处理时间缩减至竞争系统的几分之一,这表明它具备在资源受限的边缘或客户端设备上私有部署的潜力。

Related Articles

前锋部署工程师 vs 软件工程师:关键区别、技能与职业指南(2026)

本文详细对比了前线部署工程师与软件工程师在职责、技能要求、工作环境、职业发展路径等方面的核心区别。前线部署工程师由Palantir等公司推广,是一种融合软件开发、客户实施与技术咨询的混合角色,工作重点在于直接与客户合作,在真实生产环境中部署、定制和集成软件解决方案,解决特定客户的业务问题,而软件工程师则侧重于为广泛用户构建可扩展的核心产品功能。两者的工作环境差异显著:前线部署工程师日常面向客户,以项目为导向,技术栈广泛且随客户需求变化;软件工程师主要在内部团队按照敏捷或Scrum方法进行产品研发,技术专精。两者共享编程、调试、系统架构等基础工程技能,且可相互转型。随着企业AI的兴起和复杂解决方案部署需求的增长,前线部署工程师的需求显著上升,其职业路径可通向解决方案架构师、产品经理或技术顾问等方向。文章为读者提供了根据个人兴趣和职业目标选择合适路径的指导。

www.appliedaicourse.com
Read More

OpenAI放大招:企业级AI平台Frontier上线,专治各种智能体

OpenAI于2026年2月5日正式推出企业级AI平台Frontier,定位为帮助企业统一构建、部署和管理AI智能体的系统,旨在解决企业AI部署中的“碎片化”和“AI孤岛”问题。Frontier通过连接企业数据仓库、CRM、工单工具等孤立系统,为AI智能体提供共享业务背景、执行环境、记忆与质量优化机制,并内置严格的身份、权限与边界管控,可适用于金融和医疗等受监管领域。平台具有高度开放性,不仅支持OpenAI自建智能体,还兼容来自Google、Microsoft及直接竞争对手Anthropic的第三方智能体,采用开放标准避免供应商锁定。OpenAI应用业务CEO Fidji Simo将智能体视为“AI同事”,预测到2026年底领先企业的大部分数字化工作将由人类指挥的智能体舰队执行。企业业务总经理Barret Zoph指出Frontier创建了“语义层”以打通工作流程。商业层面,OpenAI企业客户约占业务40%,CFO Sarah Friar预计年底接近50%,全球有超过100万家商业客户。平台已面向惠普、Intuit、甲骨文、State Farm、Thermo Fisher和优步等有限客户开放,BBVA、思科和T-Mobile等也在试点。发布前后PayPal、Expedia等软件股大跌,市值蒸发超3000亿美元。OpenAI通过前向部署工程师与客户并肩工作,将实施经验产品化。Frontier的推出标志着AI企业应用从单点工具迈向系统化数字员工管理的新阶段。

36kr.com
Read More

Mercura 前端部署工程师 (FDE)

本文是 Mercura 公司(YC W25 批次)发布的 Forward Deployed Engineer (FDE) 招聘信息。Mercura 是一家帮助建筑、医院、学校等实体行业通过 AI 自动化后端流程的初创公司,已实现 200 万美元 ARR,团队 16 人,目标在 2026 年底达到 1000 万美元 ARR 并向美国扩张。该 FDE 岗位的工作地点在德国慕尼黑,要求具备全栈工程能力(Python, React, TypeScript, SQL, API)、企业系统集成经验(如 SAP)、数据分析整理能力以及大模型、智能体和提示工程的实践经验。主要职责包括:负责客户软件部署的全技术落地、AI 模型适配与微调、搭建原型产品、与客户高层和用户日常对接并将客户需求反馈给核心工程团队。公司提供股权、陡峭的学习曲线、由前 Google、Bain、MIT 和哈佛等背景的同事组成的团队,以及由 Nubank AI 高管 Rohan Ramanath 和 Daniel Ribeiro Silva 担任导师的机会。三位联合创始人 Lukas、Stefan 和 Sean 分别具有 Google 数据科学家、Bain 咨询顾问和国际物理奥赛银牌得主等背景。申请流程包括创始人介绍电话、技术作业、技术面试和现场面试。该招聘体现了 AI 初创公司对既懂工程又懂客户的复合型 FDE 人才的高度需求。

jobs-radar.com
Read More

微软押注25亿美元,将AI工程师嵌入其最大客户内部

2026年7月2日,微软宣布成立 Microsoft Frontier Company,这是一个全新的运营业务部门,计划投入25亿美元,配备6000名行业与工程专家,直接嵌入大型客户内部,为其构建和运行AI系统。该举措由微软商业业务CEO Judson Althoff 宣布,并由拥有30年行业经验、在微软领导企业转型六年的 Rodrigo Kede Lima 担任总裁。早期签约客户包括伦敦证券交易所集团、联合利华、Land O’Lakes 和埃森哲。Microsoft Frontier Company 的核心模式是“前线部署工程”,效仿 Palantir 首创并已被 OpenAI 和 Anthropic 复制的做法,承诺以可衡量的业务成果为交付标准,而非仅销售Azure和Copilot软件许可证,并强调客户数据不会被用于训练模型。这一模式直接切入系统集成商的传统领地,与埃森哲、凯捷、安永、毕马威、普华永道等合作伙伴的服务产生重叠,引发竞争担忧。更为微妙的是,微软在宣布该业务的数日后确认裁员约4800人,主要涉及销售、咨询和Xbox游戏部门,裁员规模约占全球员工的2%。尽管微软未承认裁员直接为 Frontier Company 提供资金,但批评者认为公司正通过内部资源置换推动AI扩张,被裁撤的岗位恰好是新部门旨在现代化改造的职能。微软尚未公布该部门将客户项目带入生产环境的具体目标和时间表,其“成果导向”的核心主张有待首批项目验证。

sentinel.ht
Read More

什么是 Forward Deployed Engineer(前置部署工程师)?(2026 指南)

本文详细剖析了前线部署工程师 (Forward Deployed Engineer, FDE) 这一新兴工程角色。FDE 是一种在客户环境中编写生产级代码,以解决实际问题的软件工程师,该角色最初由 Palantir 推广,并在 2026 年成为 AI 和数据平台公司中最抢手的人才之一。文章明确了 FDE 的三大核心能力:生产级工程交付、客户沟通与需求转化、以及向产品团队反馈信号,并将其与售前的解决方案工程师和销售工程师严格区分开来。文中提供了由招聘机构 Re:Sourced 创始人 Matt Gold 分享的 2026 年澳大利亚市场薪资数据:悉尼高级 FDE 年薪为 18-24 万澳元,墨尔本为 17.5-23 万澳元,布里斯班为 16-21.5 万澳元,该职位因具备客户嵌入式交付经验的工程师稀缺而薪酬丰厚。文章建议,当企业拥有强大但通用的产品,且客户转化需要在其环境中进行深度工程开发时,是引入 FDE 的最佳时机;若产品完全自助化则无需设立此岗,以避免昂贵的资源错配。

www.resourced.com.au
Read More