研究论文

Articles in 研究论文

3 articles in total

使用 Mandol 消除碎片化内存：一个开源…

本文介绍了中国科学院软件研究所与合著者提出的开源Agent记忆系统Mandol，旨在解决大语言模型（LLM）智能体在长期、多任务协作中面临的记忆碎片化和跨库查询延迟高的问题。传统系统依赖向量数据库、图数据库和关系型数据库的异构组合，导致信息表示割裂、检索噪声大且不稳定。Mandol的核心创新在于通过凝聚式的内存原生架构，将异构存储坍缩为统一设计。其三大关键技术包括：1) 层次化记忆模型，通过基础记忆层和高阶抽象记忆层并建立双向链接，确保推理可追溯至原始对话；2) 内存原生语义数据结构SemanticMap和SemanticGraph，融合键值存储、向量索引和图遍历，提供原子混合检索算子，消除跨库通信开销；3) 智能量化检索，在不调用大模型的情况下，通过自适应路由和内部量化在限定Token预算内生成高质量上下文。在LoCoMo和LongMemEval基准评测中，Mandol使用GPT-4.1-mini和GPT-4o-mini分别取得92.21%和88.40%的最高准确率。使用Qwen3-Embedding-0.6B等轻量级后端时，性能仍超越大模型基线，且Token消耗降低17.4%-20.0%。性能方面，在NVIDIA H800服务器上，平均检索延迟仅82.2ms，插入延迟39.7ms，比最快基线快约5倍。在消费级NVIDIA RTX 5090笔记本上也实现了低延迟，总处理时间降至竞争系统的1/4至1/10，展示了强大的边缘部署能力。

www.besthub.devJuly 5, 2026

LLMOps 实战：设计、部署和管理高级聊天机器人的框架

本文是一篇系统文献综述（SLR），分析了39篇关于基于大语言模型（LLM）的聊天机器人实现的研究，旨在总结架构、框架、最佳实践和评估指标。研究探讨了六个关键问题，识别出常见的架构模式，包括客户端-服务器架构和检索增强生成（RAG），并列举了广泛使用的模型，如GPT家族、BERT、LLaMA和Mistral等开源模型。论文评估了这些模型在不同领域的表现，强调微调、提示工程和嵌入技术对准确性和领域相关性的影响。关键评估指标涵盖准确性、用户满意度、内容质量、安全性和效率。伦理方面的讨论包括数据治理、偏见缓解和公平审计，以确保负责任地部署LLM聊天机器人。最后，综述分析了性能、成本效率和可扩展性之间的权衡，为未来的LLM聊天机器人应用研发提供了一个综合框架。文章发表在IEEE Transactions on Knowledge and Data Engineering期刊上，作者为Eindhoven University of Technology的Willem Jan Van Den Heuvel，属于LLMOps领域的学术贡献。

research.tue.nl

Lambada：无集中信任的机密函数链自动缩放

本文提出了Lambada，一个无需集中化信任即可实现自动扩缩容的机密函数链平台，发表于ACM会议，获美国国家科学基金会（NSF）资助（项目编号2348130）。针对现有机密FaaS（功能即服务）系统依赖可信密钥配置飞地（Enclave）进行自动扩缩容，导致单点妥协风险的问题，Lambada基于Intel SGX（软件保护扩展）安全硬件飞地，扩展了Knative无服务器框架，使每个函数实例在SGX飞地内独立生成自身密钥，并通过代理重加密（Proxy Re-Encryption, PRE）技术在不暴露明文的情况下将数据安全路由至副本。该方案将经过证明的飞地视为主体，将PRE密钥视为能力（Capability），以此强制执行工作流策略，规定谁可以解密数据及解密顺序，即使在不可信的FaaS平台上也能保障机密性。实验原型显示，与使用共享RSA密钥的集中式机密基线系统相比，Lambada增加的延迟仅为1.55至1.83倍，同时完整保留了自动扩缩容支持。该内容将于2027年7月8日对公众开放获取。

par.nsf.gov