Knowledge Base

研究论文

4 articles in total

面向多任务边缘AI推理的感知-通信-计算去中心化融合

本文提出了一种面向多任务边缘AI推理的去中心化感知-通信-计算一体化框架。研究背景是无人机群、协同自动驾驶等去中心化场景中,设备需部署不同模型完成多种推理任务,并通过D2D链路共享特征。传统方案依赖中心化协调节点且采用串行特征聚合,导致通信时延与设备数线性相关。为此,论文引入全双工空中计算技术,使所有设备在同一频段同时收发信号,在空中直接聚合特征向量以减少传输时延。系统采用OFDM多载波传输特征向量,并设计子载波分配策略,将更重要的特征元素分配至信道质量更优的子载波上,以最大化判别增益。判别增益基于对称KL散度,用于量化特征分布可分性并直接服务于分类精度。针对子载波分配与波束赋形的紧耦合问题,论文构建了混合整数非线性分式和优化问题,提出基于二次变换与加权二分图匹配的交替优化算法,将子载波分配建模为加权二分图匹配问题,并利用二次变换处理分式规划以迭代更新感知功率、组播波束赋形向量和接收波束赋形向量。仿真表明,该方法在多任务推理精度上优于传统SCA算法,且在低特征维度下能有效平衡多任务间的性能权衡。论文发表于2025年11月的IEEE Transactions on Wireless Communications。第一作者为复旦大学硕士生Chenye Wang,通讯作者为上海科技大学助理教授Dingzhu Wen。

Read More

使用 Mandol 消除碎片化内存:一个开源…

本文介绍了中国科学院软件研究所与合著者提出的开源Agent记忆系统Mandol,旨在解决大语言模型(LLM)智能体在长期、多任务协作中面临的记忆碎片化和跨库查询延迟高的问题。传统系统依赖向量数据库、图数据库和关系型数据库的异构组合,导致信息表示割裂、检索噪声大且不稳定。Mandol的核心创新在于通过凝聚式的内存原生架构,将异构存储坍缩为统一设计。其三大关键技术包括:1) 层次化记忆模型,通过基础记忆层和高阶抽象记忆层并建立双向链接,确保推理可追溯至原始对话;2) 内存原生语义数据结构SemanticMap和SemanticGraph,融合键值存储、向量索引和图遍历,提供原子混合检索算子,消除跨库通信开销;3) 智能量化检索,在不调用大模型的情况下,通过自适应路由和内部量化在限定Token预算内生成高质量上下文。在LoCoMo和LongMemEval基准评测中,Mandol使用GPT-4.1-mini和GPT-4o-mini分别取得92.21%和88.40%的最高准确率。使用Qwen3-Embedding-0.6B等轻量级后端时,性能仍超越大模型基线,且Token消耗降低17.4%-20.0%。性能方面,在NVIDIA H800服务器上,平均检索延迟仅82.2ms,插入延迟39.7ms,比最快基线快约5倍。在消费级NVIDIA RTX 5090笔记本上也实现了低延迟,总处理时间降至竞争系统的1/4至1/10,展示了强大的边缘部署能力。

Read More

LLMOps 实战:设计、部署和管理高级聊天机器人的框架

本文是一篇系统文献综述(SLR),分析了39篇关于基于大语言模型(LLM)的聊天机器人实现的研究,旨在总结架构、框架、最佳实践和评估指标。研究探讨了六个关键问题,识别出常见的架构模式,包括客户端-服务器架构和检索增强生成(RAG),并列举了广泛使用的模型,如GPT家族、BERT、LLaMA和Mistral等开源模型。论文评估了这些模型在不同领域的表现,强调微调、提示工程和嵌入技术对准确性和领域相关性的影响。关键评估指标涵盖准确性、用户满意度、内容质量、安全性和效率。伦理方面的讨论包括数据治理、偏见缓解和公平审计,以确保负责任地部署LLM聊天机器人。最后,综述分析了性能、成本效率和可扩展性之间的权衡,为未来的LLM聊天机器人应用研发提供了一个综合框架。文章发表在IEEE Transactions on Knowledge and Data Engineering期刊上,作者为Eindhoven University of Technology的Willem Jan Van Den Heuvel,属于LLMOps领域的学术贡献。

Read More

Lambada:无集中信任的机密函数链自动缩放

本文提出了Lambada,一个无需集中化信任即可实现自动扩缩容的机密函数链平台,发表于ACM会议,获美国国家科学基金会(NSF)资助(项目编号2348130)。针对现有机密FaaS(功能即服务)系统依赖可信密钥配置飞地(Enclave)进行自动扩缩容,导致单点妥协风险的问题,Lambada基于Intel SGX(软件保护扩展)安全硬件飞地,扩展了Knative无服务器框架,使每个函数实例在SGX飞地内独立生成自身密钥,并通过代理重加密(Proxy Re-Encryption, PRE)技术在不暴露明文的情况下将数据安全路由至副本。该方案将经过证明的飞地视为主体,将PRE密钥视为能力(Capability),以此强制执行工作流策略,规定谁可以解密数据及解密顺序,即使在不可信的FaaS平台上也能保障机密性。实验原型显示,与使用共享RSA密钥的集中式机密基线系统相比,Lambada增加的延迟仅为1.55至1.83倍,同时完整保留了自动扩缩容支持。该内容将于2027年7月8日对公众开放获取。

Read More