AI Agent Security

标签「AI Agent Security」下的文章

共 3 篇文章

Agent 系统架构

本文出自 davidahmann 创建的 fde-guide 项目，专门为前线部署工程师（FDE）提供 Agent 系统架构指南。核心主张是将 Agent 视为运营软件中的组件，而非系统本身，通过显式边界和持久化状态来构建可控的系统。架构按 Harness、Loop、Graph 三层组织：Harness 层负责模型运行的安全上下文、工具、权限和沙箱；Loop 层管理目标、证据、反馈和重试等改进闭环；Graph 层定义节点、路由、审批和恢复等工作流逻辑。智能选择遵循“最小充分机制”原则，只在非结构化解释能带来可量化价值时才调用基础模型，否则优先使用确定性代码或经典 ML。指南还提供了 11 种参考蓝图，例如用于证据路径多变的 Bounded Retrieval Agent、需要策略约束与回滚的 Transactional Write Agent、以及处理多专业上下文的 Multi-Agent Coordinator 等。安全方面采用神经符号护栏，将概率模型推断与确定性领域逻辑结合，并强制实施最小权限、隔离和显式工具契约。对于多智能体系统，仅在数据权限、上下文或组织归属不相交时才被允许，协调通过 handoff-envelope 绑定身份、权限与预算。整个方案旨在将 Agent 架构从模型中心转向工程化、可验证的系统实践。

阅读全文 →

Kevin Wu

本文为 Kevin Wu 的个人 LinkedIn 职业档案，展示了其作为 Founding FDE（前线部署工程师）在 OpenAI DeployCo 的当前角色，以及同时担任 Pegasi 创始人兼 CEO 的双重身份。Kevin Wu 拥有牛津大学人工智能与系统硕士学位，曾在 BCG Digital Ventures 和 BCG X 担任 Venture CTO 及首席 AI 工程师，服务于财富 500 强企业客户。其职业生涯涵盖早期创业公司 Instamotor 的创始工程师（产品从零增长至 10 万+ 用户、3 亿美元以上 GMV）、Cognoa 的 AI 工程师（使用 TensorFlow 训练 3D 视频理解模型用于儿科诊断）等。Kevin Wu 在 Pegasi 期间发表了 NeurIPS/ICML 2025 论文，聚焦金融领域大语言模型幻觉检测与编辑，并开发了 ClawReins 开源 AI 代理运行时安全层。档案还披露了 OpenAI 的员工规模（6,000-7,000 人）、融资总额（1,960 亿美元）及年收入（10-20 亿美元）等数据，以及 Pegasi 完成 290 万美元融资等信息，全面呈现了一位兼具深厚技术背景、创业经历与企业级 AI 部署能力的前线部署工程师的典型职业发展路径。

阅读全文 →

Guardrails vs Evals vs Monitoring

本文是 AI 控制平面平台 Praesidia 的官方技术文档和内容索引。Praesidia 定位为一个多租户控制平面，专门用于认证、治理和监控应用、AI 智能体（AI Agent）与 MCP 服务器之间的每一次交互。平台覆盖六大控制域：身份与访问管理（支持 SSO、SCIM 2.0、MFA、WebAuthn 及 RBAC）、护栏与内容安全（双向内容检测，可对提示注入、个人身份信息 PII 和策略违规进行阻断、脱敏或告警）、治理与合规（面向 SOC 2、GDPR、EU AI Act、ISO/IEC 42001、NIST AI RMF 及 OWASP Top 10 for LLMs）、成本与 AI FinOps（按智能体/团队/工作流进行成本归因，设置预算策略和硬性支出上限）、可观测性与审计（提供防篡改审计日志、信任评分、OpenTelemetry 导出和 SIEM 转发），以及连接与编排。其核心技术特色包括：对 MCP 和 Agent-to-Agent（A2A）协议进行治理，通过信任评分（Trust Scores）与加密证明（Attestations）实现智能体间安全通信和跨组织联邦；支持模型无关的自主密钥（BYOK）部署，并将智能体一键部署到 Heroku、Render 等云平台。定价方面，提供从免费版到企业版（$1,999/月）的多级计划，开源内核采用 Apache 许可证。该索引系统性地涵盖了 AI 智能体安全（如提示注入防御、零信任架构）、AI 治理（GDPR 删除权、EU AI Act 风险层级）、FinOps 控制以及平台运营等方面的数十篇深度指南和威胁模型分析，为构建安全、合规、可控的企业级 AI 智能体基础设施提供了覆盖全生命周期的技术参考。

阅读全文 →