前部署工程师如何构建有效的定制AI代理

在这篇博文中，我们将解释前部署工程师如何将昂贵且重复的业务流程转变为可产生可衡量结果的安全AI系统。

许多企业已经能够使用强大的AI，但他们的员工仍然需要在系统之间复制信息、搜索旧文档并花费数小时准备常规报告。问题很少在于缺乏AI工具。而是通用AI模型与企业实际运营方式之间的差距。

前部署工程师（Forward Deployed Engineer）弥补了这一差距。他们是一位高级工程师，直接与业务领导者、员工和内部IT团队合作，以理解问题、构建定制的AI代理，并利用实际工作者的反馈进行改进。

定制AI代理究竟是什么

定制AI代理是一种使用AI模型来理解请求、查找相关信息并完成已批准步骤的软件。与公开聊天机器人不同，它是围绕特定的业务流程、数据集和安全策略设计的。

例如，一个内部服务代理可能读取支持请求、搜索已批准的技术文档、检查用户的设备详情并准备推荐回复。然后它可以创建一个工单，但前提是员工审核了建议的操作。

代理与基本聊天机器人的区别在于其使用工具的能力。现代代理平台可以将AI模型连接到文档搜索、业务应用程序、代码和经批准的外部服务。AI决定哪个可用工具是相关的，而外围应用程序控制允许哪些信息和操作。

商业AI代理背后的技术

该技术听起来可能复杂，但大多数商业代理包含六个可理解的部分。

1. AI模型

模型是推理引擎。它解释问题、处理书面信息并决定下一步采取哪个已批准的步骤。

根据需求，这可能涉及OpenAI、Anthropic Claude或通过Microsoft Foundry（提供用于在Azure中构建和运营AI应用和代理的托管服务）可用的模型。最好的模型不一定是最大或最昂贵的那个。而是能为任务提供可接受的准确性、速度和成本的模型。

2. 清晰的指令

指令定义了代理的角色、边界和预期输出。它们可能告诉它只从已批准的文档中回答、使用通俗英语，并在更改客户记录前请求员工批准。

这不仅仅是编写巧妙的提示词。前部署工程师将业务规则、例外情况和升级路径转换为系统能够一致应用的指令。

3. 可信的业务知识

代理通常需要访问政策、产品信息、合同、客户记录或操作流程。系统不会试图在所有内容上训练新的AI模型，而是在收到请求时检索相关信息。

这种方法通常被称为检索增强生成（RAG）。用通俗的话说，代理首先搜索已批准的公司信息，并在模型回答前将该材料提供给模型。

4. 工具与集成

工具允许代理执行有用的工作。某个工具可能搜索SharePoint、从客户关系管理系统中读取记录、检查库存可用性或创建草稿服务工单。

集成是大量实际工程发生的地方。工程师必须处理不可靠的数据、重复记录、旧的应用接口以及包含未记录异常的处理流程。

5. 身份与安全控制

代理不应仅仅因为使用AI就获得无限访问权限。它需要经过验证的身份、最小必要权限以及尊重已登录员工访问权限的控制措施。

这也支持了澳大利亚政府的网络安全基线“Essential Eight”。多因素认证、限制管理员访问、应用程序控制、补丁管理和可靠备份等控制措施在AI代理连接到业务系统时仍然相关。

6. 监控与评估

生产环境中的代理需要日志来显示访问了哪些信息、使用了哪些工具以及操作是否成功。它们还需要定期进行准确性、安全和意外行为的测试。

没有监控，一个代理可能看似成功，却悄悄产生不完整的答案或给员工制造额外工作。

前部署工程师如何构建代理

过程从工作流开始，而不是模型。这建立在如何使前部署工程师协调业务和技术团队的方法之上。

第一步：定义一个可衡量的问题

“我们想要一个AI代理”不是一个有用的项目目标。“将对支持请求的首次响应时间从20分钟减少到5分钟”才是可衡量的。

工程师观察当前工作的完成方式，包括延迟、手动检查和例外情况。这可以防止企业自动完成一个本应首先简化的流程。

第二步：设定安全边界

接下来的决定是代理可以独立完成什么，以及哪些需要人工批准。代理可能被允许搜索文档和起草回复，而发送邮件、批准退款或更改财务记录则保留给授权员工。

从狭窄的边界开始可以降低风险，并使证明价值更容易。在系统展示出可靠性能后，可以增加更多自主权。

第三步：建立连接

工程师将代理连接到尽可能小的可信数据和工具集。一个简化的代理定义可能如下所示：

{
 "goal": "准备对支持请求的准确首次回复",
 "knowledge": ["已批准的支持指南", "产品政策"],
 "tools": ["search_documents", "create_draft_ticket"],
 "approval_required": ["send_email", "update_customer_record"],
 "access": "使用已登录员工的权限"
}

实际实现需要身份验证、错误处理、安全测试和详细的业务规则。然而，这个简单的结构表明模型只是整个系统的一个组件。

第四步：用真实工作进行测试

一个完美的演示几乎不能证明任何东西。代理需要针对真实请求、不完整的文档、不寻常的客户情况以及试图让它忽略指令的行为进行测试。

工程师记录它在哪里成功、哪里失败，以及员工何时覆盖了它的建议。这种实践反馈循环也是改进AI项目交付的核心。

第五步：逐步发布并衡量结果

第一次生产发布可能只涉及五名员工，而不是整个公司。然后，在更广泛访问批准之前，可以将结果与原始基线进行比较。

有用的衡量指标包括每请求节省的时间、错误率、员工采纳率、客户响应时间、每完成任务的成本以及需要修正的输出百分比。

一个实际的业务场景

考虑一家180人的专业服务公司，其中12名运营员工每人每天花费约45分钟搜索项目文件夹、检查程序和准备状态更新。

这加起来每月大约198小时。按每小时60美元的雇佣成本计算，该流程每月消耗近11,900美元的员工时间。

一名前部署工程师可以构建一个内部代理，搜索已批准的项目文档、检索最新信息并准备供员工审核的标准更新。如果它只将任务减少一半，公司每月可以恢复大约99小时，同时提高一致性。

该代理不需要编辑合同、发送客户通信或查看所有公司文件夹的权限。其访问权限仅限于该特定工作所需的信息。

为什么前部署方法很重要

传统的软件项目通常经过独立的发现、设计、开发和维护团队。重要的上下文在每次交接中丢失，员工可能直到项目后期才看到解决方案。

前部署工程师靠近工作本身。他们可以在真实用户揭示问题的第一时间更改指令、集成或审批规则。

这就是为什么该角色对于试图超越AI实验的企业变得有价值。我们的指南《为何企业正在招聘高级前部署工程师》解释了他们解决的更广泛的交付差距。

成功的代理应带来的成果

• 通过减少重复搜索、数据录入和文档准备来降低运营成本。
• 通过在员工需要时提供相关信息和更快的服务。
• 通过限制权限、审批步骤和活动日志来降低安全风险。
• 通过在重复任务中应用经批准的政策和格式来提高一致性。
• 基于完成的工作而非令人印象深刻的演示来衡量的生产力。

CloudPro Inc 将超过20年的企业IT经验带入这项工作。作为墨尔本为基础的微软合作伙伴和Wiz安全集成商，该团队结合了Azure、Microsoft 365、OpenAI、Claude、身份识别和网络安全方面的实践知识，而不是将代理视为孤立的AI项目。

目标不是让AI控制企业。而是赋予员工一个精心设计的系统，该系统能移除低价值工作，同时将重要决策、权限和问责权留在正确的人手中。

如果您有一个AI想法，但不确定它如何连接到您的数据、系统和安全要求，CloudPro Inc 很乐意帮助评估。一次简短的审查通常可以显示该机会是否值得在您投入大量时间或预算之前进行追求。