让AI应用在现实中发挥作用所需了解的知识
Andrew Ng在本文中系统阐述了构建和部署真实可用AI应用所需的核心技能体系，回应了AI工程化的关键挑战：如何在不可预测的AI组件之上构建可靠的软件系统。文章指出，AI应用与传统软件的本质区别在于LLM输出的不确定性，这使得开发过程成为高度迭代的“构建-检查-决策”循环，而非线性规划。核心技能分为六个维度：（1）LLM基础——理解分词、生成机制、上下文窗口、缓存命中、知识截止、推理强度、采样参数及工具调用等，以做出正确的模型选型和微调决策；（2）数据接地——超越早期RAG向量搜索，掌握向量索引、知识图谱、结构化数据语义层等多种技术，构建从文档（文本、PDF、HTML、图片）到LLM就绪输入的清洗管道；（3）智能体系统构建——涵盖从预定工作流到自主决策循环的架构光谱，涉及工具选择（MCP、CLI、沙箱执行环境）、记忆架构、长期会话上下文管理、多智能体编排及生产安全（护栏、对抗输入、数据外泄防范）；（4）评估驱动开发——Andrew Ng认为这是区分AI工程师水平的最重要特质，需要结合系统轨迹分析、探索性数据分析与产品业务洞察来设计评估指标，并根据项目阶段选择确定性评估、LLM-as-a-Judge或人工评审等方法，形成驱动系统化迭代的闭环；（5）生产运维——由于不可预测性、成本和延迟的特殊性，需要建立可观测性机制跟踪性能、检测漂移、应对提示注入安全事件，并通过回归测试和CI/CD统计评估进行模型优化、蒸馏和工作流简化；（6）机器学习基础——理解监督学习和强化学习原理，掌握偏差/方差、错误分析、数据工程等核心心智框架。
Read More →