Kubernetes

Articles tagged "Kubernetes"

5 articles in total

AI现场工程师 - GenAI基础设施

2026年7月8日，一家匿名的 GenAI 基础设施公司（Stealth）发布招聘信息，寻找 AI 前线部署工程师（AI Field Engineer）。该职位旨在帮助企业将开源大模型从沙盒探索推向生产环境，职责包括确定概念验证范围、运行负载测试、执行 SFT/DPO/RFT 等模型微调，并直接在客户基础设施中交付生产集成，而非停留在咨询层面。公司推理平台已为 Uber、DoorDash、Notion 和 Cursor 等知名企业提供生产服务，推理速度达到闭源模型的 15 倍，并发量提升 4 倍。职位要求候选人具备 3 年以上客户现场 AI/ML 工程经验，深度掌握 LLM 推理与训练，熟练使用 vLLM、SGLang 或 TensorRT-LLM 等推理引擎，精通 Python 编程及 AWS、Azure、GCP 等 GPU 云基础设施，并具备 Kubernetes 实战能力。理想候选人拥有 Palantir FDE、BCG X 或 McKinsey QuantumBlack 等前线部署或专业服务背景。薪资范围为底薪 176,000–224,000 美元，总包 220,000–280,000 美元（80/20 拆分），10 年以上经验可上浮，并提供股权激励。工作方式为美国境内远程办公，需定期出差至客户现场，并支持 H-1B 转移和 TN 签证担保，O-1 签证视情况而定。该招聘突出强调了实战交付能力，明确拒绝仅有闭源 API 经验的候选人，反映出开源模型生产部署对 FDE 角色的硬核要求。

jaabz.comJuly 8, 2026

前期部署解决方案工程师

2026年6月27日，Hirequorum 平台发布了智能文档处理（IDP）领导者 Hyperscience 公司招聘“Forward Deployed Solutions Engineer”的职位信息。Hyperscience 被定位为2025年 Gartner 魔力象限的领导者，其核心产品 Hypercell 平台致力于将复杂文档转化为 LLM 和 RAG 就绪的数据，服务于 American Express、Charles Schwab、美国退伍军人事务部等大型客户，并获得 Bessemer Venture Partners 和 Tiger Global 等顶级机构投资。该职位被定义为一个关键的混合角色，要求将深度工程思维和成果导向融入销售流程，成为售前和售后支持的核心技术资源。候选人需具备5年以上客户面向前工程经验，精通 Python 编程，熟悉 AWS/Azure/GCP 等云架构以及 Docker/Kubernetes 容器化部署。其核心职责覆盖了从方案设计、POC原型代码开发、技术策略制定到售后合作伙伴关系维护及模型微调的全生命周期管理，旨在确保解决方案顺利部署并产生可衡量的业务成果。此外，该职位还承担着向产品团队反向输入市场情报的桥梁作用，并需管理技术范围、TCO 和集成策略以规避企业级风险。

hirequorum.liveblog365.comJuly 3, 2026

[远程] 首席应用人工智能工程师，金融

Genesys 公司发布了远程 Principal Applied AI Engineer（金融领域）职位，要求候选人主导设计和交付 AI 及预测模型，以变革财务决策，专注于生产级 AI 系统和智能自动化。核心职责包括：构建和领导开发 agentic AI 系统以自动化财务工作流（如预测、报告、决策支持），设计多智能体系统，利用 LLM、工具使用框架与编排模式（如 RAG、链式模型、动态提示），将前沿 LLM 和 agentic AI 研究转化为可扩展的生产解决方案，建立防护机制、评估框架与负责任 AI 实践；领导时间序列预测、客户流失预测等高级预测模型开发与部署；设计可扩展 AI/ML 系统，强调软件工程最佳实践（模块化设计、API、CI/CD、测试），推动现代工具采用（容器化、云原生架构），建立 MLOps 最佳实践；确保系统满足 SOX 等合规和审计要求。任职资格要求 8 年以上数据科学、软件工程、AI 工程经验，精通 Python、ML/AI 框架、云平台（优先 AWS）、分布式系统、LLM 微调与评估、生产级 agentic AI 框架、RAG 与向量数据库，以及模型护栏与偏差缓解。该职位反映出企业对将 agentic AI 和高级预测模型融入金融运营、强调生产工程和合规性的高端人才需求。

remotexa.is-great.netJune 30, 2026

AI 工具网关：在 Kubernetes 中沙盒化 Agent 访问

本文提出了 AI 工具网关（AI Tool Gateway）的概念，用于在 Kubernetes 中为 AI 智能体提供沙箱化的工具访问控制。作者 Emre Cavunt 指出，当前平台团队大多聚焦于 AI 智能体的能力建设，而忽视了安全层面的威胁模型：AI 智能体的调用是非确定性的，工具调用参数由大语言模型生成，易受提示注入攻击，且能自主串联多个工具调用，默认爆炸半径无界。文章详细阐述了工具网关的七项核心功能：智能体身份认证、调用授权、参数校验与内容审查、速率限制、结构化审计日志、请求转发及结果净化。在 Kubernetes 实现层面，提供了两种方案：一是基于 Envoy Gateway 和 EnvoyProxy 的 BackendTrafficPolicy 资源，按 x-agent-id 请求头实施每智能体独立配额和全局速率限制；二是使用 FastAPI 构建专用网关服务，通过代码示例展示了工具白名单、智能体授权校验、速率限制（内存中）、危险模式屏蔽（如 rm -rf、DROP TABLE、os.system）以及 JSON 结构化审计日志。网络隔离方面，结合 Cilium NetworkPolicy 确保智能体 Pod 只能访问网关，无法直连工具服务，形成软件层和网络层的双重强制。可观测性方面，通过 Promtail 采集网关日志至 Loki 进行查询，并用 Prometheus 计数器与直方图监控工具调用次数与时长，设定 403 状态码告警规则以识别提示注入或权限越狱行为。文章最终强调，AI 智能体不是需要全新安全模型的计算类别，而是需要将最小权限、边界认证、速率限制、审计日志和网络隔离等已有原则系统性应用到新类型调用者上。平台团队应尽早构建网关，以便在生产环境中安全地部署 AI 智能体工作负载。

emrecavunt.comJune 29, 2026

2026年机器学习模型部署最佳实践——完整MLOps指南

本文由资深Python开发者兼数据科学家Naeemah Aliya Small撰写，系统阐述了2026年机器学习模型部署的完整最佳实践与MLOps生命周期。文章指出，ML部署与传统软件部署的核心区别在于模型对数据统计属性的第三维依赖，导致其会产生静默退化而非显式报错，且需要A/B测试、影子部署和金丝雀发布等在线实验验证。指南覆盖从模型打包、服务API构建、Docker容器化到模型监控的完整链路：在打包阶段，推荐使用MLflow模型注册中心替代脆弱的Pickle文件，并可通过ONNX实现跨框架可移植性；在服务层，使用FastAPI搭配Pydantic实现类型安全的模型服务；在监控环节，强调必须同时覆盖基础设施监控、预测分布监控和数据漂移检测三个层次，避免仅监控CPU/内存而忽视模型精度退化至61%的静默故障。文章详细对比了FastAPI、BentoML、TorchServe、TensorFlow Serving、Seldon Core、Ray Serve、ONNX Runtime七种主流模型服务框架的优缺点，并总结了部署就绪检查清单，涵盖模型版本化、输入验证、预测分布监控、数据漂移检测、回滚预案和CI/CD验证等12条检查项。核心理念是：可靠部署ML的团队并非拥有最优模型，而是将部署视为一等工程问题，通过版本化、自动化、可观测和可回滚的基础设施来保障生产稳定性。

naeemahsmall.comJune 23, 2026