TensorRT-LLM

与「TensorRT-LLM」相关的文章

共 2 篇文章

Forward Deployed Engineer (Inference & Post-Training) - Mandarin Speaking

本文是 Together AI 通过 Zero G Talent 发布的一份面向新加坡的招聘启事，岗位为会说普通话的前线部署工程师（Forward Deployed Engineer，FDE），专门负责推理（Inference）与后训练（Post-Training）方向。该职位不是简单的解决方案架构师替代品，而是定位于深度领域专家，需要与解决方案架构师协同工作。核心职责围绕推理引擎优化展开，涉及根据硬件配置、模型架构和负载特征选型、配置并优化主流推理引擎（如 vLLM、TensorRT-LLM、SGLang）。具体技术工作包括：调整 KV Cache、应用推测解码、确定最佳张量并行度与量化策略，以达成严苛的吞吐量和延迟指标。后训练方面，候选人需亲自执行 RL 训练任务并优化系统架构，指导客户完成 LoRA、SFT、DPO、RLHF 与 GRPO 等全流程管线搭建，助力客户从实验阶段跨入生产环境。此外，FDE 还需负责战略客户的长期技术健康度，确立客户入驻平台的基线配置以缩短价值实现时间，并代表一线经验反向驱动产品路线图的演进。申请者须具备 5 年以上技术经验，对开源大模型生态有广泛认知，具备专家级推理引擎实操和诊断能力，并拥有扎实的 Python 编码功底。文章强调 Together AI 是一家研究驱动型企业，致力于通过软硬件协同设计降低 AI 成本，其团队贡献了 FlashAttention 等知名技术。岗位要求为新加坡永久居民或公民，提供初创股权及远程灵活办公选项，发布时间为 2026 年 8 月 4 日。

阅读全文 →

AI现场工程师 - GenAI基础设施

2026年7月8日，一家匿名的 GenAI 基础设施公司（Stealth）发布招聘信息，寻找 AI 前线部署工程师（AI Field Engineer）。该职位旨在帮助企业将开源大模型从沙盒探索推向生产环境，职责包括确定概念验证范围、运行负载测试、执行 SFT/DPO/RFT 等模型微调，并直接在客户基础设施中交付生产集成，而非停留在咨询层面。公司推理平台已为 Uber、DoorDash、Notion 和 Cursor 等知名企业提供生产服务，推理速度达到闭源模型的 15 倍，并发量提升 4 倍。职位要求候选人具备 3 年以上客户现场 AI/ML 工程经验，深度掌握 LLM 推理与训练，熟练使用 vLLM、SGLang 或 TensorRT-LLM 等推理引擎，精通 Python 编程及 AWS、Azure、GCP 等 GPU 云基础设施，并具备 Kubernetes 实战能力。理想候选人拥有 Palantir FDE、BCG X 或 McKinsey QuantumBlack 等前线部署或专业服务背景。薪资范围为底薪 176,000–224,000 美元，总包 220,000–280,000 美元（80/20 拆分），10 年以上经验可上浮，并提供股权激励。工作方式为美国境内远程办公，需定期出差至客户现场，并支持 H-1B 转移和 TN 签证担保，O-1 签证视情况而定。该招聘突出强调了实战交付能力，明确拒绝仅有闭源 API 经验的候选人，反映出开源模型生产部署对 FDE 角色的硬核要求。

阅读全文 →