SGLang

Articles related to "SGLang"

2 articles in total

AI现场工程师 - GenAI基础设施

2026年7月8日，一家匿名的 GenAI 基础设施公司（Stealth）发布招聘信息，寻找 AI 前线部署工程师（AI Field Engineer）。该职位旨在帮助企业将开源大模型从沙盒探索推向生产环境，职责包括确定概念验证范围、运行负载测试、执行 SFT/DPO/RFT 等模型微调，并直接在客户基础设施中交付生产集成，而非停留在咨询层面。公司推理平台已为 Uber、DoorDash、Notion 和 Cursor 等知名企业提供生产服务，推理速度达到闭源模型的 15 倍，并发量提升 4 倍。职位要求候选人具备 3 年以上客户现场 AI/ML 工程经验，深度掌握 LLM 推理与训练，熟练使用 vLLM、SGLang 或 TensorRT-LLM 等推理引擎，精通 Python 编程及 AWS、Azure、GCP 等 GPU 云基础设施，并具备 Kubernetes 实战能力。理想候选人拥有 Palantir FDE、BCG X 或 McKinsey QuantumBlack 等前线部署或专业服务背景。薪资范围为底薪 176,000–224,000 美元，总包 220,000–280,000 美元（80/20 拆分），10 年以上经验可上浮，并提供股权激励。工作方式为美国境内远程办公，需定期出差至客户现场，并支持 H-1B 转移和 TN 签证担保，O-1 签证视情况而定。该招聘突出强调了实战交付能力，明确拒绝仅有闭源 API 经验的候选人，反映出开源模型生产部署对 FDE 角色的硬核要求。

jaabz.comJuly 8, 2026

腾讯混元AI Infra如何优化Hy3 Preview：一次大模型推理性能提升的技术拆解

本文详细介绍了腾讯混元AI Infra推理团队针对旗舰大模型Hy3 Preview（采用GQA+MoE混合架构，原生支持256K超长上下文）在NVIDIA Hopper卡上的推理性能优化实践。面对Hopper卡算力较低、显存紧凑等限制，团队从算子优化与融合、并行策略、多级缓存、MTP异步调度、量化与稀疏五大维度进行全栈优化。在算子优化上，提出动态调度负载均衡的Attention算子（混合长度batch加速1.59x-1.76x），双BF16重构FP32 Router GEMM（加速2.86x-3.22x），FusedMoE流水线重构（相比vLLM等加速1.2x-1.6x）。算子融合方面，实现Fused Rope+Norm+Quant+Store KV（加速约5x），Fused AllReduce+Norm+Add（加速1.68x），采样融合算子（加速2.5x-5.5x），以及Gemm+Comm通算融合（加速1.68x-1.81x）。并行策略上，采用TPSP Prefill优化（TTFT降低24.5%-29.9%）和DP+EP Decode架构（吞吐提升15.7%-44.7%）。多级缓存构建GPU-CPU-KVStore三级体系以降低重复Prefill。MTP异步调度优化消除CPU气泡，端到端提升10%-20%。量化方面，在AngelSlim框架中通过GPTQ权重重建、激活平滑、Hadamard旋转和QAT微调实现W8A8C8无损量化，吞吐提升28%+；并应用Stem稀疏注意力算法及HPC-BSA算子，在128K上下文下Prefill延迟降低3.6倍，精度持平。文章为Hopper架构下大模型推理部署提供了系统级优化范本。