n1n.ai

在 Modal 上部署 GLM-5.2-FP8 (700B MoE)：8x H200 无服务器架构、权衡与实战经验

智谱AI发布了GLM-5.2，一个针对长程规划、复杂软件工程和高密度推理优化的700B参数混合专家推理模型，在SWE-bench Pro和GPQA等基准上超越或媲美Claude 3.5 Sonnet和GPT-4o等闭源模型。该模型FP8检查点权重高达703.74 GiB，需要8个NVIDIA H200 GPU（每个141GB HBM3e显存）集群才能运行。本文详细介绍在Modal无服务器GPU平台上使用vLLM部署GLM-5.2-FP8的架构、成本与实战经验。量化格式选择中，FP8在8-GPU单节点上能保留99.2%的原始智能，生成速度比INT8快1.5至2倍，而INT4精度损失严重，BF16无法单节点运行。成本方面，Modal无服务器模式按需缩放至零，20分钟开发周期实际成本约12美元，相较RunPod等传统租用平台具有显著弹性优势。自托管解决了代码隐私合规、绕过API频率限制以及保持前缀缓存稳定性等诉求。部署过程中解决了typing_extensions冲突，通过prefetch并行预取将权重加载时间从12分钟压缩到1分钟，冷启动总时间降至4.5分钟，并选择enforce-eager模式避免CUDA图编译超20分钟的问题。文章还给出生成完整网页游戏的验证案例，展示了模型在单个上下文窗口中处理复杂工程逻辑的能力。