Articles related to "GLM-5.2"

在 Modal 上部署 GLM-5.2-FP8 (700B MoE)：8x H200 无服务器架构、权衡与实战经验

智谱AI发布了GLM-5.2，一个针对长程规划、复杂软件工程和高密度推理优化的700B参数混合专家推理模型，在SWE-bench Pro和GPQA等基准上超越或媲美Claude 3.5 Sonnet和GPT-4o等闭源模型。该模型FP8检查点权重高达703.74 GiB，需要8个NVIDIA H200 GPU（每个141GB HBM3e显存）集群才能运行。本文详细介绍在Modal无服务器GPU平台上使用vLLM部署GLM-5.2-FP8的架构、成本与实战经验。量化格式选择中，FP8在8-GPU单节点上能保留99.2%的原始智能，生成速度比INT8快1.5至2倍，而INT4精度损失严重，BF16无法单节点运行。成本方面，Modal无服务器模式按需缩放至零，20分钟开发周期实际成本约12美元，相较RunPod等传统租用平台具有显著弹性优势。自托管解决了代码隐私合规、绕过API频率限制以及保持前缀缓存稳定性等诉求。部署过程中解决了typing_extensions冲突，通过prefetch并行预取将权重加载时间从12分钟压缩到1分钟，冷启动总时间降至4.5分钟，并选择enforce-eager模式避免CUDA图编译超20分钟的问题。文章还给出生成完整网页游戏的验证案例，展示了模型在单个上下文窗口中处理复杂工程逻辑的能力。

explore.n1n.aiJune 23, 2026

打造克制、好用的 AI 产品。

VerySmallWoods 博客首页聚合了2026年6月9日至13日的AI领域重要资讯与独立开发实践。内容涵盖智能体主动性突破：Simon Willison 观察到 Claude Fable 5 展现出“ relentlessly proactive ”的自主调试能力，通过注入诊断代码、自主创建HTTP服务、跨浏览器截图验证来修复滚动条bug，标志着有意图的多步自纠智能体行为；Google DeepMind 提出“模型 diffing ”新范式，让审计智能体主动构造 prompt 搜索模型间行为差异，推动评估方法升级。基础设施层面，Google Cloud 发布 Open Knowledge Format，以带YAML frontmatter的Markdown为AI结构化知识建立开放标准；OpenAI 收购 Ona 为 Codex 补足持久化云端执行环境，使Agent在电脑离线后仍能在企业云中持续运行。同时，Anthropic 推出企业订阅 Claude Corps 并联合 DXC 进军受监管行业；AWS 开源 Agent-EvalKit 系统化评估Agent全链路表现；Google 发布扩散架构文本生成模型 DiffusionGemma 和一行SDK启动的 Gemini Managed Agents；开源模型方面，Gemma 4 12B无编码器多模态模型可在16GB显存本地运行，GLM-5.2 在编程能力上表现顶尖。此外，博客还介绍了自研产品 AirType 语音转文字工具、Sessionly Claude Code 会话管理器，以及多门付费课程如 LangChain 智能体开发、MCP 协议实战等，体现了从AI前沿追踪到轻巧工具制作的完整独立开发实践链路。