2026年7月2日，36氪旗下“字母AI”报道，OpenAI正通过系统优化方案将模型推理成本降低超过一半，这一方案主要是受DeepSeek在KV cache压缩上的经验启发。援引外媒消息称，OpenAI在内存效率方面取得重大突破，来自一个从OpenAI剥离出的团队，其核心优化方向是KV cache的改进。KV cache是模型生成时存放前文“笔记”的热数据，必须存放在高带宽存储器HBM中，是推理成本的关键。OpenAI此前在2024年10月已通过Prompt Caching机制降低延迟和输入成本，而DeepSeek早在2024年5月便在DeepSeek-V2中通过Multi-head Latent Attention（MLA）将KV cache压缩了93.3%，提升吞吐量至5.76倍。文章进一步分析了HBM与KV cache的关系，指出虽然单请求HBM需求可能下降，但总需求未必下降，因为推理成本下降后厂商会去追求更长上下文和更高并发。在硬件层面，OpenAI已推出自研AI芯片Jalapeño，并已与Cerebras签订超100亿美元推理算力协议。文章强调，OpenAI年亏损209亿美元，正通过“软件+硬件”双路径全力降低推理成本，为上市铺路。这些举措将深刻影响大模型推理架构竞争格局。
本文深度剖析了2026年6月智能体一体机市场的最新竞争格局与产业逻辑。随着云端AI Token爆发，本地端侧算力需求正式起步，一个全新的硬件品类——智能体一体机正在成型。文章定义了该品类的核心形态：一种搭载较强本地显卡算力（通常为128GB显存），能支撑3-5人小团队或超级个体本地运行模型和智能体的桌面级主机，售价在1.8万至3.3万元区间。目前市场形成了四种技术路线：苹果Mac Mini方案、NVIDIA的DGX Spark及与联发科合作开发的RTX Spark方案、AMD锐龙AI Max+ Windows主机方案，以及低价低功耗的Intel N97网关方案。文章重点复盘了前两次AI硬件“退货潮”的教训——2025年DeepSeek一体机因有算力无应用而被闲置，2026年MacMini因用户跟风购买OpenClaw却没有具体工作需求而退货，指出当前第三波热潮的理性之处在于：经过迭代的Agent能力已达“大学生”级别，真正开始解决具体、高频、重复的实际工作任务（如律师知识检索、零部件销售报价、财务发票计税）。产业面临的核心挑战是“高不能低不就”：端侧算力场景不如云端丰富，单卡算力有限，但2.3万元以上的高价让普通用户望而却步。六路入局玩家（传统PC厂、芯片厂、AI初创、行业方案商、通用方案商、跨界者）的差异化在于软件生态，谁能提供开箱即用的智能体工作流（如企业知识库、法务财务Agent），谁就能在竞争中胜出。
智谱AI发布了GLM-5.2，一个针对长程规划、复杂软件工程和高密度推理优化的700B参数混合专家推理模型，在SWE-bench Pro和GPQA等基准上超越或媲美Claude 3.5 Sonnet和GPT-4o等闭源模型。该模型FP8检查点权重高达703.74 GiB，需要8个NVIDIA H200 GPU（每个141GB HBM3e显存）集群才能运行。本文详细介绍在Modal无服务器GPU平台上使用vLLM部署GLM-5.2-FP8的架构、成本与实战经验。量化格式选择中，FP8在8-GPU单节点上能保留99.2%的原始智能，生成速度比INT8快1.5至2倍，而INT4精度损失严重，BF16无法单节点运行。成本方面，Modal无服务器模式按需缩放至零，20分钟开发周期实际成本约12美元，相较RunPod等传统租用平台具有显著弹性优势。自托管解决了代码隐私合规、绕过API频率限制以及保持前缀缓存稳定性等诉求。部署过程中解决了typing_extensions冲突，通过prefetch并行预取将权重加载时间从12分钟压缩到1分钟，冷启动总时间降至4.5分钟，并选择enforce-eager模式避免CUDA图编译超20分钟的问题。文章还给出生成完整网页游戏的验证案例，展示了模型在单个上下文窗口中处理复杂工程逻辑的能力。
explore.n1n.ai
阅读全文