Andrew Curran

推理成本砍掉一半以上，OpenAI摸着DeepSeek过河

2026年7月2日，36氪旗下“字母AI”报道，OpenAI正通过系统优化方案将模型推理成本降低超过一半，这一方案主要是受DeepSeek在KV cache压缩上的经验启发。援引外媒消息称，OpenAI在内存效率方面取得重大突破，来自一个从OpenAI剥离出的团队，其核心优化方向是KV cache的改进。KV cache是模型生成时存放前文“笔记”的热数据，必须存放在高带宽存储器HBM中，是推理成本的关键。OpenAI此前在2024年10月已通过Prompt Caching机制降低延迟和输入成本，而DeepSeek早在2024年5月便在DeepSeek-V2中通过Multi-head Latent Attention（MLA）将KV cache压缩了93.3%，提升吞吐量至5.76倍。文章进一步分析了HBM与KV cache的关系，指出虽然单请求HBM需求可能下降，但总需求未必下降，因为推理成本下降后厂商会去追求更长上下文和更高并发。在硬件层面，OpenAI已推出自研AI芯片Jalapeño，并已与Cerebras签订超100亿美元推理算力协议。文章强调，OpenAI年亏损209亿美元，正通过“软件+硬件”双路径全力降低推理成本，为上市铺路。这些举措将深刻影响大模型推理架构竞争格局。