OpenAI 今天晚间在 Hot Chips 大会上公布了全新推理系统 Jalapeño 的更多细节，并首次披露基准测试成绩。在 SemiAnalysis 的 InferenceX 测试中，Jalapeño 无论是单用户 token 处理量，还是每千瓦吞吐量，都超过了目前市面上的顶尖推理处理器。

　　OpenAI 硬件负责人理查德 · 何在媒体电话会上表示：“测试结果最重要的一点，是 Jalapeño 相比目前最先进的产品实现了非常显著的性能提升。它可以用相同的电力处理更多 AI 工作负载，同时更快给出响应。Jalapeño 既适合高效服务大量用户，也能保持很低的延迟。”

　　Jalapeño 由 OpenAI 与博通共同开发，OpenAI 自有模型也参与了研发。OpenAI 希望把 Jalapeño 发展成一个能够延续多代的技术平台，使 AI 产品、模型、芯片和内存从一开始就协同设计。

　　这款芯片主要负责 AI 推理，也就是让已经训练好的 AI 模型真正运行起来，完成任务或驱动 AI 智能体。

　　全栈协同开发也让 OpenAI 能够直接优化推理过程中最容易拖慢速度的环节。Jalapeño 重点降低预填充和通信阶段的延迟，而这两个环节在 OpenAI 看来往往是推理性能的主要瓶颈。

　　OpenAI 在公布测试结果的博客中提到，Jalapeño 从设计之初就尽量减少数据搬运和通信延迟。生成响应时使用的 KV 缓存等模型状态可以明确存放并保留在本地，系统再根据不同推理阶段，调配合适的计算、内存和网络资源。

　　据了解，OpenAI 计划在今年年底前先“小规模”部署Jalapeño，2027 年再逐步扩大部署量，但没有公布明年具体会投入多少芯片。