vLLM 新增推模式 NIXL 连接器卸载推理 KV 传输
热点事件持续更新
vLLM 新增推模式 NIXL 连接器卸载推理 KV 传输
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
AWS 为开源推理引擎 vLLM 新增了基于推模式的 NIXL KV 传输连接器，将解码端注册、描述符准备与传输提交转移到后台线程，避免阻塞 token 生成关键路径。在 Qwen3-32B 模型的 1P1D P5en+EFA 部署中，推模式相较拉模式 TTFT 最高提升约 3 倍，TPOT 改善约 30%，高请求率与长上下文场景差距更明显。 该功能由 AWS Machine Learning Blog 于 2026-10-20 发布，AWS 称先在 Trainium 实例集群（EFA 互联）上构建并验证了该特性，随后作为与加速器无关的功能贡献给 vLLM 社区。AWS 称结果取决于工作负载和配置。
AI 根据报道生成 · 1 小时前更新
最新进展10月20日 00:05
vLLM 推出推模式 KV 传输，降低解耦推理 TTFT 与 TPOT报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- AWS Machine Learning BlogvLLM 推出推模式 KV 传输，降低解耦推理 TTFT 与 TPOT
AWS 为 vLLM 新增基于推模式的 NIXL KV 传输连接器，将解码端注册、描述符准备与传输提交转移到后台线程，避免阻塞 token 生成关键路径。在 Qwen3-32B 的 1P1D P5en+EFA 部署中，推模式相较拉模式 TTFT 最高提升约 3 倍，TPOT 改善约 30%，高请求率与长上下文差距更明显。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。