vLLM 推出推模式 KV 传输，降低解耦推理 TTFT 与 TPOT

AWS 为 vLLM 新增基于推模式的 NIXL KV 传输连接器，将解码端注册、描述符准备与传输提交转移到后台线程，避免阻塞 token 生成关键路径。在 Qwen3-32B 的 1P1D P5en+EFA 部署中，推模式相较拉模式 TTFT 最高提升约 3 倍，TPOT 改善约 30%，高请求率与长上下文差距更明显。