AWS Machine Learning Blog· Kevin Shabahang·· 7 小时前AI 评分35
超越 KV Cache:在 AWS Trainium2 上用原生 PyTorch 训练与部署 i14 的 Laplace 3B 线性注意力模型
Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch
AI 导读
i14 推出 Laplace 3B 线性注意力模型,采用 Gated Linear Attention 架构,推理状态固定为 29.5 MB,与上下文长度无关。
来源:AWS Machine Learning Blog · aws.amazon.com